推荐系统经典模型YouTubeDNN

YouTubeDNN概念

• YouTubeDNN是YouTube用于做视频推荐的落地模型，其大体思路就是召回阶段使用多个简单的模型来进行筛选，这样可以大量地筛除相关度较低的内容，而排序阶段则是使用相对复杂的模型来获得精准的推荐结果。YouTubeDNN模型主要分为两个阶段：召回阶段和排序阶段。
• YouTubeDNN模型的召回主要是完成候选视频的快速筛选（在论文中被称为 Candidate Generation Model），也就是候选集的生成模型。在这一部分中，模型要做的就是将整个YouTube数据库中的视频数量由百万级别降到数百级别。
• 为什么要使用YouTubeDNN模型？
  • 答：传统的协同过滤算法处理百万级数据量，很明显是不够的，因为CF算法的本质就是计算两两内容之间的关系矩阵，然后将结果保存在内存当中，当然随着数据量的增大，就会很容易地出现OOM的现象。假设有个无限大的内存的分布式计算系统（Spark等），对于百万级矩阵计算处理时所耗费的时间，也不是我们想看到的结果。而YouTubeDNN则利用了Embedding向量加上对负样本的特殊采样处理，巧妙地解决了这一问题。

YouTubeDNN模型架构图

• YouTube推荐系统架构图
  
  • 从论文的解释中我们可以得知这个架构就像是一个沙漏（funnel）一样，从最初的百万级→数百级→十级别。

YouTubeDNN召回阶段

• YouTubeDNN召回模型架构图