QCon 演讲火热征集中,快来分享你的技术实践与洞见! 了解详情
写点什么

谷歌大规模多目标排序实践:Youtube 视频推荐核心技术

  • 2019-10-31
  • 本文字数:1709 字

    阅读完需:约 6 分钟

谷歌大规模多目标排序实践:Youtube视频推荐核心技术

本文主要介绍下 Google 在 RecSys 2019 上的最新论文[1],提出了一套大规模多目标排序框架应用于 Youtube 视频推荐,引入 MMoE 解决多目标学习,以及解决用户隐式反馈中的 selection Bias 问题。


介绍

本文提出了一套大规模多目标排序框架应用于 Youtube 视频推荐平台。众所周知,Youtube 视频推荐面临着众多的挑战,包括需要解决多个互相竞争的排序目标、以及用户反馈中的选择偏差(selection bias)等等。为了解决这些问题,我们引入了 MMoE[2]来优化多目标排序目标。另外,我们改进了 W & D 框架来解决用户反馈的 selection bias。在 Youtube 视频推荐的线上实验也证明了本文算法的显著提升。



所谓相互竞争的排序目标,是指在排序的优化目标上往往是相互冲突的。比如我们不仅希望用户观看,还希望用户能给出高评价并分享。所谓用户隐式反馈中的选择偏差(selection bias),具体来说比如用户点击观看视频仅仅是因为它位置比较靠前,而非用户真正喜欢。因此用当前系统收集到的数据训练出来的模型会引发 bias,从而形成一个反馈循环,越来越偏。

模型架构

本文提出的系统模型架构如下图所示。具体来说,首先将需要学习的多目标分成两类:engagement 目标(点击、观看等用户参与度)和 satisfaction 目标(用户点赞、评论等喜欢程度)。


对于这两类稍微有点冲突的多目标任务,我们引入 MMoE 的结构来解决,并通过门结构来加权选择更好地学习独立的目标。


为了减少训练数据中的 selection bias(比如 position bias),我们添加了如下图左边的浅层塔,接收 selection bias 相关的特征作为输入(比如排序位置),输出则作为主模型最终预测的偏差项。模型将目标分解为两部分,一个是无偏的用户偏好,另一个是倾向分。模型结构可以看做是 Wide & Deep 的扩展,用以解决用户反馈中的 selection bias。


MMoE 结构

如前所述,本文将需要学习的多目标分为参与度和满意度两类,如果是分类问题就用 cross entropy loss 学习;如果是回归问题则用 square loss。最后用加权公式来平衡用户参与度和满意度指标,取得最佳效果。


多目标的排序系统中通常使用的是 shared-bottom 结构(如下图 a 所示),但是这种 hard-parameter 强行共享底层的方案对于相关性小的目标之间的任务,效果是此消彼长有损伤的。因此为了同时学习多个互相冲突的目标并达到平衡,我们采用并扩展 MMoE 结构来解决多目标冲突问题。


MMoE 结构设计的目的就是希望能够在不引入过多模型参数的前提下能够捕捉学习不同任务之间的区别。如下图 b 所示,网络结构上主要的区别是使用 MoE 层来替换共享的 ReLu 层,并为每一个任务单独添加一个额外的门结构。


消除 selection bias

在推荐排序系统中,用户的隐式反馈譬如点击、观看等被广泛地应用在训练深度排序网络模型中。但是用户的隐式反馈是有 bias 偏差的,最明显的就是 position bias,很多时候用户点击观看某个视频并不是因为真的喜欢某个视频,而仅仅只是因为其排序的位置比较靠前。因此我们需要去移除这种 bias,打破这种越来越偏的循环。


因此我们扩展了 W & D 网络结构,将模型的预测输出层分解成为两部分:学习 engagement 的 main tower;以及学习 selection bias 的 shallow tower。如下图所示,shallow tower 训练的时候将产生 selection bias 的特征譬如排序位置 bias 作为输入。在线预测时,位置特征设为 missing


实验结果

Youtube 线上实验结果如下图所示,baseline 是常用的 Shared-Bottom 结构。可以看出 MMoE 结构在基线的基础上,在 engagement 和 satisfaction 的两个目标上均有显著提升



与此同时,我们可以看到排序位置的 1-9 上的 ctr 分布如下图所示。这里面有两个方面因素,一方面预估 ctr 越高则排序位置越高;另一方面由于 position bias 的存在,排序位置越高则用户更容易点击。模型 shallow tower 学习到的 selection bias 分布也显示了这一点。



参考资料:


1. Recommending What Video to Watch Next: A Multitask Ranking System


2. Modeling Task Relationships in Multi-task Learning with Multi-Gate Mixture-of-Experts


3. https://zhuanlan.zhihu.com/p/82584437


本文授权转载自知乎专栏“深度推荐系统”。原文链接:https://zhuanlan.zhihu.com/p/88834117


2019-10-31 08:302623

评论

发布
暂无评论
发现更多内容

架构实战营模块七作业

渐行渐远

架构实战营

读《软件工程之美》之02

williamcai

软件工程

Golang中数字与字符串的转换

liuzhen007

28天写作 12月日更

绩效沟通的案例分享

搬砖的周狮傅

绩效管理

架构训练营 - 模块 7 作业

焦龙

架构训练营

MySQL的int (10) 和 int (11) 的区别

JavaEdge

12月日更

人生最重要的是快乐,静态的快乐

mtfelix

28天写作

架构师实战营 - 模块7 - 作业

lucian

架构师实战营

如何在CRM WebClient UI里使用HANA Live Report

汪子熙

报表 CRM 28天写作 hana 12月日更

模块7作业

忘记喝水的猫

架构训练营

王者荣耀商城异地多活架构设计

Geek_cb2b43

.NET6东西--可写的JSON DOM API

喵叔

28天写作 12月日更

Redis RDB 持久化详解

程序员历小冰

redis 持久化 28天写作 12月日更

LabVIEW读写各类格式图像的方法(基础篇—1)

不脱发的程序猿

机器视觉 图像处理 LabVIEW 读写各类格式图像的方法

谈数字人民币对我国金融系统的双重影响

CECBC

管理中的平衡

张老蔫

28天写作

释放协同价值——元宇宙中的区块链

CECBC

架构实战营-模块八

瓜子葫芦侠

「架构实战营」

优秀程序员的30种思维--设计思考篇

hackstoic

程序员 架构思维

企业智能转型对AI技术的挑战及应对,答案是MLOps

第四范式开发者社区

机器学习 OpenMLDB 特征平台 MLOps

圣迪

hw7 - 王者荣耀商城异地多活

WWH

架构实战营

编写代码最应该做好的事情是什么?

李子捌

Java 28天写作 21天挑战 12月日更

监控的黄金指标有哪些

耳东@Erdong

监控 28天写作 指标 12月日更

定了一份《人民日报》(23/28)

赵新龙

28天写作

王者荣耀商城异地多活架构设计

Steven

架构实战课

架构实战营-模块七

瓜子葫芦侠

「架构实战营」

王者荣耀商城异地多活架构设计

AHUI

「架构实战营」

53 K8S之资源监控与资源指标

穿过生命散发芬芳

k8s 28天写作 12月日更

严管之下,还有谁在“挖矿”?

CECBC

架构训练营 模块七

dog_brother

「架构实战营」

谷歌大规模多目标排序实践:Youtube视频推荐核心技术_AI&大模型_深度传送门_InfoQ精选文章