QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

深度推荐系统与 CTR 预估 2019 年上半年值得精读的论文

  • 2019-08-21
  • 本文字数:4042 字

    阅读完需:约 13 分钟

深度推荐系统与CTR预估2019年上半年值得精读的论文

本文来自“深度推荐系统”专栏,这个系列将介绍在深度学习的强力驱动下,给推荐系统工业界所带来的最前沿的变化。本文主要总结一下深度推荐系统与 CTR 预估 2019 年值得精读的论文。


微博上近日流传一个段子,“2020 年曾是各大科幻片中遥远的未来,但是现在离这个遥远的未来也只有 6 个月时间了”。只是借此感慨一下 2019 年转瞬之间半年的时间已经过去了,目前深度学习火热朝天,深度学习在推荐系统和 CTR 预估工业界的论文也是一篇接着一篇良莠不齐。


接下来主要总结一下 2019 年上半年工业界深度推荐系统与 CTR 预估上值得精读的论文。个人整理难免遗漏,也欢迎各位同行朋友评论另外哪些想额外推荐精读的论文。


1. Top-K Off-Policy Correction for a REINFORCE Recommender System, WSDM 2019, Google


作者:Minmin Chen, Alex Beutel, Paul Covington, Sagar Jain, Francois Belletti, Ed Chi;


论文Keynote


位列首位的当属 Youtube 推荐强化学习的两篇论文。虽然强化学习目前在推荐系统和 CTR 预估领域工业界由于系统复杂、效果未有显著提升等众所周知的原因确实不够成熟也尚未大规模应用起来。但是 Youtube 推荐的这两篇论文从某种程度上让强化学习的应用方向变得更明确了一些,而且作者在 Industry Day 上也宣称线上实验效果显示这个是 YouTube 单个项目近两年来最大的 reward 增长,也从某种程度上会激发各大公司的研究者们继续跟进的兴趣。


这是第一篇论文,提出了一种 Top-K 的 Off-Policy 修正方案将 RL 中 Policy-Gradient 类算法得以应用在动作空间数以百万计的 Youtube 在线推荐系统中。


2. Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology, IJCAI 2019, Google


作者:Eugene Ie, Vihan Jain, Jing Wang, …, Jim McFadden, Tushar Chandra, Craig Boutilier;


论文


这是 Youtube 推荐应用强化学习的第二弹,主要贡献是提出了一种名为 SLATEQ 的 Q-Learning 算法,优化推荐系统里面同时展示给用户多个 item 情况的长期收益 LTV(Long-term Value),将长期收益加入排序多目标中进行建模优化。重点在于与 baseline 使用的深度网络和输入特征都完全一样。详见:Youtube推荐已经上线RL了,强化学习在推荐广告工业界大规模应用还远吗?


3. Deep Learning Recommendation Model for Personalization and Recommendation Systems


作者:Maxim Naumov, Dheevatsa Mudigere, Hao-Jun Michael Shi,…, Bill Jia, Liang Xiong, Misha Smelyanskiy;


论文代码解读


FaceBook 推荐最新论文,通过建模与系统协同设计提出一种 butterfly-shuffle 的机制来提升模型并行化,离线训练上在没有任何超参调优下收敛速度与准确率优于 DCN,并开源了代码。


4. Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction, WWW 2019, Huawei


作者:Bin Liu, Ruiming Tang, Yingzhi Chen, Jinkai Yu, Huifeng Guo, Yuzhou Zhang;


论文


华为 at WWW 2019,提出基于卷积神经网络的 CTR 特征生成方法 FGCNN,包含特征生成和深度分类器两部分,可以和任意 CTR 预估模型进行组合。


5. Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction, KDD 2019, Alibaba


作者:Wentao Ouyang, Xiuwu Zhang, Li Li, Heng Zou, Xin Xing, Zhaojie Liu, Yanlong Du;


论文代码


阿里 at KDD 2019,提出 DSTN 模型用于点击率 CTR 预估,考虑更多空域与时域的辅助信息包括上下文展示过的 ad 以及历史点击/未点击 ad 来更好地预测目标 item 的点击率。从论文实验数据看,效果大幅度超过 DeepFM 和 GRU,并开源了代码。



6. AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks


作者:Weiping Song, Chence Shi, Zhiping Xiao, Zhijian Duan, Yewen Xu, Ming Zhang, Jian Tang;


论文代码


最新的深度 CTR 预估模型 AutoInt,通过过 Multi-head 注意力机制将特征投射到多个子空间中,并在不同的子空间中捕获不同的特征组合形式,效果超过 xDeepFM 等达到最好。


7. Real-time Attention Based Look-alike Model for Recommender System, KDD 2019, Tencent


作者:Yudan Liu, Kaikai Ge, Xu Zhang, Leyu Lin


论文解读


腾讯 at KDD2019,微信看一看团队对传统 Look-alike 进行了改造,提出实时 Look-alike 算法 RALM,解决推荐系统多样性问题,效果好于 YoutubeDNN。


8. Joint Optimization of Tree-based Index and Deep Model for Recommender Systems


作者:Han Zhu, Daqing Chang, Ziru Xu, Pengye Zhang, Xiang Li, Jie He, Han Li, Jian Xu, Kun Gai;


论文TDM论文


还记得阿里 at KDD 2018 的深度树匹配召回模型 TDM 吗?升级版 JTM 提出索引与模型同时优化的方案,大幅提升召回效果。



9. A User-Centered Concept Mining System for Query and Document Understanding at Tencent, KDD 2019, Tencent


作者:Bang Liu, Weidong Guo, Di Niu, Chaoyue Wang, Shunnan Xu, Jinghong Lin, Kunfeng Lai, Yu Xu


论文解读数据资源


腾讯 at KDD2019,构建了 ConcepT 概念挖掘标记系统,利用 query 搜索点击日志从用户视角提取不同的概念,以提高对短文本(query)和长文章(document)的理解,从而推动推荐,搜索等业务的提升。实验证明,ConcepT 在 QQ 浏览器信息流业务中性能优异,曝光效率相对提升 6.01%。


10. Deep Session Interest Network for Click-Through Rate Prediction, IJCAI 2019, Alibaba


作者:Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu, Keping Yang;


论文代码


阿里 at IJCAI2019,考虑到不同用户行为序列的 session 内行为同构与 session 之间行为异构的特性提出了基于 sesssion 的 CTR 预估模型 DSIN。使用 self-attention 机制抽取 session 内用户兴趣,使用 Bi-LSTM 针对用户跨 session 兴趣进行建模。


11. Interaction-aware Factorization Machines for Recommender Systems, AAAI2019, Tencent


作者:Fuxing Hong, Dongbo Huang, Ge Chen;


论文代码


腾讯 at AAAI2019,提出 IFM 通过特征以及特征组不同角度灵活学习特征间交互的重要性,并提出了通用的 Interation-NN 框架和 DeepIFM 来捕捉高阶交互,效果优于 DeepFM 并开源了代码。


12. Multi-Interest Network with Dynamic Routing for Recommendation at Tmall


作者:Chao Li, Zhiyuan Liu, Mengmeng Wu, …, Qiwei Chen, Wei Li, Dik Lun Lee


论文解读


阿里天猫提出 MIND 模型通过 Dynamic Routing 的方法从用户行为和用户属性信息中动态学习出多个表示用户兴趣的向量,更好的捕捉用户的多样兴趣,来提升召回的丰富度和准确度,效果好于 YoutubeDNN。


13. Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction, KDD 2019, Alibaba


作者:Qi Pi, Weijie Bian, Guorui Zhou, Xiaoqiang Zhu, Kun Gai;


论文


阿里 at KDD2019,通过系统设计解决用户超长行为历史下 CTR 建模与在线预测性能瓶颈,效果好于 GRU4Rec 和 DIEN。


14. Neural News Recommendation with Long- and Short-term User Representations, ACL 2019, Microsoft


作者:Mingxiao An,Fangzhao Wu,Chuhan Wu,Kun Zhang,Zheng Liu,Xing Xie;


论文


微软 at ACL 2019,LSTUR 用于在新闻推荐任务中同时学习用户长期和短期的兴趣表示。模型的整体结构可分为新闻编码器、用户长期兴趣和短期兴趣模型、以及候选新闻的个性化分数预测模型,效果好于 GRU4Rec。


15. Hierarchical Gating Networks for Sequential Recommendation, KDD 2019


作者:Chen Ma, Peng Kang, Xue Liu;


论文代码


KDD2019,HGN 提出通过 feature 与 instance gating 的多层级结构结合 BPR 来更好的捕获用户的长短期兴趣,效果好于 GRU4Rec 以及 NextItRec。


16. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba, KDD 2019, Alibaba


作者:Qiwei Chen, Huan Zhao, Wei Li, Pipei Huang, Wenwu Ou


论文解读


阿里巴巴搜索推荐事业部的新研究,首次使用强大的 Transformer 模型捕获用户行为序列的序列信号,供电子商务场景的推荐系统使用。原有 DIN 提出使用注意力机制来捕获候选项与用户先前点击商品之间的相似性,但未考虑用户行为序列背后的序列性质。离线实验和在线 A/B 测试表明,BST 与现有方法相比有明显优势。目前 BST 已经部署在淘宝推荐的 rank 阶段,每天为数亿消费者提供推荐服务[2]。


17. Operation-aware Neural Networks for User Response Prediction


作者:Yi Yang, Baile Xu, Furao Shen, Jian Zhao;


论文代码


深度 CTR 预估新积木:PNN + FFM - FM = ONN 模型,效果好于 DeepFM 和 PNN。


18. BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer, Alibaba


作者:Fei Sun, Jun Liu, Jian Wu, Changhua Pei, Xiao Lin, Wenwu Ou, Peng Jiang;


论文


Transformer 引入推荐系统工业界,利用用户历史点击序列预测下一个点击 item,效果超过 GRU4Rec。


19. A Capsule Network for Recommendation and Explaining What You Like and Dislike, SIGIR2019, Alibaba


作者:henliang Li, Cong Quan, Li Peng, Yunwei Qi, Yuming Deng, Libing Wu;


论文


阿里 at SIGIR2019,胶囊神经网络应用于推荐提出 CARP 模型来从评论中更好地建模用户对商品的喜好程度,效果好于最新的 ANR 等。


20. Representation Learning-Assisted Click-Through Rate Prediction, IJCAI 2019, Alibaba


作者:Wentao Ouyang, Xiuwu Zhang, Shukui Ren, Chao Qi, Zhaojie Liu, Yanlong Du;


论文代码


阿里 at IJCAI2019,提出 DeepMCP 模型通过匹配、关联、预测三个子模块更好地建模用户-ad,ad 之间以及特征-CTR 关系,效果优于 DeepFM 并开源了代码。


本文授权转载自知乎专栏“深度推荐系统”。原文链接:https://zhuanlan.zhihu.com/p/72597928


2019-08-21 15:307114

评论

发布
暂无评论
发现更多内容

Go编译原理系列2(词法分析&语法分析基础)

书旅

Go 后端 编译原理

蓝格赛(中国)用TDengine落地聚合查询场景,效果如何?

TDengine

数据库 tdengine 后端

解析Redis操作五大数据类型常用命令

华为云开发者联盟

数据库 redis string 数据类型 getset

鲲鹏HCIA认证之初识鲲鹏

桥哥技术之路

鲲鹏

dart系列之:手写Library,Library编写最佳实践

程序那些事

flutter dart 程序那些事 12月日更

云图说|初识数据库和应用迁移UGO

华为云开发者联盟

数据库 华为云 UGO 异构迁移

又拿奖了!腾讯云原生数据库TDSQL-C斩获2021PostgreSQL中国最佳数据库产品奖

腾讯云数据库

tdsql 国产数据库

DM 分库分表 DDL “悲观协调” 模式介绍丨TiDB 工具分享

PingCAP

「山东城商行联盟」数据库准实时数据采集系统上线,DataPipeline助力城市商业银行加快数字化转型

DataPipeline数见科技

数据库 中间件 数据同步 数据融合 数据管理

盘点 2021|不忘初心,扬风起航

小鲍侃java

盘点2021

XEngine:深度学习模型推理优化

华为云开发者联盟

深度学习 模型推理 显存优化 计算优化 XEngine

一文详解TDSQL PG版Oracle兼容性实践

腾讯云数据库

tdsql 国产数据库

发布你的开源软件到 Ubuntu PPA

hedzr

#Ubuntu Debian packaging ppa

重装上阵——Graviton2提升Aurora性价比

亚马逊云科技 (Amazon Web Services)

Data

如何将Amazon RDS与Amazon Aurora数据库迁移至Graviton2?

亚马逊云科技 (Amazon Web Services)

Data

MySQL 中 blob 和 text 数据类型详解

Simon

MySQL

元宇宙地产:品牌和投资者的大好机会?

devpoint

以太坊 NFT 元宇宙 12月日更

webpack打包过程如何调试?

汪子熙

前端 前端开发 webpack 28天写作 12月日更

一文带你梳理Clang编译步骤及命令

华为云开发者联盟

编译 LLVM Clang编译 Clang 编译命令

喜提双奖 | 旺链科技彰显综合硬实力!

旺链科技

区块链 产业区块链 供应链

(转)前端开发之MySQL分区表中的性能BUG

@零度

MySQL 前端

JDK ThreadPoolExecutor核心原理与实践

vivo互联网技术

jdk ThreadPoolExecutor Java 开发

一个简单的单体服务流量标记demo

zuozewei

Java 性能测试 全链路压测 12月日更

前沿干货!深度揭秘TDSQL新敏态引擎Online DDL技术原理

腾讯云数据库

tdsql 国产数据库

利用极狐GitLab DevSecOps 功能检测 log4j 的多种方式

极狐GitLab

孩子,你为什么要上学?

Tiger

28天写作

跟着动画学Go数据结构之堆排序

宇宙之一粟

golang 数据结构 排序算法 Go 语言 12月日更

内核干货不容错过,龙蜥内核的Load Averages剖析直播回顾上线了

OpenAnolis小助手

Linux Kenel 内核 龙蜥社区

轻松驾驭EB级千万QPS集群,TDSQL新敏态引擎元数据管控与集群调度的演进之路

腾讯云数据库

tdsql 国产数据库

java开发之SSM开发框架

@零度

Java ssm

​使用 Amazon Neptune 通过数据仓库构建知识图谱,借此补充商务智能体系

亚马逊云科技 (Amazon Web Services)

Data

深度推荐系统与CTR预估2019年上半年值得精读的论文_AI&大模型_深度传送门_InfoQ精选文章