AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

京东:利用 DRL 算法进行带负反馈的商品推荐

  • 2019-11-29
  • 本文字数:1607 字

    阅读完需:约 5 分钟

京东:利用DRL算法进行带负反馈的商品推荐

背景与介绍

大都数传统的推荐系统(协同过滤、基于内容的推荐、learning-to-rank)只是将推荐过程当做一个静态的过程,并且在一段时间内是根据固定的模型来进行推荐。当用户的兴趣发生动态变化时,这些传统方法推荐的内容就不能捕捉到用户兴趣的实时变化。因此本文提出了一种 DRL 算法,可通过推荐系统和用户不断交互来持续提升推荐质量。


在电商领域,用户有正反馈和负反馈(比如用户点击了商品为正反馈,用户对商品没有任何操作称为负反馈),并且负反馈的数量远远大于正反馈。因此正反馈给模型带来的影响经常被负反馈给“冲刷”掉。本文提出的 deep recommender system(DEERS)的算法框架可将正、负反馈同时融入到模型中。


文中将了将 RL 引入到推荐系统中的两个优势:1. 通过用户与推荐系统的不断交互,可持续更新 try-and-error 策略,直到模型收敛到最优;2. 在当前状态动作对下,通过带延迟奖赏构造的 value 值可不断训练推荐模型。对于一个用户来讲,其最优的策略就是最大化该用户的期望累计奖赏。因此推荐系统通过很小的即时奖赏就可筛选出商品。

问题建模

环境:用户 agent:推荐系统


MDP 中各元素的定义为:


状态空间 S:用户之前的浏览历史,包括点击/购买过的和略过的,二者分开进行处理。同时,物品是按照先后顺序进行排序的。


动作空间 A:一次只给用户推荐一个物品,那么推荐的物品即动作。


即时奖励 R:在给用户推荐一个物品后,用户可以选择忽略、点击甚至购买该物品,根据用户的行为将给出不同的奖励。


状态转移概率 P:状态的转移主要根据推荐的物品和用户的反馈来决定的。


折扣因子 r:对未来收益进行一定的折扣


模型框架

基本的 DQN 模型,只考虑正向的反馈


状态 s: [公式],用户之前点击或购买过的 N 个物品同时按照时间先后进行排序


s 转移到 s’:假设当前的推荐物品 a,用户若点击或购买,则 [公式] ,若用户略过,则 s’=s 。


需要注意的是,仅仅使用离散的 indexes 去表示 items 是表达力不够的,比如相似的商品仅从 index 上也是无法推断的。一个常见的做法是,在表示 item 的时候加入额外的信息,比如 brand,price 和月销量等等。本文则是采用了另外一种方法,将用户的浏览历史当做一个 session 下的序列,然后通过 word embedding 技术去训练得到每个 item 的 embedding 表示(有点像 Airbnb 的做法)。



训练得到 item 的 embedding 之后,将状态和动作的 embedding 表示 concat 起来作为模型的输入,输出为该状态动作对的 Q 值。更新方法和传统的 DQN 是一样的。这里就不详细介绍了


  1. DEERS 模型,同时考虑正向和负向反馈


对于基本的 DQN 模型来说,一个明显的缺点是,当推荐的物品被用户忽略时,状态是不会发生变化的。因此 DEERS 模型在状态中也考虑被用户忽略过的商品。


当前状态 s: 当前状态 s 包含两部分 s=(s+,s-),其中 s+={i1,i2,…,iN},表示用户之前点击或购买过的 N 个物品,s-={j1,j2,…,jN},表示用户之前略过的 N 个物品。同时物品按照时间先后进行排序。


s 转移到 s’:假设当前的推荐物品 a,用户若点击或购买,则 s’+={i2,i3,…,iN,a},若用户略过,则 s’-={j2,j3,…,jN,a} 。那么,s’ = (s’+,s’-)。



如上图,DEERS 模型使用 GRU 来抽取 s+,s-两个序列的表征。


另外,DEERS 模型还考虑了商品之间的偏序关系。对于一个商品 a,偏序对中的另一个商品称为 [公式] ,但只有满足三个条件,才可以称为[公式]。首先,[公式]必须与 a 是同一类别的商品;其次,用户对于[公式]和 a 的反馈是不同的;最后,[公式]与 a 的推荐时间要相近。


若商品 a 能够找到有偏序关系的物品[公式] ,此时不仅需要预估的 Q 值和实际的 Q 值相近,同时也需要有偏序关系的两个物品的 Q 值差距越大越好,因此模型的损失函数变为:



其中,目标 Q 值 y 的计算为:



整个算法的流程为:



参考文献:


https://arxiv.org/pdf/1802.06501.pdf


https://www.jianshu.com/p/fae3736e0428


本文转载自 Alex-zhai 知乎账号。


原文链接:https://zhuanlan.zhihu.com/p/77224966


2019-11-29 11:402214

评论

发布
暂无评论
发现更多内容

链表的魅力:单链表与双链表常见算法应用详解

测吧(北京)科技有限公司

测试

星海智算+ DeepSeek-R1:技术突破与行业应用的协同革新

Yan-英杰

人工智能 DeepSeek

博云AIOS+DeepSeek:代码辅助评审

BoCloud博云

博云 DeepSeek

人工智能丨基于 OCR 识别方法的自动化测试

测试人

算法优化必看:时间复杂度与空间复杂度的深度解析

测吧(北京)科技有限公司

测试

谷云科技iPaaS×DeepSeek:构建企业智能集成的核心底座

RestCloud

AI 智能体 数据集成平台 ipaas DeepSeek

0 代码!2 种方式,一键部署 DeepSeek 系列模型

阿里巴巴云原生

阿里云 Serverless 云原生 函数计算

Milvus x DeepSeek 搭建低成本高精度 RAG 实战

阿里云大数据AI技术

Milvus rag PAI DeepSeek

二叉树探索:从创建到遍历,前序中序后序算法全攻略”

测吧(北京)科技有限公司

测试

《Operating System Concepts》阅读笔记:p125-p146

codists

操作系统

递归 vs 循环:如何用递归算法提升代码的简洁性与效率

测吧(北京)科技有限公司

测试

队列在实际开发中的应用:管道、消息收发与 FIFO 原理揭秘

测吧(北京)科技有限公司

测试

Sandisk闪迪成功完成与西部数据分拆,正式登陆纳斯达克

极客天地

JUC并发—ThreadLocal源码分析

不在线第一只蜗牛

Java 算法 JVM

阿里云可观测全面拥抱 OpenTelemetry 社区

阿里巴巴云原生

阿里云 云原生

开发一个交易所需要哪些技术?

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

探索高效项目管理协作的解决方案

axe

项目管理 办公软件 项目协作

Proof Beyond Boundaries: Hong Kong zkNight 活动精彩回顾

TechubNews

堆栈的奥秘:LIFO 与栈、堆的深度对比与应用场景

测吧(北京)科技有限公司

测试

Proof Beyond Boundaries: Hong Kong zkNight——零知识证明技术的未来之夜

TechubNews

区块链 科技 web3

多叉树在大数据结构中的应用与算法优化实例

测吧(北京)科技有限公司

测试

NFT质押:数字资产的价值裂变与收益体系深度解析

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

从冒泡到选择:经典排序算法背后的深度解析与优化

测吧(北京)科技有限公司

测试

人工智能丨基于视觉模型的目标检测技术在自动化测试中的应用

测试人

京东:利用DRL算法进行带负反馈的商品推荐_语言 & 开发_Alex-zhai_InfoQ精选文章