一. 京东在强化学习的几篇文章
Deep Reinforcement Learning for List-wise Recommendations
本文将推荐的过程定义为一个序列决策的问题，通过Actor-Critic算法来进行 List-wise 的推荐。

模型结构：Actor-Critic

主要贡献：

构建了一个线上环境仿真器，用于输出从未出现过的状态动作对的奖励，然后可线下对Actor-Critic网络参数进行训练。
构建了基于强化学习的List-wise推荐系统。

Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning

主要创新点：考虑负反馈以及商品的偏序关系，并将这种偏序关系建模到DQN的loss函数中。

若一个商品能够找到其偏序关系（两个商品必须是同一类别，用户反馈不同，推荐时间要相近）的物品，此时模型即希望预估的Q值和实际的Q值相近，同时又希望有偏序关系的两个商品的Q值差距越大越好。

框架：

Reinforcement Learning to Optimize Long-term User Engagement in Recommender Systems

新颖处：状态中加入了用户的反馈、停留时长。

MDP建模：

状态：初始的状态s1={u}，即只有用户的信息。当进行了第一次推荐后，状态变为s2={u,(i1,f1,d1)}。当推荐过t-1个物品后，状态st = {u,(i1,f1,d1),(i2,f2,d2),…,(it-1,ft-1,dt-1)}。即st = st-1 + {(it-1,ft-1,dt-1)}。这里it-1代表第t-1时刻推荐的物品，ft-1表示用户对物品it-1作出的反馈，dt-1表示用户对推荐的物品it-1的停留时间。
动作：可推荐的物品的集合，时刻t的动作就是该轮推荐的物品it。
状态转移概率：p(st+1| st,it)
奖赏：点击次数、滑动深度和用户下次访问APP的时间奖励这三者的加权平均。
模型分为Q网络和S网络，其中Q网络来拟合状态动作对的价值函数，S网络是一个仿真环境，用于输出奖赏值。

可以看到最终的state表示是（4个LSTM模块提取的输出 + 用户的embedding） +item的embedding表示，模型的更新和传统的DQN没什么区别。这里为什么要用4个LSTM呢？因为只用一个LSTM的话，正向行为（点击或购买）的信息容易被大都数负向行为所冲刷掉。并且用户不同的行为都有自己的特征。比如点击行为通常表现出用户的当前兴趣偏好；购买行为表现出用户的兴趣转移过程等等。

输出共有四部分，分别是预测用户的反馈形式、预测用户的停留时间、预测用户再次进入App的时间间隔、预测用户是否会关闭APP。通过训练，得到的模型就可以去预估奖赏值，从而构造完整的transition样本用于Q网络的训练。

Toward Simulating Environments in Reinforcement Learning Based Recommendations

基于gan，提出了一种RL的仿真环境，用于产生训练数据。有gan就会有generate和discriminator，其中generate的结构为：

为encoder-decoder结构，其中encoder的输入为用户的浏览序列 e+f（商品+用户对商品的反馈），然后经过embedding层，然后再concat起来，最后通过GRU层得到最终的hidden state，表示用户当前的偏好。Deocder的目标是预测下一个要推荐给用户的商品，输入是用户当前的偏好，经过多层的MLP得到一个向量。为了得到一个具体推荐的商品，可以拿所有待推荐的商品embedding分别和decoder输出的向量计算相似度，选择相似度最高的一个商品推荐给用户。

Discriminator结构：

上图左下角的输入和generator一样，但是参数不同。右下角把真实的推荐商品和generator生成的推荐商品作为输入，经过两层MLP得到输出 [公式],然后将两部分输出concat起来经过MLP和softmax层得到最终的输出，长度为2*K，其中K代表用户反馈类型的种类。输出结果为：

输出前k维表示如果这个输入的是真实的商品（这里的真实商品即用户在当前状态下，下一个实际浏览的商品）的话，用户的每种反馈的概率，后K维表示，如果这个输入是Generator产生的话，用户的每种反馈的概率。

那么怎么训练Discriminator和Generator呢？对于Discriminator来说共有两个目标，判断输入是真实的商品还是Generator产生的，同时，要保证用户真实的反馈和Discriminator得到的用户反馈类型分布的差距要大。对于Generator来说，同样有两部分的损失，一是希望能尽可能骗过Discriminator，使得Discriminator将Generator产生的推荐商品判别为假的概率越低越好，二是希望产生的推荐商品向量，与真实序列中下一个商品的向量距离越近越好。

总结来说，使用GAN还是为了解决RL应用在电商领域中的一些限制：比如商品和用户数量巨大，导致整个的状态空间和动作空间十分巨大，每个用户的训练样本较稀疏，这样直接训练会导致模型不鲁棒，上线实验也会造成用户体验的损害。使用GAN来产生一些离线训练样本会一定程度上解决该问题。

本文转载自Alex-zhai知乎账号。

原文链接：https://zhuanlan.zhihu.com/p/77332847

创作场景

强化学习在推荐算法的应用论文整理（一）