随着深度学习的发展，深度学习模型已经广泛用于推荐、搜索、广告等领域的CTR预估，比如微软的Deep Crossing，Google的Wide&Deep，以及FNN，PNN，阿里的DIN，DIEN。这边盗用一下王喆老师的一张图，我觉得总结的非常好。

但是这些模型都没有用上用户浏览和点击的图片特征，而用户点击的图片序列特征其实很能代表用户的行为喜好，因此如果在CTR模型中加入image的特征，将对提升CTR模型的指标很有帮助。

并且文中说道：之前这些深度CTR模型大都是直接将item的ID特征映射成固定维度的embedding向量，其实这些ids特征很难去表达语义上的信息，特别当一个id出现次数很少的时候，其参数的更新次数就会不够，并且没出现过的id其压根都不会对预测有所影响。而图像特征则不同，图像特征有更好的泛化性，我理解就是比如两个很同品类的商品，图片很相似，但是其中有一个商品从来没在训练数据中出现过，那也没关系，因为相似的图片经过图像模型总会提取出很接近的向量。

https://zhuanlan.zhihu.com/p/63186101
创新点：

1.第一次将图片用于用户侧建模，基于用户历史点击过的图片来建模用户的视觉偏好。而之前的工作一般都是将图片特征用于物料侧，用于丰富商品、文章的特征表示。
2.因为图片特征维度都比较高，增加了传输的数据量，在分布式训练时，ps和worker之间的通信会成为瓶颈。因此该工作在传统server端也增加了“模型训练”功能，该结构称为Advanced Model Server （AMS）。

左边就是推荐/搜索中常见的Embedding+MLP结构。实际系统中可以替换成Wide&Deep, DIN, DIEN等较复杂的模型。
embedding model已经训练好，即图中的embmodel。经过embmodel，得到商品的图片信息（图中的粉红色块）。
右边部分，负责利用图片建模用户。将每个用户点击过的图片，经过embmodel进行压缩（图中的蓝色块）。它们与商品图片（ad image）的embedding结果（粉红色块）经过attentive pooling合并成一个向量（桔色块），来表示用户的视觉偏好。
将用户点击过的多张图片的向量（蓝色）合并成一个向量（桔色），思路与Deep Interest Network 基于attention的pooling机制大同小异，只不过要同时考虑“id类特征”与“商品图片”对用户历史点击图片的attention，称为MultiQueryAttentivePooling。
第1步得到基于id特征的embedding结果，与第2步得到的商品图片(ad image)的embedding结果（粉红色），与第3步得到的表示用户兴趣偏好的向量（桔红色），拼接起来，传入MLP，最后输出softmax。

ADVANCED MODEL SERVER架构

如果用传统的PS做法：可将图片特征存入PS中的server端，key是image index，value是经过预训练好的CNN模型提取出来的稠密向量。训练数据只需要存储图片的index，训练时，每个worker根据本地的训练集所包含的image index，向server请求各自所需的image的embedding，然后通过前向传播和反向传播来更新自己的embedding向量。

但是有个问题容易被忽略，文中经过vgg16模型提取的向量有4096维。每次迭代中，worker和server需要通信数据量是batch size * 单用户历史点击图片数 (i.e., 通常是几十到上百) * 4096个浮点数。大概能达到5G左右的通信量，而一个传统的ID特征一般才用12维的向量去表示，引入image后，通讯量增长了4096/12=341倍。文中也解释了为什么选用4096维度的特征，而不是512或者128这种维度较低的向量。这是因为vgg16是针对ImageNet训练好的，而ImageNet中的图片与淘宝的商品图片还是有不小的差距。因此提取的image embedding足够长，才能更好地保留一些原始特征信息。其实可以专门训练一个针对商品图片的分类模型（比如图片产品词的多分类模型），就可通过这样的预训练好的模型提取更小维度的embedding向量作为ctr模型中的图片特征输入。只要保证低维度图片的embedding能够很好的表示商品图片特征空间，就或许可以不使用AMS这样的框架，直接上PS了吧。

当然AMS也是一个很好的解决方案：

为每个server增加一个可学习的“压缩”模型（文中的sub-model，是一个4096-256-64-12的金字塔型的MLP）
当worker向server请求image embedding时，server上的“压缩”模型先将原始的4096维的image embedding压缩成12维，再传递给worker，从而将通讯量减少到原来的1/340
该“压缩”模型的参数，由每个server根据存在本地的图片数据学习得到，并且在一轮迭代结束时，各server上的“压缩”模型需要同步。

##总结

总结下Deep Image CTR Model的优点和创新点：

第一次将图片信息引入到用户侧建模，通过用户历史上点击过的图片建模用户的视觉偏好，而且将传统的ID类特征、物料的图像信息、用户的视觉偏好进行充分交互，能够发现更多的pattern，也解决了只使用ID特征而带来的冷启动问题。
但是，引入user behavior images后，由于image原始embedding太大，给分布式训练时的通信造成了巨大压力。为此，阿里团队通过给每个server增加一个可学习的“压缩”模型，先压缩image embedding再传递给worker，大大降低了worker/server之间的通信量，使模型的效率能够满足线上系统的要求。这种为server增加“模型训练”功能的PS，被称为AMS。
参考文献：

https://zhuanlan.zhihu.com/p/57056588
https://arxiv.org/abs/1711.06505
https://zhuanlan.zhihu.com/p/63

本文转载自Alex-zhai知乎账号。

原文链接：https://zhuanlan.zhihu.com/p/69141871。

创作场景

阿里：Deep Image CTR Model