京东商城背后 AI 技术揭秘（二）：基于商品要素的多模态商品摘要

人工智能技术在电商领域，有着丰富的应用场景。应用场景是数据入口，数据通过技术得到提炼，反过来又作用于技术，二者相辅相成。京东基于自然语言理解与知识图谱技术，开发了商品营销内容 AI 写作服务。并将此项技术应用到了京东商城【发现好货】频道中。本文将介绍一种电商商品的多模态摘要模型，详解一个卖点突出、流畅和简洁的商品文本摘要是怎样生成的。

与传统的文本摘要任务相比，商品摘要任务更具挑战性。一方面，商品给顾客的第一印象来自该商品的外观，这对顾客的购买决策有着至关重要的影响。因此，商品摘要系统必须能够充分挖掘商品视觉信息，反映商品的外观特色。另一方面，不同的产品有不同的卖点。例如，紧凑型冰箱的优点是节省空间，而环保型冰箱的优点是节能。因此，商品摘要应该反映商品最独特的方面，从而最大限度地促成消费者的购买。

本文接下来将介绍由京东 AI 研究院提出的 一种电商商品的多模态摘要模型，该模型可以有效地整合商品的视觉和文本信息来生成一个卖点突出、流畅和简洁的商品文本摘要。

论文的标题为 ：Aspect-Aware Multimodal  Summarization  for  Chinese  E-Commerce  Products ，发表于 AAAI 2020。

论文链接：

http://box.jd.com/sharedInfo/2926429040ECC7D3

多模态摘要模型

如下图 1 所示，商品广告含有大量的文字介绍，顾客很难在短时间内在这些广告中获取有价值的商品信息，尤其是当顾客想要比较多个商品时，将会耗费大量的时间，影响了购物体验。商品摘要模型可以为商品生成文本摘要，为潜在消费者提供了短时间内了解商品的便利。从消费者决策的角度出发，一个好的商品摘要需要反映商品的外观特色和卖点信息，这也是本文提出的商品摘要模型的出发点。 

图 1

论文提出了一种基于商品要素的多模态商品摘要方法，如图 1 所示，该模型将商品图像、产品标题和其他产品描述作为输入，生成商品文本摘要。该模型不仅可以有效地整合商品的视觉和文本信息，而且从商品要素出发，使生成的商品摘要尽可能的包含商品的特色要素，并提高商品摘要的流畅性和简洁性。

论文中构建了一个中文商品摘要数据集，该数据集包含约 140 万个“商品 - 摘要”对，涵盖家电、服饰和箱包品类。在该数据集上的实验结果表明，文中提出的模型在自动评价和人工评价指标上都显著优于其他对比方法。

模型介绍

如图 2 所示，论文中提出的商品摘要模型基于指针 - 生成器网络（Pointer-Generator）。采用了三种策略将商品图像信息融入模型中，包括使用商品图片的全局特征初始化编码器，使用商品图片的全局特征初始化解码器，以及使用商品图片的局部特征，通过注意力机制生成图片上下文向量参与解码。

图 2

首先，对商品要素进行建模（所谓的商品要素，就是商品不同方面的属性。例如：对洗衣机而言，商品要素包括容量和能耗等），然后从商品的要素出发，对摘要的重要性、非冗余性和可读性进行建模。

(1) 采用基于商品要素的 RAML（reward augmented maximum likelihood）训练，鼓励模型生成的摘要涵盖商品的特色要素。如图 2（b）所示，该商品 ground-truth 特色要素是容量、操控与电机，则该模型将会鼓励生成描述容量、操控与电机相关的文本；

(2) 采用基于商品要素的覆盖度机制消除冗余信息。传统覆盖度机制仅能在词维度进行去冗余，难以处理相关词冗余问题。如图 2（c）所示，“noise”、“quiet”和“tranquil”均在描述“运行声音”这一商品要素，如果仅对“noise”进行去冗余，难以保证“quiet”和“tranquil”不出现摘要中。本文提出的模型通过商品要素维度的去冗余，可以避免“noise”、“quiet”和“tranquil”同时出现在摘要中；

(3) 通过商品要素放回跳机制提高摘要的可读性。如图 2（d）所示，商品要素的回跳描述降低了商品摘要的连贯性，影响了消费者的阅读体验。本文提出的模型通过解码时禁用回跳要素词，有效地避免了这一现象。

实验结果

如表 1 所示。本篇论文的基线系统，PG 模型的性能优于其他基于纯文本的模型，这表明复制机制在商品摘要任务中是必不可少的。事实上，商品详细介绍文本中含有大量商家或平台精心设计的文案，从其中直接复制卖点文本构成摘要是非常合理的。本文提出的带有的多模态商品摘要模型，MMPG 模型取得了比所有基于纯文本的模型更好的结果，这证明了商品视觉信息和商品要素信息在商品摘要任务中起着重要的作用。 

表 1

总结

论文提出了一个多模态商品摘要模型，其可以利用商品图像、标题和其他文本介绍，为商品生成摘要。文中提出的模型可以有效地利用商品的视觉信息，并反映商品的特色要素，从重要性、非冗余性和可读性的角度对商品要素进行了有效的建模。

对于电商而言，海量商品的营销内容在由达人供稿的过程中，受限于达人写作的效率限制，商品更新速度明显高于营销内容上线速度，导致内容短缺。

AI 生成内容在生成效率、曝光点击率、订单转化率等方面其实都表现出了优于人工创作营销的内容。该方法正在应用于垂直电商、综合电商、社交电商、新媒体平台等众多场景。

如果想了解更多相关内容，可以关注京东智联云开发者公众号（ID：JDC_Developers）。

作者介绍：

京东 AI 研究院专注于持续性的算法创新，多数研究将由京东实际的业务场景需求为驱动。研究院的聚焦领域为：计算机视觉、自然语言理解、对话、语音、语义、机器学习等实验室，已逐步在北京、南京、成都、硅谷等全球各地设立职场。