聊天机器人已死，为什么腾讯还要打造自己的智能客服？

AI 前线导读：Facebook Messenger 主管 David Marcus 在 2015 年 8 月宣布 Facebook 推出虚拟助理 M，是 Messenger 内的个人虚拟助理，可以完成一些简单任务并代用户查找信息，由 AI 驱动，接受人们的训练和监督。当初 Facebook 推出虚拟助理 M 的野心很大，想把 M 打造成能够完成线上到线下服务闭环，使 Facebook 直接成为实物和电商入口的 O2O 项目。但是，2018 年 1 月 19 日 Facebook 宣布关闭虚拟助理 M，这个曾被寄予厚望的虚拟助理只短暂地运营了不到三年。智能客服 / 问答产品的市场竞争一直非常激烈，不只大公司在做自己的智能客服产品，很多初创公司也尝试在不同的垂直领域开发智能客服产品。但竞争激烈的同时，也有不少产品最终走向失败，Facebook 的虚拟助理 M 并非特例，以至一度有评论认为聊天机器人已死。

在 Reddit 上，关于 NLP 技术突破的问题也曾引起热烈讨论，有人认为，NLP 领域的突破状况令人失望，人们研究的热点纷纷转向了 GAN 和强化学习。另有观点认为“近年来 NLP 在技术和商业化上少有实质性突破进展”。

在如此市场形势下，腾讯为什么还要花费近一年时间打造腾讯小知这款智能客服产品？产品应用进展如何？9 月 16 日，由 AICUG 人工智能技术社区、Datafun 社区、博学主办的 2018 AI 先行者大会将于杭州召开，届时腾讯数据平台部算法高级研究员陈松坚将发表主题为“庖丁解牛：智能客服的问题分解和解决思路”的演讲，InfoQ 受邀参加大会并有幸提前采访了陈松坚老师，谈谈智能客服 / 问答产品和 NLP 技术的技术难点、解决思路、商业化落地的途径和未来发展。

腾讯小知是什么？

Info Q：请先介绍一下腾讯小知这款智能客服产品，它有什么技术特点？腾讯小知是什么时候开始研发和真正落地应用的？目前主要在哪些场景有实际落地应用（腾讯内部和对外），能否分别举几个例子说明（包括落地的效果）？

陈松坚：小知是从去年 7 月开始启动研发的智能客服系统，经历 10 个多月的核心功能打造，现已落地多个应用，日均回答百万量级。小钛的主要的技术特点有三个：

1. 依托大数据平台实现问法挖掘，问法改写等冷启动阶段的必需工具，降低客户准备问答库的难度和运营人力投入。
2. 基于深度学习和迁移学习模型，实现小语料（平均每个知识点下的相似问法数最多 3 条）下的模型训练和准确匹配。同样也是提高项目启动语料不足情况下问答准确率不佳的问题。
3. 结合行业知识图谱多轮对话模型实现问答式体验，而非一般的搜索式体验（追问多条问句）。

目前落地在政务、零售、服务等多个行业，上线时间仅 2 个月，已落地了数套成熟行业解决方案，成长势头很好，也说明这块市场的价值。在这些应用上，我们的解答率都达到 90% 以上，并且部分实现了类问答的体验而非搜索体验。

实际以公安行业为例，政务领域的智能问答存在一个问题就是涉及场景较复杂，如户口业务就分为迁入和迁出，迁入分为市外迁入和市内迁移，而市外迁入又分为父母投靠，子女投靠，应届毕业生落户，积分入户等。如果使用一般的问答服务，用户无法直接提供完整的自身情况说明，此时系统会返回 3-5 条相似知识点，但一方面无法系统地覆盖上述的这些分支情况，另一方面搜索式的产品体验并不友好。而基于知识图谱，我们实现了对话式体验，如下图所示。另外由于多轮对话是带状态的，所以也系统会记忆上下文，并简化对话流程。

InfoQ：智能客服 / 问答产品的市场竞争非常激烈，不只大公司在做自己的智能客服产品，很多初创公司也尝试在不同的垂直领域开发智能客服产品。在这种情况下，为什么腾讯还要做一款自己的智能客服产品？开发这款产品想要解决什么样的痛点？

陈松坚：一方面是看到了这个市场的潜力仍然未真正地被开发，尤其是某些垂类下布局相对还比较空白，存在成长空间。比如我们最早打的政务行业。另外，行业无论从技术上还是业务上都远未达到成熟的状态，目前来看还是“百家争鸣”的阶段。第三，经济下行趋势明显，企业“火烧眼眉”之下降低成本成为第一刚需，此时，谁能做出使用便利，问答准确的问答机器人，就会有很大的机会。

InfoQ：小知和市面上其他智能客服产品有什么不同之处？优势是什么？

陈松坚：相比市面上其他智能客服产品，小知绝对属于晚辈了。后发者的优势往往在于客户经过市场充分教育后，其痛点进一步明确，可以更精确地把握客户的需求。技术优势上面已经提到了，主要是结合深度学习和知识图谱的问答技术，非技术的优势主要体现在我们打造了完整的数据闭环，一方面是在系统上将问答库后台和标注后台进行了打通，另一方面配备了大量熟练的标注团队能够胜任各个行业的问题标注工作。

智能客服产品开发和落地有通用的解法吗？

InfoQ：智能客服产品目前存在哪些技术和非技术的难点？能够分解为哪几部分问题？

陈松坚：智能客服是非常综合的 AI 系统，几乎涉及 NLP 领域所有技术点，甚至还包括语音和图像的处理。但从需求上来讲，可以分为三个板块: 1. 如何学习知识   2. 如何问答   3. 如何持续学习。

其中第 1 点关注点和难点在于如何自动构建知识库（包括但不限于问答库、知识图谱、领域词表等）。第 2 点重点关注和解决用户问题的意图识别，答案选择以及如何结合上下文进行多轮交互。第 3 点则是持续运营的需要，涉及的挑战包括未知问题识别，知识的自动更新和补充。

非技术的难点主要体现在项目推进的过程中如何控制客户的期望，避免需求失控。

InfoQ：这些问题是否有通用的解法？分别有什么解决思路？

陈松坚：要具体问题具体分析，比如领域词典生成，未知问题识别等可以做到跨领域通用，但是意图识别，多轮对话则由于不同领域下的问答形式不同，关注重点不同，存在一定的差异。比如问答可以通过问句匹配来解，也可以通过阅读理解技术直接从篇章中抽取答案，也可以基于结构数据库来获取。我们的系统整合所有的解决方案，然后根据实际的需求灵活配置。

NLP 技术落地到底有多难？

InfoQ：从您的角度来看，NLP 技术（及产品落地）的发展和演进可以分为哪几个阶段？当前处于什么阶段？封闭领域的智能问答有没有可能突破到更开放的领域？

陈松坚：从大的范畴上看，NLP 技术的发展可以分为三个阶段，第一阶段从上世纪 50 年代到 80 年代，以语言学和规则为内核，主要靠语言学家设计的语法规则来解决问题，此时的人工智能也主要做的是推理方面的研究；而 80 年代之后，随着计算机算力增强和数据逐步得到收集，统计学派逐渐占据了主流，NLP 也进入了第二阶段，即以传统机器学习模型为核心，凭借最大熵，CRF，LDA 等原理优雅的模型，在语音识别，文本挖掘等一系列的任务中取得优秀的效果，在这个背景下各种 NLP 应用如语音识别，翻译，文章主题挖掘等被广泛落地；第三阶段就是目前所在的深度学习阶段，其实其本质上还是统计学派，即经验归纳的思想，但区别于传统的 NLP 模型，深度学习模型能够对语言单元（字词）进行向量编码，然后结合各种网络结构（尤其是 RNN 及其变种完美匹配语言的时序建模要求）进行表示学习（其实也是特征提取的过程），明显降低了各种 NLP 应用，如语音识别，翻译等的错误率，进一步提升了 NLP 应用的实用率。

封闭领域和开放领域的智能问答其实各有难点，并不见得是进而达之的关系。封闭领域的难点是训练语料少，模型容易过拟合，但是问题相对集中，也可以利用一些领域特性作为先验知识；开放领域则相反，难点是问题发散，需要构建庞大的通用知识图谱，但是语料充足，采用的方法腾挪空间较大，比如斯坦福的基于 wikipedia 做的通用问答项目 DrQA，用到的就是阅读理解的技术。

InfoQ：之前有很多公司的智能问答 / 客服产品都失败了，甚至一度有评论称智能客服已死，您怎么看待这一情况（参考报道： http://www.infoq.com/cn/news/2018/01/facebook-m-chatbot）？在 Reddit 上，关于 NLP 技术突破的问题也曾引起热烈讨论，有人认为，NLP 领域的突破状况有些令人失望，人们研究的热点纷纷转向了 GAN 和强化学习。有观点认为“近年来 NLP 技术在技术和商业化上少有实质性突破进展”，这是否符合您在行业中看到的情况？在您看来，NLP 技术在商业化或落地方面的进展是成功还是失败，为什么？当前 NLP 技术在技术和商业化上分别面临怎样的瓶颈？突破困境的关键是什么？

陈松坚：我们对技术往往短期期望过高，而长期期望过低。NLP 在进入深度学习阶段之后模型的泛化能力得到大幅提升，但是本质上依然是拟合经验数据的思路，也就是说我们现在的机器人非常善于归纳，但推理能力、对知识和常识的利用能力很弱。但是我们同时还是要看到，近年来 NLP 应用，尤其是翻译，写作，对话机器人等，在模型增强和知识图谱建设完善的过程中，在特定的场景下，满足了大部分人的使用需求，这是要肯定的。常说 NLP 是人工智能皇冠上的明珠，其难点就在于语言是思维的外化，我们现在的做法是利用上下文环境，从外部进行建模，而缺少对内部（思维）的研究。而外部建模的方法要求海量的标注语料进行训练（不同任务的标注不一样），代价太大，这是瓶颈之一。另外无法对知识和常识进行表示，无法进行有效推理，这是瓶颈之二。我个人认为突破点在于利用深度学习模型进行知识表示和关系表示，并融入到原模型中求解。这个方向已经有一些企业如 google/ deepmind 在探索，我们非常期待加入到摘取明珠的战役中。

InfoQ：您认为未来 NLP 技术在哪些场景下有较大的商业化应用潜力？

陈松坚：上面提到的翻译、对话、写作会有。更具体的说，基于翻译的智能硬件，基于对话机器人的智能客服，家居 / 车载 / 个人助理等垂类机器人，以及写作机器人在即时新闻，专业文书写作上的应用。

采访嘉宾

陈松坚，腾讯数据平台部算法高级研究员，8 年 NLP 研发经验，此前就职于雅虎北京研究院从事内容推荐算法的研究；2017 年加入腾讯 TEG 数据平台部，负责智能客服产品腾讯小知的算法规划和落地。负责过多个智能客服项目，对封闭领域的智能问答有丰富的实战经验。