从问答系统到 AI 中间件：云上智能机器人构建之路

问答系统早在 1960 年代便初见雏形，大致经历了基于结构化数据、基于自由文本、基于问题答案对等阶段，近年来知识图谱、任务型等技术的出现和应用，为问答系统提供了更好的体验与更多的场景。发展多年，问答系统在商业化的过程中仍然面临很多挑战。为了更好地服务丰富多元的智能问答场景，腾讯云构建开放 Bot 市集，打造 AI 中间件，为各行各业的问答系统提供基础能力。

以下为腾讯云 AI 语义研发总监钟黎在ArchSummit 全球架构师峰会（深圳站）2019 现场的演讲全文（有删减），听他分享智能问答的技术发展和趋势、及智能问答产品构建的实践与思考。

今天我演讲的内容主要从三部分展开，首先从一个回顾的视角去看问答系统的技术演变过程；其次，探讨构建智能问答产品，特别是智能客服，在实践中遇到的问题和解决方案；最后跟大家分享一些到云上构建智能机器人的思考。

问答系统的前世今生

问答系统早在 1960 年代便初见雏形，大致经历了基于结构化数据、基于自由文本、基于问题答案对等阶段。

关于问答系统，有一些比较关键的时间点，其中有几个时间点跟 AI 技术的发展关系非常密切。从图灵测试往后看，上世纪 60-80 年代的问答系统，主要是基于逻辑规则、结构化数据来做的。这个时代正值连接主义，也是神经网络的寒冬（AI  winter），当时主流的一些技术都是基于逻辑的、符号的。因此，在问答系统的展现上它更多偏向于符号与逻辑计算的结构。而另一方面，神经网络也开始有了分布式表示的早期概念，例如 Hinton 提出的“分布式的概念表示”。现在来看，分布式的语义表示几乎已成为绝大多数 NLP 任务的基础，从思想上来看是一脉相承的。

在 1990 年，美国标准委员会 NIST 开始做大规模检索语料集的收集与评测，后来通过 TREC 这个会议开放给信息检索的研究社区。1999 年，TREC 新增了一个项目子项，叫做 TRECQA，当时，TrackQA 更多的思路还是在延续信息检索、IR 领域的一些经典方法在问答上面做一些尝试。后面会再展开讲一点。

之后随着互联网技术的发展，一些问答社区产品涌现出来，比如雅虎问答。最近几年，因为知识图谱概念的流行，让基于知识图谱的问答也开始获得了更多的关注。同样的，因为机器阅读理解技术的发展，也促进了非结构化文档问答的发展。从这些例子可以看出，技术的发展和成熟，会帮助拓展产品的场景和边界。

接下来讲一下问答和智能的联系，很多人主张从图灵测试开始看，但早在 17 世纪时，就有笛卡尔语言测试，当时笛卡尔认为，语言和智能的关系是一个很明确的三段论 — “大前提，小前提和结论” ，大前提是什么？它是指如果一个机器能够产生一些回答、词语，就存在对某些现象产生反映，但它不能对任何现象都产生所有可能的反映（无法编码穷尽），一旦存在某种现象，机器无法正确地产生反映，这个大前提即说明机器没有语言能力。小前提是，语言能力代表着思维、智能的呈现，通过“大前提、小前提”推断出来“机器没有智能”。

1950 年的图灵测试避免了对智能定义的讨论，而从行为、功能的角度看，如果一个机器能够跟我对话，且我又不能分辨它是机器还是人，我就认为它有智能，这是从功能的角度去判断的。

80 年代 John R. Searle 的“中文屋”实验对图灵测试做了反驳，中文屋实验是指，在一个房间里有一个完全不懂中文的人和一本中文工具书，外面的人用中文纸条和房间里的人对话，里面的人通过查询工具书找到对应的中文输出，对于外面的人来说，里面的人是可以通过中文对话的，但其实他并不懂中文。

我觉得“中文屋”实验更重要的点不在于反驳图灵，而是在于它提出了一些更有外延的一些想法，它思考了句法和语义的关系。我们都知道，人的思维活动其实是计算，或者说人类的思维很多是在大脑中的计算，并通过神经元、突出进行化学信号、电信号等的传递，那是不是意味着人的思维等价于计算呢？

“中文屋”就是在反驳这个（说法），它认为思维不仅是符号的操作过程，不纯粹是物理的操作过程，它认为物理介质本身也很重要，也就是说我们的思维不仅仅是因为我们的突触、神经元在传递电信号、化学信号，是因为神经元本身这个载体也构成了我们思维的一部分。因此该实验认为，必须要有一个特定的实现，这个特定的实现必须要有物理化学基础。当然后来中文屋实验也引起了很多的讨论，有兴趣的同学可以看看 John Searle 后来写的中文屋回顾总结。

刚才讲的两个都是思维实验，它其实是一个想法，并不适合用来做真正的问答测试。

如果真正做一个严肃的问答系统的测试，要如何做呢？也有一些人提出了新的测试方式，比如 WSC，这是一个相对来说更加规范的测试，它会给一句话、一个描述，然后给一个问题，让人去选答案。这样的问题非常简单，只要你能看得懂这句话就能选出正确的答案。目前 WSC 测试最好的效果能达到 61，人类可以做到 95，所以，在这个方面机器和人类的距离还差得很远。

刚在提到，在上个世纪 60 年代— 80 年代的问答系统中，主要是基于句法、逻辑规则、结构化数据来做的，当时这些问答系统都有一个名字，叫做 NLIDB。当时智能问答系统研究主要针对数据库自然语言接口任务，即如何使用自然语言检索结构化数据库，代表系统包括 BASEBALL 和 LUNAR。LUNAR 允许用户使用自然语言提问的形式查询 NASA 月球岩石及土壤数据库。

1999 年，TREC 举办了第一届开放领域智能问答测评任务 TREC-8，它从信息检索的角度打开了智能问答的一个新方向，2000 年，当时 TREC 的做法跟 IR 的体系是一脉相承的，很多想法都是继承了 IR 的思路，当时做 TREC 系统的比较经典的架构，跟 IR 系统是密不可分的。

一些文档集通过 IR 的子系统，再通过一些语义（名词动词、语法结构、主语谓语）相关性的筛选，去找到侯选的答案。这其实都没有 Model，基本上都是基于这样的一些符号的操作，并得到了很多侯选答案。这些方法，已经有了现在的问答系统的雏形了，但当时这个方法的效果并没有那么好，当时的 TREC 也好几个数据集，最好的也没有超过 60%，普遍的在 30%。

到 2010 年的时候，TRECQA 已有一定发展。在美国，有一个电视问答比赛节目—“Jeopargy", 这个问答节目的规则是，有一些侯选人站在台上，主持人提一个问题，大家先是选择要不要去抢答这个问题，抢答后就可以回答问题。这里涉及到回答的准确率和覆盖率（有多少问题抢答了）。在这个节目里，人类冠军的准确率大概在 85% —95%，覆盖率在 40% — 60%。

从 2007 年开始，IBM 一直想去挑战这个比赛，4 年之后，IBM 构建的 Watson 系统参加了这个节目，并在比赛中击败了人类冠军选手。Watson 系统结合了检索和结构化数据两个方法，结构化的一个好处是，它不会随着数据量扩大而掉的很厉害，当范围扩大的时候，它仍然能维持在一定的表现，它做了很多优化的技巧，在 0.7 版本时已经能够比一半的人类冠军的表现要好。

在拿到冠军之前，Watson 系统曾遇到过的一个最大问题是它的线上耗时问题，因为它当时维持了一个非常大数量级的结构化知识库，去做查找时需要两个小时。当时节目中有一个 5 秒钟倒计时，为了加速到线上去，5 秒钟能做到，IBM 花了 300 万美元组建了一个 90 台的集群，每台集群的配置很高，78 核、16PB 的内存，在当时世界超级计算中心的集群里排名前五百。

到现在，问答系统已经有一定技术成熟度，在面向垂类的问答比如智能客服、智能咨询、智能导购类方面做的比较好，在面向开放域的任务问答、KEG 问答、闲聊等方面已有很多厂商做的很不错，比如腾讯云，腾讯云会开放自己的对话平台，大家可以在上面构建自己的任务机器人。目前，具备常识推理的，具有情感感知能力的拟人对话系统，离我们还比较遥远。

从构建一个智能客服产品说起

刚才简单讲了一下问答系统的发展历程，接下来讲一讲构建智能问答产品的实践，我们就以智能客服为例。

现在，大家可能经常遇到这样一个场景，很多厂商都会有自己的智能客服，可能老板就会说，智能客服很常见，技术好像也都比较成熟，是不是可以很快地去构建一套自己的智能问答的一个产品？

在之前也提到，其实现在信息检索方法对 QA 的影响是深远的，所以我们可以直接去用 IR 的方式先去构造一个初始的版本。构造完初始的版本后，我们会发现一些问题，比如在做问答的时候，用户的 query 是比较口语的，多样性会比较丰富，因此如果我们基于全文检索，基于关键字匹配、关键词的倒排索引来做，可能在泛化这一块儿会有一些问题。所以我们需要去加入一些更多技能进来，比如需要去做意图的判断、理解，比如说需要去做一些排序和匹配的工作等。

再来说关于深度学习的问题，对于这个问题，针对大部分的场景也需要去考虑一下它的投入比，当实际上数据量很小的情况下是不是一定要去上深度学习?我们的架构能不能支持很好地把模型加载进来？耗时能不能在线上承接的住？这些都是我们需要在深度学习上去考虑的。

假设到此我们已经搭了一个检索的基本框架、加了一些 NLU 和匹配的算法，加了深度学习来进一步增强准确率，现在我们的 FAQ 的机器人终于上线了。

上线之后，我们发现还是会遇到一个问题：如果场景实体特别多，每个实体都要配置 FAQ 吗？这样工作量其实是非常大的，这样类似的场景，可以归纳成一个多（物品）实体，少（问法）模式的场景，在电商、文旅里尤为常见。对于这样的场景，KG 图谱的问答会更加适合，图谱的问答可以允许较多实体的数量，可以支持实体以比较低成本的大量增加，但它的模式会相对固定，使用 KG 问答，可以免去我们配制很多关于实体的问答对。

另外一个非常常见的场景是，在 FAQ 机器人中会发现很多问题其实是没有的，或者说这些问题都存在于文档里，可能会有很多的规章制度、解答都会写在文章里，那这样的情况是不是需要大家从文档里面去抽这样的一些问答对？当文档数量很多的时候，这个问题就会比较繁琐，耗人力。因此我们会有文档问答的一些场景，就是为了去解决这样的一些长尾问答、长尾问题。说到 FAQ，大家往往只关注它的 AQ，就是它的 QA 对，往往没有怎么去关注这个 F，F 的意思是 Frequent，是常见问题集，对于一些不常见、长尾的问题，我们完全可以通过文档问答的方式，在文档里面去找到答案。

我们还可能会碰到另外的场景，当机器人上线以后，用户的问法往往会认为它可能会有上下文的理解，有些话用户在上一次说了，不希望在下一次再重复，那么对于这一些多轮场景，我们也需要去构建一个多轮的引擎，我们需要有一个会话引擎去做会话管理，去管理它的上下文，去把用户的逻辑和算法逻辑去配置在一起。

以上具体介绍了我们在构建一个智能客服产品的时候，遇到的一些问题和场景。总结一下，当遇到这些场景后，我们首先是基于检索的一个框架，做了一个初版，然后我们加了意图识别 NLU 的模块，让它的问答支持更泛化的问法，进一步加了匹配和深度学习的模块，让准确率效果更好。最后，因为要面对它有很多实体但模式比较固定的场景，因此加入了 KG 的部分。为了去解决长尾问题，又加入了文档的部分，最后为了关联住上下文的问题，让这个对话有对话记忆的功能，加了多轮交互的问题。

看似做了很多的工作，但问题解决了吗？我们可能会发现这个系统上线后，它的效果还不如人工客服+以前的规则引擎，那该如何解决这个问题？

这就是我们接下来要讲的 AI 中间件的部分。

AI 中间件：Beyond 智能客服

我们再进一步深入去看一下数据的原因，当线上数据出问题的时候，应该要从三方面去看，第一部分要看数据本身，第二部分看数据的模型，第三部分是看数据运营。

我分别来讲一下这三个部分，首先要看数据本身的问题，不管是 FAQ 的数据也好，还是 KG 的数据也好，还是文档的数据也好，这些都是基于数据的，我们首先要去对数据做一个健康度的指标和评价。我们都知道，模型有一个原则，“garbage in，garbage out”，如果你给它一些"垃圾"，它出来肯定是"垃圾"，我们必须要对数据做一个比较清晰的认识，这里会设一些指标，比如 Coverage(线上问答和知识库的重合度到底有多少)。如果用户问的问题都不在我的库里，那再好的模型也无法回答。

第二个是这些模型本身是否有足够的分离特点，如果这些知识点都耦合在一起，对模型来说，它也很难去学习。第三是看知识点是不是均衡的，有些知识点的问题和答案会比较均衡。有些问题，它有很多相似问题，有些问题则没有，我不太希望我的知识库里面出现这样悬殊的样本，这些是一些宏观指标。

此外还有微观指标，我们理想中的“相似问”是希望它和“标准问”的距离不要太远，也不要太近，因为如果它太远，可能机器无法去学习，太近的话，我们认为它是一个冗余，它没有提供任何新的信息。我们希望每一个知识点的相似问的距离，它的分布是一个钟型的，我希望他们大量的分布都是集中在一个窄的范围里，希望所有的这个距离既不要太近也不要太远。另外我希望这个钟型足够的窄、足够的瘦、足够的苗条，让它们的分布会比较均衡，这就是刚才提到的“均衡度”。

刚才讲了一些知识度的指标，那如何运用呢？可以构建一个数据闭环，我们有了知识库以后，通过自动化的评测，评测后能拿到一个健康度的指标，可以去可视化，并给它一些梳理的建议，那梳理建议完了以后，可以通过智能运营工具 QnAMaker 去生成或产生优化知识点，然后给到人工去审核、编辑，最后回馈到知识库里面去，这就是一个很好的数据闭环。同时，这样一个健康可视化和知识处理也会给后面过程的选型、技术的选型带来参考。

我刚才主要讲的是 FAQ，这里也顺带去提一下 KG 的数据要求，KG 对数据的要求会更多，因为它是结构化的数据，那还有一部分是 Doc，为了能够回答长尾问题，它人工介入的数据量会比较低，它是一个更加非结构化的数据。

接下来看一下数据模型，在看模型的时候，因为框架是自己检索的，我觉得第一步应该先去看一下召回。召回很重要，因为召回是给我们画了一个“圈”，告诉我们答案就在这个“圈”里，如果这个“圈”都画不对，那后面的工作很难做的更好。如果召回没有问题，这个圈里面答案的覆盖率是百分之百，那就没问题。

做到这些以后，就去看模型，先看排序模型，排序模型里要分别去看它的场景，另外再去看匹配的模型，这里有两种主流模型的代表，很多人会觉得，现在普遍都用 Interaction based 的方法，为什么你还会说这个 Representation based 的方法呢，为什么还讲这种 Arc-I 的结构呢？其实 Arc-I 的结构大家不要去忽视它，因为在线上的时候，Interaction based 的方法耗时会大，每一次交互都是需要实时去做的。但如果是基于 Feature  based 的方法，可以离线算好存好，知识库里的问答对都可以预计算，在实时的过程，只需要做很少的计算。所以在实际中要考虑 Trade  off。

此外，大家可能在做模型的时候，比较少去关注的点是负例的构造，loss 的构造，这对实际效果的影响会比较大，有可能比模型本身的架构影响会更大，还有关于打分的问题，怎样让打分是有用的、可比较的。

接下来是 KG 的模型，其实 KG 的模型现在来讲都比较经典，主要有几类方法，一类类似于“Natural Language Interface to Database ”这种方式，通过很多规则，通过设法标注句法的方式把它转成图数据库的查询语句。第二三种方法会综合考虑问答的表示，就是问法的向量化及图谱里的一些向量化，最后把它变成一个机器学习的问题。还有 Doc 模型，这里没有展开去讲阅读理解这个模型，更多是在讲，在实际工程里去考虑怎么去做这个事情，我们可能会先做文档检索，然后找到段落，做段落定位，再去段落里找答案。

做了这么多模型和数据的工作后，我们发现，AI 用上去效果是不错，但随着时间的流失，它就慢慢“掉”下来了，它又比原来的人工差了。这就是需要第三部分—运营的思想。

我们在传统软件里都会提到 CICD，AI 软件跟传统软件有些不同，传统软件不需要长期的去培育。我们去交付一个传统软件更多情况下是一次性的。但对于 AI 软件来讲，我们交付的是一个“婴儿”，我们得不停地去”培育“他，用线上的数据去“哺育”他，让他尽快地成长起来，要更加的鲁棒，因此我们要非常需要去关注运营效果。在 AI 软件里，我们需要有 CICL 的思想，需要持续学习、持续进化的思想。

在运营里，我们可以重点看两部分，第一个是事前，第二个是事中。事前运营，它有以下几类，第一类是从文档里去生成 QA 对；第二部分是从对话里去生成 QA；第三部分是

生成相似问；这些是为了去启动一个系统、一个 Model 可以做的一些事前部分。

事中部分是指，如果已经上线了，该怎么样让它做得更好？可以通过流水日志去看未解决的问题、去做一些聚类和发现。刚才也提到了一个智能运营工具— QnAMaker，这个工具它是从文档里去生成一个 QA  pair，它跟文档的结构是很相关的。另外一个工具是去生成一个相似问，我们可能会做一些模板库，基于这个模板库，抽出答案后把它做不同的套用。相对来说，做了聚类分析的模块，比较适合在业务的线上去用到，尤其适合线上业务有线上客服的情况。

刚才讲了很多关于数据运营的部分，除了数据以外，模型也需要运营。模型在不停地有新数据进来以后，需要做很多迭代，需要去做模型的训练、模型的自适应的调参、模型的版本管理等等。因此，我们会有一个 Auto NLP 的平台，这个平台可以理解为 AutoML 在 NLP 领域的一个实现。现在在这上面，我们已经实现了一些闭环，第一个闭环是数据的闭环，第二个闭环是模型的闭环，第三个闭环是流水日志的闭环。一个理想的运营系统，应该要实现这三个闭环。

总结

最后总结一下，在智能客服这块，我们发现它的工作没有想象中那么简单，并不是老板说一周上线，我们就可以去解决所有问题。但我们发现其实智能客服的提效和降本的能力还是很强的，以一个实际客户的数据举例，它的智能客服系统上线 8 个月以后，在成本方面，上千人的人工客服团队缩减到了 60%，而同时接单量反而有增无减，用户排队等待时间也大幅缩短，在只保留 40%的人工客服的情况下，整体客服系统效率反而提高了 30%以上，这还是一个相对来说比较保守的估计。因为最开始我们会有投入，比如购买成本，它是负的，但随着它的客服系统上线运营的效果，会发现它的收益是越来越明显增加。

如果大家想要去做智能客服，但又发现它没有那么容易的时候，我们腾讯云可以帮大家做这个“Dirty   Work”。对于一些不同类型、不同场景的 Bot，及数据运营和模型运营的模块，我们都会开放一些能力给到大家，主要有 4 层能力，从下往上分别是：底层的平台、原子化的能力；AI 中间件能力，比如不同类型的 Bot 中间件、运营的中间件、数据运营和模型运营的中间件；PaaS 平台，腾讯云可以提供一些平台的功能；最上层，企业可以针对各自所处的行业里面去做自己的行业应用，此外，还可以针对自己的场景去做自己的业务应用。

希望大家都能搭建自己的智能问答产品和系统，为自身业务降本增效。我们云也非常愿意为大家的智能化建设出一份力。分享就到这里，谢谢！

嘉宾介绍：

钟黎，腾讯云 AI 语义研发总监，主要负责云上智能搜索、问答、对话方向的产品业务研发工作。之前为腾讯社交网络事业群语义分析负责人，主要负责社交网络中的文本挖掘与语义分析工作。