MIT 发布新模型，用于鉴别智能系统的“盲点”

麻省理工学院和微软研究院的研究人员开发了一个新模型，能够鉴别出智能系统从训练样本中“学习”到的，与实际情况不匹配的实例，称为“盲点”。这种“盲点”可能会在真实场景中导致重大错误。工程师可以使用这个模型来提升人工智能系统的安全性，如无人驾驶系统和自主机器人系统。

AI 系统驱动的无人驾驶汽车在虚拟仿真中进行了大量的训练，让车辆准备好应对几乎所有可能发生在道路上的事件。但有时汽车仍然会在现实世界中产生意外的错误，比如某个事件的出现应该改变汽车的行为，但是并没有。

假设有一个未经训练的无人驾驶汽车，更重要的是没有必要的传感器来区分完全不同的场景，比如大型白色汽车和闪着红灯的救护车。如果汽车在公路上行驶，救护车的在鸣笛闪灯，无人驾驶汽车可能不会减速和停车，因为它不了解救护车与大白车的不同。

在去年的自动代理和多智能体系统会议（AAMS）以及即将到来的人工智能协会会议（AAAI）的两篇论文中，研究人员介绍了一个使用人为输入来发现这些训练“盲点”的模型。

与传统方法相同，研究人员首先让人工智能系统进行模拟训练。但是，当系统在现实世界中运行时，会有人密切监视系统的行为，在系统做出或即将犯下任何错误时提供反馈。然后研究人员将训练数据与人为反馈数据相结合，并使用机器学习技术生成一个模型，该模型能够精确地指出什么场景下系统最需要更多的信息，来指导它做出正确的行为。

研究人员用电子游戏验证了他们的方法，用一个模拟的人纠正了屏幕上人物的学习路径。但下一步是将智能系统的传统训练和测试方法与模型相结合，这里指的是带有反馈的训练和测试方法。

“这个模型帮助智能系统更好地了解他们不知道的东西”，论文第一作者 Ramya Ramakrishnan，计算机科学和人工智能实验室的研究生介绍说：“很多时候，当系统被部署时，它们的训练模拟环境不符合真实世界的设置，会导致它们出现错误，例如发生交通事故。这个想法是通过人类的反馈，以一种安全的方式在模拟环境和现实世界之间搭起一座桥梁，这样我们就可以减少一些错误。”

加入反馈

一些传统的训练方法确实在真实环境的测试运行期间提供了人类反馈，但那只是为了更新系统的行为。此类方法不能鉴别盲点，而盲点对现实世界中 AI 系统的安全有重大意义。

研究人员的方法是首先对人工智能系统进行模拟训练，使其产生一个“策略”，该策略基本上把每一种场景都映射到模拟中所能采取的最佳行动。然后，将该系统部署在现实场景中，当系统的行为不可接受时，需要人类提供错误信号。

人类可以通过多种方式提供数据，例如“演示”和“修正”。在演示中，人类在现实世界中活动，而系统进行观察，并且将自己在某个场景下会采取的行为和人类的行为进行对比。例如，对于无人驾驶汽车，如果其计划的行为偏离了人类的行为，系统会发出信号，人类可以手动控制汽车。是否与人类行为匹配，从一定程度上表明了系统采取的行动是可接受的还是不可接受的。

或者，人类可以提供修正，人类对运行在现实世界的系统进行监视。自动驾驶汽车沿着计划的路线行驶时，可以让一个人坐在驾驶位。如果汽车的行为是正确的，那驾驶员什么也不用做。然而，如果汽车做出了不正确的行为，驾驶员可以掌控方向盘，这就发出了一个信号，表明系统在这种情况下的行为是不可接受的。

来自人类的反馈数据被编译之后，系统会有一个场景列表。对于每种场景，会有多个标签来表示其行为是可接受的还是不可接受的。单一的场景可以接收许多不同的信号，因为对系统而言，它感知到的许多场景是相同的。例如，无人驾驶汽车可能很多次从一辆大汽车旁经过，而不会减速或停车。但是，在一个例子中，它从救护车旁边经过，而救护车对系统来说和大汽车完全相同。因此自动驾驶车辆不会靠边停车，于是系统收到反馈信号，告知系统采取了不可接受的行为。

“在那个场景中，这个系统接收了来自人类的多个相互矛盾的信号：有的时候旁边有一辆大汽车，而系统运转良好，但有时在同样的位置出现了救护车，系统就出现了错误。系统会注意到它做错了什么，但它不知道为什么。” Ramakrishnan 说：“因为代理获得了所有的矛盾信号，下一步就是编译这些信息，向系统提问：‘我在收到这些混合信号的情况下，是我犯了错误的可能性有多大？’

智能聚合

模型最终目标是将这些模糊的情况标记为“盲点”。但这不只是简单地标记出每种情况可接受的和不可接受的行动。例如在救护车的例子中，系统在 10 次中执行了 9 次正确的行为，如果用简单的多数表决会将该情况标记为安全的。

“但是，由于不可接受的行动数量远远少于可接受的行动数量，系统最终的学习结果是预测所有的情况都是安全的，这对于无人驾驶来说是极其危险的，”Ramakrishnan 说。

为此，研究人员使用了 Dawid Skene 算法，一种常用于众包的机器学习方法来处理标签噪声。该算法将情况列表作为输入，每一个情况都有一组带噪声的“可接受”和“不可接受”的标签。然后，它聚集所有的数据，并使用一些概率计算来识别预测的盲点情况下标签呈现的模式，以及预测的安全情况下标签呈现的模式。使用该信息，它为每个情况输出一个单聚合的“安全”或“盲点”标签，以及其标签的置信程度。值得注意的是，有时对于某个场景，该算法在 90%的时间里都执行了可接受的行为，但是该场景仍然属于模糊的，值得被标注为一个“盲点”。

最后，该算法产生一种 “热度图”，标注出系统原始训练中的每个场景被视为盲点的概率。

Ramakrishnan 说：“当系统被部署到真实环境时，它可以利用这个学习的模型做出更加谨慎和智能的判断。如果模型预测某个场景是高概率的盲点，系统可以向人类咨询可接受的行为，从而更安全的行驶。”

宾夕法尼亚大学的计算机与信息科学教授 Eric Eaton 说：“这项研究是一个很好的转折点，当模拟器和现实世界之间存在不匹配的情况时，可以直接从专家对系统行为的反馈中发现这一不匹配。”他补充说，这项研究“有很好的潜力，让机器人预测在新的情况下是否会采取错误的行动，从而采纳操作员（人类）的意见。下一个挑战将是利用这些发现的盲点，用它们来改善机器人的内在表现，以更好地匹配真实世界。

查看英文原文：

http://news.mit.edu/2019/artificial-intelligence-blind-spots-0124