微软专家：我们要使用人工智能构建人机接口，代替鼠标和键盘

人工智能帮助我们构建基于说和写的人机接口，而不是使用键盘或鼠标；它让人保持人性。最大的挑战是找到方法告诉系统哪些答案令人不满意，以帮助它们学习，记录和保留的数据要保持透明，并确保训练数据的多样性和包容性，以防止人工智能系统的偏见。

在2018年柏林Codemotion大会上，微软高级项目经理Christian Heilmann谈了使用人工智能构建人机接口。InfoQ 正以 Q&A、概述和文章的形式对此次大会进行追踪报道。

Heilmann 认为，我们已经越来越习惯把电脑作为我们生活的一部分。我们可能是将电脑视为连接到屏幕的键盘的最后一代人了。与总是待在那里的计算机交谈正成为一种常态——无论好坏。

Heilmann 指出，使用人工智能的方法创建接口使我们可以做人类所做的事——说话、写作和表达情感——我们创造出了恰当有用的工具，而又无需学习它们。为了使我们的接口更人性化，我们需要在我们积累的数据和我们得到的传感器读数中添加人类可以理解的信息。

人工智能的一大问题是夸大其词，给我们承诺了完美的科幻一般的接口。Heilmann 认为，如果 Siri 或 Cortana 听不懂你的话，你感觉更多的会是失望，而不是通过表单在数据集中找不到结果。我们向最终用户提供人机接口，因此，我们需要确保我们的代码和训练模型允许人为的随机性和错误。

InfoQ 采访了 Heilmann，谈了如何在人机接口中应用人工智能、人工智能带来的好处以及人工智能软件开发面临的主要挑战。

InfoQ：人工智能似乎已经成为软件开发的一个热点。为什么会这样？

Christian Heilmann：人工智能的话题已经讨论了很长一段时间了，但过去的技术现实阻碍了它的蓬勃发展。随着当今科技的进步，在海量数据集上进行深度学习的必要计算从几个月的数值运算下降到几秒钟。

我们积累的数据比以往任何时候都多——要么是有意识地拍摄了大量照片和录制了大量视频，要么是通过每台设备的传感器自动积累的。过去，我们编写的程序有明确的数据处理指令，而我们所收集的大量信息要求系统从数据本身中学习，并找到可以遵循的模式。

人在那里只是为了指出异常值和错误。当计算机可以更快、更好地进行模式检测和信息分类时，我们就不需要做那些枯燥而重复的任务了。

InfoQ：我们如何在人机接口中应用人工智能？

Heilmann：这已经发生了。照片软件会自动检测照片中的人和物，并将结果作为元数据添加进去，以方便检索。

例如，当你使用谷歌照片数周，并在自己的照片中搜索“食物”时，它将找到包含食物的照片，而你从来都没有描述过这些图片。这种便利性源于两个要素：大量的数据和自动检测及分类方法。这就是机器学习和深度学习的作用。

在大多数情况下，我们使用托管云服务来训练系统，因为计算开销非常高。然而最近，芯片组和语言方面的创新使我们可以从计算机体系结构的强大中获益，甚至使得在设备上实现这一功能成为可能。过去，我们必须拍照，发送到一个云服务，检测出它包含了埃菲尔铁塔，现在，我们的相机几乎可以实时地与已经存在的数据集进行比较，而没有任何第三方或连接速度开销。

InfoQ：在开发人机接口时，人工智能给我们带来了什么好处？

Heilmann：这里的关键是让人类保持人性。几十年来，电脑的使用并不令人兴奋，因为它们要求我们改变自己的生活方式。我们需要点击正确的按钮，以正确的顺序完成一项任务。我们需要记住密码和地址，并知道用于不同任务的程序。本质上，我们需要习惯于使用软件，并在享受它之前学会如何与它交互。

当你与 Cortana、Siri 或谷歌交谈时，你不需要使用键盘或鼠标，你可以问这样的问题：“今天丹麦首都的气温是多少？”，而不必知道首都是什么，或者告诉计算机“今天”是什么意思。

我们已经有了大量的数据，计算机可以分析数据而不需要我们做额外的工作。这样，我们就可以添加计算机为我们提出的问题提供正确结果所需的额外信息。

这里的主要变化是，人们开始以这种方式使用计算时没有想到它会失败。我总是惊讶于接口的智能化程度，但我已经习惯地认为电脑是愚蠢的。当你把一张照片拖到 PowerPoint 中，它会在后台创建一个人类可读的描述，向搜索引擎和非可视用户解释图片。例如，我使用我的狗的照片，而描述“一只狗坐在人行道上”是自动创建的。这太神奇了，我们应该以这种方式构建我们所有的系统。如果一个表单要求用户以某种格式提问，但用户输入错误时却得不到任何结果，那么这个表单就不合时宜了。我们应该做得更好。

InfoQ：AI 软件开发面临的主要挑战是什么？

Heilmann：我们仍然需要应对一些挑战。人工智能的关键在于规模和速度。为了从一个智能系统中得到一个好的结果，你需要有很多经过适当训练的数据，你需要问一些精确的问题来得到合理的结果。人类，作为一个整体，不善于提出正确的问题，所以通常一个智能系统会给出令人不满意的答案。我们需要找到一种方法来告诉系统为什么答案不令人满意，而不是在那之后把系统作为一个失败的产品而马上丢弃。机器不会受到感情上的伤害，所以告诉它们某件事是完全错误的，就像说它是正确的一样有效。

但我看到的主要挑战是，我们拥有很大的权力，我们处理人们的个人信息，有时甚至是身份相关的信息。作为一个注重安全和隐私的人，我担心人们为了方便而泄露太多的信息。你家的智能扬声器很像老间谍电影中旅馆房间里隐藏的麦克风。但是，我们可以接受每天 24 小时的生活记录，这样我们就可以问一台无处不在的电脑外面天气如何了。作为智能系统的提供者，我们不仅要提供出色的结果，而且还要向这些系统的用户灌输一种所有权意识，并对记录的数据、保留的数据和流向保持透明。

我们还需要小心，不要让机器学习放大我们的偏见。只在白人数据集上训练过的面部识别会告诉有色人种，不允许他们使用系统。这是不好的。我们需要确保多样性和包容性，那是我们的训练数据和接口的一部分，而不是迎合我们自己或我们想接触的人。

InfoQ：如果人们希望了解更多关于在软件开发中使用 AI 的信息，他们可以去哪里？

Heilmann：这是一个很开放的问题，也是一个很难回答的典型问题。大多数大型软件公司都有很好的门户网站，可以让你开始了解基础知识，但也可以使用预先构建好的数据集和 API 从深度学习中获益，而不必掌握它。以下是一些对我有所帮助的内容：微软AI新闻与活动和深度学习网站。

如果你对面向人类的人工智能感兴趣的话，可以看下我自己创建的一个持续更新的资源列表。

查看英文原文：https://www.infoq.com/news/2018/11/human-interfaces-ai

相关推荐

12 月 7 日北京 ArchSummit 全球架构师峰会上，来自 微软的技术专家将分享“微软小冰实时感官系统与未来发展趋势”、“基于 Kubernetes 的 DevOps”等相关经验与实践。详情点击 https://bj2018.archsummit.com/schedule