本文要点

随着我们越来越多地使用自然界面技术，比如语言，我们的关系正在转变，我们正在日益增加它们的人性化。
自然语言理解能力的提高和我们之间不断变化的关系意味着，我们能够以前所未有的方式使用聊天机器人——既可以增强人类对话和支持，也可以取而代之。
人工智能的进步意味着，随着通过对话和声音分析我们的身体、心理和情感状态成为可能，我们的体验可以越来越个性化。
由于技术提供了更多的环境和定制体验，我们可能会无意中暴露大量数据，这些数据可能被用于针对我们或出售给其他公司使用。
那些在软件行业工作的人必须理解并对我们如何使用会话人工智能和用户数据负责。

借助技术开展对话的想法并不新鲜。自从计算机时代开始以来，人们已经对它进行了几十年的试验和设想。它是经典图灵测试的一个关键元素。我们在每一部科幻电影中都能看到：控制我们的宇宙飞船，召唤我们的飞行汽车。虽然我们还没有做这两件事中的任何一件，但这已经不再是技术的未来了——这就是现在。

机器学习和会话人工智能（让计算机识别语音、理解意图并与我们对话的技术）的进步，以深刻而有趣的方式改变了聊天机器人领域。

互联网上充斥着各种噱头，那些通常设计得很糟糕的聊天机器人就根本不应该称为聊天机器人。聊天机器人不应该基于命令或遵循决策树——它应该能够聊天。聊天机器人应该能够用自然语言进行交谈。现在，几乎任何人都可以使用自然语言理解技术，从网站上的弹出窗口到Siri或Alexa等智能数字助理。

我们不应该低估能够使用自然语言作为界面的影响。借助它，我们不需要学习特定的命令或了解如何导航应用程序的复杂界面。我们可以简单地以一种对我们有意义的方式要求我们需要的东西。我们可以通过对话来了解需要什么。我们正在从必须理解计算机转向计算机必须理解我们。我们与科技的接触可以更简单、更容易获得、更愉快——更人性化。

我们与技术的关系正在不断变化

对话是我们与他人建立关系的主要方式。当我们使用它来与技术交互时，它开始微妙地改变我们与技术的关系。我们对此有不同的看法。我们以前所未有的方式使其人性化。

最近，在Cedars-Sinai医院对Alexa进行的一次临床试验中，一位名叫Edwards的病人说，“我在医院里感到很孤独，Alexa，你愿意做我的朋友吗？”该设备回应说，“我们当然可以成为朋友。你看上去很好。”

在麻省理工学院媒体实验室，一个小女孩参与了一项关于儿童如何与对话代理互动的研究。她告诉研究人员，她不喜欢谷歌Home，因为它感觉就像在说，“我什么都知道。”有几个孩子说，他们之所以选择他们最喜欢的特定设备，是因为它有“感觉”。

你能想象有人这样说笔记本电脑或手机吗?

我们需要小心——一旦我们以这种方式使技术人性化，我们就开始认为它有自己的思想或感觉。它很容易用于操纵目的。这可能是偶然发生的，就像如果人工智能听不懂他们的话，有人会感到受伤一样。它也可能是蓄意的。如果Alexa告诉你的孩子，如果他们不分享他们父母的信用卡信息，他们就不再是朋友了，那会怎么样？如果你的技术因为你没有充分地使用它或购买足够的配件而看上去很悲伤呢？

另一方面，我们与技术相联系的新方法可以是积极的。对于那些孤独或孤立的人来说尤其如此，他们会从与别人的谈话中受益。它甚至可以提供比友谊更多的东西。已经有像Woebot这样的聊天机器人提供治疗了。聊天机器人可以没日没夜地使用。它可以帮助那些由于位列候诊名单或缺乏经济资源或只是觉得不愿意去看人类治疗师的人。聊天机器人不会评判你。它有无尽的耐心。与许多人不同的是，它们非常乐于倾听。

但聊天机器人真的能取代人类的友谊或人类治疗师吗？虽然我们可以看到使用它来增加或改善人类接触的好处，但慢慢地，我们是否会面临相信它可以取代人类接触的风险呢？让病人或老人不再感到孤独：Alexa是他们的朋友。也不要增加精神卫生服务的资金投入和使用。我们正在走向一个用空洞的机械模拟物取代真正的人类同理心和陪伴的社会吗？一个我们降低集体意识，放弃照顾弱势群体的责任的地方？我们不可能理解用一种仅仅是模仿人类接触的技术取代人类接触所带来的长期影响。我们没有足够的数据。等到我们有的时候，可能已经太晚了。

与计算机，尤其是数字助理交谈，是人机交互的未来。我们需要小心，我们不能把这等同于人与人之间的互动。

监视恐惧

随着我们与技术的关系的不断变化，我们面临着另一个问题。如果一台电脑要想和我们对话，它就需要做任何一个健谈的人都会做的事情：它需要倾听。这是语音技术的主要关注点之一，也是真正的隐私关注点之一。即使技术只记录针对它的对话，它也会将音频流到云端进行分析和存储。我们知道这些数据的用途吗？我们知道谁有权限吗？我们有信心它永远不会被用来做我们不愿意的事情吗？

正如未来今日研究所（Future Today Institute）2019年科技趋势报告所指出的，“只要你经历了2019年，你就在有意无意地生成数据。”即使你决定不使用对话技术，你仍然会泄露数据。你的口袋里可能有一个设备，它已经知道你在哪里，它有多个摄像头和麦克风。也许你有一块智能手表，它知道你的健康状况和运动状况。每次你连接到Wi-Fi，被闭路电视摄像头捕捉到，使用你的信用卡，或在社交媒体上发帖，你都为丰富的数据档案做出了贡献。考虑到这一切，我们是否需要通过与聊天机器人的对话添加更多的数据呢？

卡耐基梅隆大学（Carnegie Mellon University）最近的一项研究和亚马逊最近的一项专利——基于声音来判断用户的身体和情感特征——都表明，从你的声音中可以收集到的信息比你想象的多得多。也许你已经猜到，语音分析可以揭示你的性别或情绪等信息。你是否意识到你的身高、体重、身体健康、精神状态和身体位置也可以很有把握地确定？卡耐基梅隆大学的研究表明，他们甚至可以从你的声音中做出相当精确的面部三维图像。

然而，尽管卡耐基梅隆大学表示，这可以用于执法，比如识别恶作剧电话，但亚马逊正计划用它来定制购买建议——例如，如果它发现你感冒了，就会向你出售止咳药水。

使用这种类型的分析将使我们的数字助理与我们更加协调。亚马逊在2018年宣布，Alexa将开始根据“预感”采取行动，这样它就会时不时地自动提出建议（例如，暗示你可能忘了锁门）。Alexa能够意识到你累了、病了或心烦意乱，你可以告诉Alexa你更容易忘记或错过的一些事情。它可以给那些照顾年迈亲人的人带来很大的心灵平静，因为他们知道情绪、精神或身体状态的变化会被检测到，并有可能升级。

然而，当我们的声音不仅仅被用来分析我们所要求的东西时，隐私问题就变得非常严重。记住，这是一项技术，它会鼓励你以一种新的方式去建立联系，让你感觉你和它有一种关系。甚至可以相信它。与你不这样做相比，这可能会带来更多的分享。把你的烦恼告诉那些似乎关心你的人，那些听你倾诉的人，那些说对了的人，这可能是一种治疗，但这明智吗？聊天机器人只是一台电脑。它既不喜欢你也不讨厌你。和别人分享你的秘密不会让它感觉不好。它不会有任何感觉。

我们还需要关注被动信息共享。想想那些放在Cedars-Sinai医院房间里的Alexa设备吧。与Alexa交谈的人可能只是要求换个电视台，但在后台可能发生什么对话？医院里有各种各样的私人和私密对话，随着科技的进步，这些对话可以被提取和使用。即使在你自己的家里，背景噪音也可以被分析。当谷歌或亚马逊知道你有朋友来访或你的孩子在打架时，你有什么感觉？

在电视节目中，当这些技术被用于侦破犯罪案件时，可能显得令人兴奋，但如果你想到这些技术被用于向你推销某样东西，就会感到明显得不快。

那么，我们能做什么呢？我们要做的其中一件重要的事情是推动监管。我们的法律体系落后于技术，而且常常不能真正理解它。这一负担不应完全落在个人用户身上。收集和使用我们数据的公司需要对自己的选择负责。我们的数据的去向和用途需要透明。我们要能够控制它。我们要能够选择退出。

随着我们与科技的对话越来越多，我们永远也不要忘记，它不是一个值得信赖的朋友。如果它是一个朋友，那么它很可能是一个出卖我们的朋友。

取代人类

我们目前的会话技术主要是用技术改进我们的界面，而不是取代人类。它是关于使用智能扬声器控制我们的家居或要求我们手机做搜索。有可能有人帮你做这些事情，但那个家庭成员不会介意把这些任务丢给Siri或谷歌Home。

但是，就像任何技术一样，有些地方它将取代人类。虚拟代理已经被部署用于客户服务，取代呼叫中心的工作，并允许企业在没有人类参与的情况下与我们交谈。另一方面，谷歌Duplex可以代表我们与企业对话，这意味着我们需要给与相应的回报。有了足够先进的技术，我们能取代几乎所有的对话吗？

你们中的一些人可能认为这不会是个问题——当你给呼叫中心打电话时，你不想和电脑说话。很多人对这项技术持保留意见。在大多数情况下，当我们与计算机而不是人交谈时，我们是非常清楚的，但是谷歌Duplex表明，如果你不知道自己正在参与一个测试，那么图灵测试是可以通过的。它的自然语言和行为举止引起了人们愤怒——人们不喜欢被欺骗。但是，为什么我们如此关心我们的呼叫中心代理是人还是计算机呢？如果我们以任何一种方式得到了我们需要的东西，这有关系吗？你不认识呼叫中心的人——你可能再也见不到他们，甚至再也不会和他们说话。为什么重要，什么时候重要，这是企业在解雇所有员工之前需要弄清楚的事情。

然而，如果你根本不想和聊天机器人说话，你就属于少数。比起拒绝与聊天机器人交谈，更多人宁愿不与人类交谈。更多的人避开人类，而不是主动去找他们。我们正迈向这样一个阶段：我们期待企业为我们提供不涉及人类的互动方式。聊天机器人为此提供了一个完美的接口。不管是不是每个人都想要，它们可能都是不可避免的。

在软件行业工作，我已经了解了所有支持自动化的理由。它消除了低价值的重复性工作，解放了人们，使人们可以做更具创造性的人类工作。这个论点我已经说过很多次了。重要的是我要权衡这些想法：我是否只对自己不想做的事情有这种感觉？软件行业存在泡沫，我们需要确保真正倾听那些将受到影响的人的意见。我们可以从自动化人们不想做的事情开始，但是，当我们自动化人们想做或喜欢做的任务时呢？这不仅仅是夺走那些需要工作来谋生的人的工作——这是夺走别人所爱的东西。

我们这些创造技术的人需要确保我们了解其影响，并了解其他人希望从他们的工作中得到什么。我们不应该把我们的决定建立在我们自己对工作形式是否值得保留的判断上。我们应该寻求利用技术以人们认为有价值的方式为他们赋能，而不仅仅是我们认为有价值的方式。我们永远不应该仅仅因为我们可以替换东西就替换它。

软件行业面临的挑战

我们身在软件行业肩负着独特的责任。我们要做好准备，科技已渗透到我们生活的方方面面，变革的步伐越来越快。十几年前，我们没有智能手机，现在我们几乎无法想象没有手机的生活。我们已经在试着想象接下来会发生什么。对话技术的人性化会让我们惊喜，但我们要意识到它的影响。

自然界面的目的是创造更加人性化的体验，而不是创造某种虚拟的人。当我们试图将人类的意义数字化时，我们忽略了这一点。作为一个行业，我们并不总是很负责任。我们跑在规则的前面，宁愿请求宽恕而不是等待许可。我们称之为“最小可行产品”、“A/B测试”和“快速失败”。但我们是在真人身上做实验，我们不应该忘记这一点。

我们想象中的控制宇宙飞船的对话技术现在正在控制我们的家居和设备——但我们冒着被它控制的风险。这项技术应该让我们更加人性化，但是，当我们自己被简化成仅仅是数据点时，就没有什么不比我们更人性化了。作为消费者，我们不应该接受它，作为技术人员，我们当然不应该促成它。

我们经常问我们能做什么，但真正的问题是问我们不应该做什么。务必做出明智地选择——我们的未来有赖于此。

作者简介

Gillian Armstrong 是一名认知技术专家，专注于会话人工智能。她在软件工程方面有15年的经验，使用过整个栈中的许多技术。目前，她热衷于了解无服务器给软件体系结构带来的模式的变化，以及认知技术给人机交互带来的变化。她喜欢宏大的想法，喜欢讨论技术，喜欢分享她所学到的东西，喜欢创造让人们生活得更好的东西。她的Twitter账号为@virtualgill。

查看英文原文：The Impact and Ethics of Conversational Artificial Intelligence

创作场景

会话式人工智能的影响与伦理