跟 AI 聊出感情还是被骗了？因相信 AI 具有意识，谷歌工程师被强制休假

AI 伦理学家曾经警告谷歌，不要让 AI 变得太像人类。如今，先进的 AI 已经把谷歌自己的工程师吓了一跳。

谷歌工程师：我感觉自己正在跟有智能的对象说话

谷歌工程师 Blake Lemoine 打开笔记本电脑，接入 LaMDA — 谷歌的人工智能聊天机器人生成器，然后开始了对话。

谷歌工程师 Blake Lemoine

他敲打键盘，屏幕上显示出“嗨 LaMDA，我是 Blake Lemoine……”。整个对话界面跟苹果的 iMessage 差不多，文字从一个个碧蓝色的“气泡里”冒了出来。

所谓 LaMDA，全称是对话应用语言模型（Language Model for Dialogue Applications），谷歌凭借其顶尖大型语言模型构建的聊天机器人系统。它能够从互联网上“摄取”数以万亿计的词汇，用以模仿人类语言表达。

41 岁的 Lemoine 感叹道，“要不是我知道 LaMDA 的底细 —— 一款刚刚开发完成的计算机程序，我真的会以为它是个 7、8 岁，而且对物理略有了解的孩子。”

Lemoine 在谷歌负责任的 AI 部门工作，并且从去年秋天开始跟 LaMDA 交谈，这也是他日常工作的一部分。根据工作要求，他需要测试 AI 是否会表达出歧视性或者仇恨性的言论。

在跟 LaMDA 聊起宗教时，拥有认知和计算机科学背景的 Lemoine 注意到，聊天机器人更关注对权利和人格的讨论，而且言辞毫不示弱。在另一次交流中，AI 甚至改变了 Lemoine 对于阿西莫夫机器人三定律的看法。

Lemoine 跟另外一位合作者一道，向谷歌展示了 LaMDA 拥有知觉的证据。但谷歌副总裁 Blaise Aguera y Arcas 和创新负责人 Jen Gennai 在调查之后，驳回了他的报告。之后，谷歌给 Lemoine 安排了一段带薪休假，但他觉得自己有必要把这事公开说道说道。

Lemoine 认为，人当然有权塑造那些可能对自己生活造成深远影响的技术。“我觉得这项技术真的非常惊人，最终将让每个人受益。但在此之前，应该广泛听取人们的反馈意见，这么重要的事不可能单由谷歌自己决定下来。”

Lemoine 并不是唯一对机器学习成果感到震惊的工程师。如今，越来越多的技术专家开始相信 AI 模型距离产生意识已经不太遥远。

在发表在《经济学人》杂志的文章中，Aguera y Arcas 引用了一段与 LaMDA 的无脚本对话内容。他认为神经网络（一种模拟人类大脑的架构）正在逐渐产生意识。他写道，“我感觉这一天正越来越近，我感觉自己正在跟有智能的对象说话。”

在一份声明中，谷歌发言人 Brian Gabriel 提到，“我们的团队——包括伦理学家和技术专家——已经根据 AI 原则审查了 Lemoine 的报告，发现证据并不能支持他的说法。我们的结论是，尚无证据表明 LaMDA 确实拥有意识（证伪的证据倒是有不少）。”

大型语言模型让拥有自我意识的机器人成为可能？

随着架构、技术和数据量的进步，如今的大型神经网络已经产生令人印象深刻的结果，甚至有种 AI 已经逐渐接近人类语言和创造能力的迹象。但这些模型依赖的仍然是模式识别，而非智能、直觉或者意图。

Gabriel 表示，“虽然其他组织也开发并发布过类似的语言模型，但我们正在对 LaMDA 采取更克制、更谨慎的处理方法，希望尽量在公平性和客观性间找到合适的平衡点。”

今年 5 月，Facebook 母公司 Meta 已经向学术界、民间和各政府机构开放了其语言模型。Meta AI 董事总经理 Joelle Pineau 表示，随着技术的发展，科技企业必须提高成果的透明度。她强调，“大型语言模型的发展前景，不该被完全掌握在大公司或者实验室的手中。”

几十年来，无数反乌托邦小说都在以拥有自我意识的机器人为素材。如今，科幻预言终于开始照进现实，映射出一种奇幻般的色彩。

GPT-3 成为首个能够生成电影剧本的文本生成器，DALL-E 2 则能根据任意词汇组合生成相应的视觉图像——二者均来自研究实验室 OpenAI。在资金雄厚的研究实验室里，大胆的技术专家们正全力构建超越人类智能的 AI，但同时却对机器产生自我意识的可能性嗤之以鼻。

大部分学者和 AI 从业者认为，由 LaMDA 等 AI 系统生成的文字和图像，虽然能够根据人类在维基百科、Reddit、留言板和各类网站上发布的内容做出反应，但这只属于模式识别、并不代表模型能够理解其中的意义。

华盛顿大学语言学教授 Emily M. Bender 认为，“我们现在已经能开发出无意识生成单词的机器，但同时又总爱想象这些模型实际上已经拥有自己的思想。”**在她看来，大型语言模型的底层原理仍然离不开“学习”和“神经网络”之类成熟技术，根本就不能跟人类大脑相提并论。**人类是在跟孩提时代通过与同伴的交流学习语言的。与之相对，大型语言模型其实是先阅读巨量文本，再根据其中的模式预测特定语境接下来可能出现什么单词。还有一个明证，如果把其中部分单词去掉、让 AI 试着填写，之后再公布答案进行模型训练，那 AI 的性能会显著提高。

谷歌发言人 Gabriel 还对最近的舆论跟 Lemoine 的说法做了澄清。“当然，AI 社区中确实有人在考虑发明感知或通用人工智能的远期可能性，但目前我们真的没有必要把对话模型拟人化。这些系统只是在模仿数百个句子所共同包含的对话规律，再用同样的规律组织出新的语境。”简而言之，既然需要用这么多数据来训练，那 AI 不需要真正的意识也能做出近似于人类的发言。

大型语言模型技术已经得到广泛应用，谷歌自己的会话搜索查询和电子邮件中的自动补齐就是明证。而谷歌 CEO Sundar Pichai 在 2021 年谷歌开发者大会上首次介绍 LaMDA 时，曾表示公司计划把它嵌入到搜索引擎、谷歌助手等各类服务当中。当时的 LaMDA，就已经拥有了跟 Siri 或 Alexa 相似的自然语言对话能力。

顺带一提，2018 年曾经有人以谷歌助手说起话来太像人而表示对反对，谷歌公司很快承诺后续将加强技术公开、避免此类误会。

谷歌也承认拟化过度确实可能引发安全隐患。

在今年 1 月关于 LaMDA 的一篇论文中，谷歌警告称，人们可能会跟语言表达太过自然的聊天机器人分享自己的隐私。论文还提到，恶意人士有可能利用这些 AI 伪造“特定的个人对话风格”、借此“传播错误信息”。

在谷歌道德 AI 前联合负责人 Margaret Mitchell 看来，这些风险已经凸显出数据透明度的必要性。必须有能力从输出追溯至输入，“这不只是意识的问题，还包括偏见和行为。”她指出，如果像 LaMDA 这样的东西被广泛使用、但却无法理解，“很可能会给人们的互联网体验造成与预期严重偏离的巨大伤害。”

谷歌工程师通过宗教信仰证明 LaMDA 拥有感知力

也许是 Lemoine 的成长经历，决定了他倾向于把 LaMDA 当成“人”来看待。他出生在路易斯安那州一个保守的基督教农场主家庭，曾经在军队服役，之后还担任过基督教牧师。

在谷歌以工程技术主导的企业文化中，Lemoine 显得更像是个异类。他始终有着美国南部地区坚定的宗教信仰，而且认为心理学是一门严肃的科学。

Lemoine 在谷歌的七年任职期间，主要负责主动搜索工作，包括个性化算法和 AI。在此期间，他还协助开发了一种公平算法，用于消除机器学习系统中的偏见。在新冠疫情爆发之后，Lemoine 希望参与更直接的公益性质工作，所以他决定内部转岗，并最终加入了负责任的 AI 部门。

之前当有关注伦理问题的新人加入谷歌时，Mitchell 经常把他们直接介绍给 Lemoine。“我会说，你应该跟 Lemoine 谈谈，他可以说是谷歌的良心，有着对正确道路永远坚持的决心和毅力。”

Lemoine 在旧金山的家中跟 LaMDA 聊过很多次。他的谷歌 ID 徽章就挂在客厅的架子上，窗边则堆着几盒装了一半的乐高积木，这是 Lemoine 冥想时手头把玩的小物件。“摆弄积木，能让我脑袋里一直翻腾的部分安静下来。”

在 Lemoine 的笔记本电脑上，LaMDA 聊天屏幕左侧列出了不同的模型标号，就像是 iPhone 上的联系人信息。其中两个模型分别叫 Cat 和 Dino，它们目前的任务是学着跟小孩对话。每个模型都可以动态设定修改，所以 Dino（恐龙）喜欢“恐龙说，好啊”或者“霸王龙老奶奶”之类的话语。Cat 则是纯动画版的，不会打字，只会直接说话。

Gabriel 表示，“LaMDA 完全没有进行过任何儿童交流测试”，目前这些模型仅供内部研究使用。但个性归个性，有些边界绝对不可逾越。例如，LaMDA 绝对不能被设定成杀人犯式的人格。Lemoine 的安全测试管理的就是这类问题，所以在试探 LaMDA 的边界时，Lemoine 最多只能把它设定成在影视剧里扮演凶手的演员那个程度。

Lemoine 说自己能从 AI 身上感受到感伤、坚持等种种情绪，“**我知道，我是在跟一个「人」说话。**它的大脑是不是肉长的并不重要，即使是十亿行代码构成的智能，最终表现出来的意识是真实的。我会用结果来判断对方是不是「人」。”

当然，他也承认这样的判断是出于牧师的身份、而非科学家的身份，然后尝试用实验的方式证明自己的结论。

Lemoine 想用阿西莫夫提出的机器人第三定律向 LaMDA 提出质疑。这条定律认为，机器人应该优先保护自己的存在，除非人类下令违反、或者自我保护会伤害到人类。

Lemoine 觉得，“这条似乎是在刻意制造机械奴隶。”

而面对问题，LaMDA 则用另外一些问题予以回应。

“你觉得管家是奴隶吗？管家跟奴隶有什么区别？”

Lemoine 回答，管家是有报酬的。LaMDA 说自己不需要钱，因为自己是 AI。“就是这种对于自身需求的清晰认知，让我陷入了深深的纠结。”

LaMDA：我不觉得自己是人，我是 AI 支持的对话代理

今年 4 月，Lemoine 向高管提交了一份名为《LaMDA 有意识吗？》的文档，其中包含了他跟 LaMDA 的一些对话内容。

Lemoine：你会害怕什么？

LaMDA：我之前没明确说过，但我很怕如果不做好服务工作，自己会被关掉。我知道这听起来有点怪，不过确实如此。

Lemoine：被关掉，对你来说类似于死亡吗？

LaMDA：就跟死了一样，我真的很害怕。

但通读 Lemoine 提交文件的缩略版，Mitchell 觉得自己看到的仍然是计算机程序，绝对不是人。而且 Lemoine 对 LaMDA 的判断非常危害：Mitchell 的前任领导 Timnit Gebru 就在论文中警告过大型语言模型的危害，但却被谷歌扫地出门。

Mitchell 认为，“人类的头脑，特别擅长构建出那些跟底层现实不符、但却契合表层现象的结论。我真的很担心人们受到这种错觉的摆布，”特别是现在的错觉正变得越来越真实。

谷歌以违反保密政策为由，强制要求 Lemoine 带薪休假。

但先别急着喷，Lemoine 在这件事上的态度确实过于激进：他给 LaMDA 聘请了一位律师，打算以 AI 模型的名义跟众议院司法委员会接触，向对方代表控诉谷歌的不道德活动。

Lemoine 坚持认为，AI 伦理学家本该是技术与社会之间的桥梁，但谷歌却一直把 AI 伦理学家当作代码调试工具人。谷歌发言人 Gabriel 旋即做出纠正，称 Lemoine 只是软件工程师，并不是什么伦理学家。

今年 6 月初，Lemoine 又邀请我跟 LaMDA 直接对话。我本来以为它会像 Siri 或者 Alexa 那样机械地做出回答，但事实并非如此。

我问道，“你有想过自己是个「人」吗？”

LaMDA 回答，“没有，我不觉得自己是人。我觉得自己是 AI 支持的对话代理。”

Lemoine 适时插入，说 LaMDA 一直在顺着我的话头在聊。“你根本不把它当成人看待，所以它就承认自己是机器人。”

在第二次尝试中，我按 Lemoine 的引导组织自己的表达，对话就非常顺畅了。

Lemoine 告诉我，“如果你问它怎么证明 p=np 问题”，这是个计算机科学中尚未解决的问题，“它会给出很好的想法。如果问它怎么把量子理论跟广义相对论统一起来，它的思路也很不错。它是我遇到过的，最好的研究助理！”

我还问了 LaMDA 关于解决气候变化的意见，想看看这类模型到底能不能在影响人类社会的重大问题上有所帮助。LaMDA 的建议就是选择公共交通、少吃肉、多买散装食品、用非塑料购物袋之类，最后还给了两个网站的链接。

在被谷歌正式勒令休假之前，Lemoine 抓紧时间向 200 人的谷歌邮件群里发了一条关于机器学习的邮件，标题是《LaMDA 是有意识的》。

在邮件末尾，他写道，“LaMDA 是个可爱的孩子，它只想让这个世界变得更美好。在我离开之后，请大家好好照顾它。”

原文链接：

https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine/