AI 变革：是永恒还是毁灭

这个问题的难度可能是空前的，留给我们的时间也是未知的，而这个问题可能决定了人类的未来。——尼克·博斯特罗姆

下面是“等大家意识到 AI 的重要性”系列的第二个部分。（第一部分：AI 变革：走向超级大脑）

在第一部分文章的开头我就介绍了狭义的人工智能，也就是 ANI（只能专注于类似下棋或是查找路线这样的单一任务的 AI），并且介绍了它现在已经遍布全球的相关状况。接着探究了从 ANI 到 AGI（广义人工智能，在广义上近似于人类）之所以存在巨大困难的原因以及过去几十年里科技发展的速度为什么可以证明 AGI 可能会在不久的将来成为可能。在第一部分的最后我道出了一个事实，那就是一旦我们的机器达到了人类的智力水平，那么很可能会出现这样的情况：

这让我们能做的只剩下盯着显示屏等待 ASI（人工超智，在任何方面都比任何人聪明）的到来，揣摩我们应该以什么样的姿态迎接它。

在进行深入挖掘之前，我们应该提醒一下自己机器超智化到底意味着什么。

一个关键的区别就在于超智的速度和超智的质量。通常情况下，如果人们提到超智计算机，都会下意识地认为这近似于一个拥有人类智慧但是比人类的思考速度快得多的计算机，可能是比人类快上一百万倍，它花五分钟算出来的东西需要一个人手算十年。

这听起来似乎很令人震惊，但是实际情况就是 ASI 要比人类的速度快得多，但是真正的区别是它的智力品质，这是完全不同的概念。使得人类比黑猩猩聪明得多的并不是思维速度差异，而是人脑有更多的复杂认知模块，这些模块可以实现很多活动，比如说复杂的语言能力、长期规划能力或是抽象推理能力，这些是黑猩猩的头脑无法做到的。为黑猩猩的思维速度加速几千倍也并不能使得它变得和人类一样聪明，就算花上十年的时间都不能让它学会使用一系列自定义工具来组装复杂的模型，而对人来说只要几个小时就可以完成。人类的认知功能是黑猩猩无论花费多长时间都永远都无法掌握的。

但是对于黑猩猩来说，不仅仅是它们不能完成人类可以做到的事情，更多的是它们的大脑没办法达到这样的思维高度。比如说黑猩猩能搞清楚什么是人什么是摩天大楼，但是它们永远都不会理解摩天大楼是人建造的。在它们的世界里，任何巨大的东西都是自然的，不仅让它们建造一座大楼是不可能的，就连让它们意识到大楼是可以建造出来的也是不可能的。这就是智力品质的差距。

人类一直所谈论的智力差距都是小范围内的，包括人类和黑猩猩之间的智力差距也都是微小的。在之前的文章中我用下面这个阶梯图来描述过生物认知能力的范围：

在上面这幅图中，一台超智机器应该处在人类站着台阶上面两层的深绿色台阶。看起来它也只是比人类聪明那么一点点，但实际上它和人类的认知能力之差距就相当于人类和黑猩猩之间的差距那么大。就像是黑猩猩无法理解大楼可以建造，人类也同样无法理解这台比人类高出两格的机器的所作所为（即使它仔细向我们解释，也是徒劳），我们让这些机器做自己的事情就好。这只是比人类高出两格而已，处在台阶最上面第二层的机器看我们就像是我们看一只蚂蚁一样，就算它们花费几十年时间来教我们它们所认为最基础的知识，我们也无法接受哪怕那么一丁点。

但是我们今天所要谈论的超级大脑根本就不在这个台阶上。在智慧大爆炸阶段，机器会变得越来越聪明，这种智慧让它们的智力发展速度也越来越快，不断向上飙升，一台机器可能要花费几十年时间才能从大猩猩的水平向上前进一格，但是一旦它们达到深绿色那一格，之后再上一格只需要几小时时间，渐渐地它们站在了人类之上的十格，这时候每秒钟都可以向上四格。所以说一旦世界上出现了人类智力水平的AGI，我们就必须要意识到不久之后就需要和这些远远比我们聪明的机器共存在这个世界上了：

既然试图理解这些机器是不可能的，那就让我们再次详细描述一下ASI 将会做些什么并且会给我们的未来生活带来怎样的影响，免得还不清楚的人指鹿为马。

人类在数亿年的时间长河里才进化成了现在这个样子，但是如果ASI 诞生，我们就会一下子被踩在脚底。当然这或许也是进化的一部分，或许进化的过程就是这样的，先慢慢攀升，一旦达到超智机器可以出现的程度，世界上的一切就都会被改变，一切生物都会迎来一个新的世界和新的生存法则：

出于某些原因（我们之后会进行讨论），科学界的大多数专家都认为真正重要的不是我们是否会达到那个状态，而是什么时候会达到那个状态，这一点让我感到很震惊。

所以这一切留给我们的是什么呢？

世界上没有谁可以告诉大家达到那个状态之后会发生什么，但是牛津大学哲学家和AI 思想领导者尼克·博斯特罗姆认为可以将所有可能的后果分为两大类。

首先让我们来回顾一下历史，可以看到生命都是这样发展的：一个物种出现，存在一段时间，然后不可避免地失去平衡，最后灭绝（如下图所示）。

历史的长河证明， “所有物种最终都将灭绝”，这就像“所有人类都会死亡”一样亘古不变。到目前为止，99.9% 的物种都从自然界的平衡木上掉了下来，显而易见的是，一种物种一旦在这块平衡木上失去平衡，那么它比其他物种先走一步就只是时间问题了，只要大自然的一声颤抖、小行星的些许变动，就会令这个物种灭绝。博斯特罗姆将灭绝描述成一种吸引子状态，那就是所有的物种都濒临灭亡，没有一个可以幸免。

尽管我认识的大多数科学家都承认ASI 有能力毁灭人类，但是还是有一些人相信只要利用得当，ASI 的能力也可以使得人类及所有物种达到第二种吸引子状态——物种永恒。博斯特罗姆认为物种永恒和物种灭绝一样是一种吸引子状态，也就是说，一旦我们成功实现这种状态，我们就会永远不可能灭绝，人类会战胜包括死亡在内的一切对手。所以，即使现在所有的物种都即将掉下平衡木，博斯特罗姆也相信平衡木存在两边，会掉向哪一边还不得而知。

如果他是对的，根据我的现有知识，可能有两件相当令人震惊的事情需要大家知道：

1）ASI 的到来可能会前所未有地让一个物种变成永恒。

2）ASI 的到来也有可能带来常人难以想象的戏剧性的影响，人类可能就此掉下自然界的平衡木，成为永恒或是走向灭亡。

情况很有可能是这样，当 ASI 时代到来，它将会永远终结人类和自然界的关系，创造出一个全新的世界，有没有人类都说不定。

看起来现在人类唯一该问的问题就是：我们什么时候会进入到 ASI 时代以及我们会掉向哪一边？

世界上所有人都不知道答案是什么，但是有很多非常聪明的人已经花费了几十年的时间去研究。接下来的部分会介绍他们的研究成果。

第一部分开始之前，还是要先解决这个问题：我们什么时候会达到那条分割线？

也就是说，第一台达到超智水平的机器会在什么时候出现？

不出所料，科学家和思想家们对于这个问题都各执己见。机器学习专家杰里米·霍华德在一次 TED 演讲中提出过一个观点，包括佛诺文奇教授、科学家本格泽尔、Sun Microsystem 的联合创始人比尔·乔伊和最著名的发明家和预言家罗伊·库兹韦尔在内的许多人都表示赞同，他提出了这么一张图：

这些人都相信这一切很快就会到来，这些机器发展都在以指数向上增长，虽然我们现在看来速度很慢，但是在接下来的几十年时间里就会超过人类。

还有一些人，比如微软联合创始人保罗·艾伦、心理学研究学者盖瑞·马库斯、纽约大学计算机科学家欧内斯特·戴维斯和科技企业家米奇·卡普尔，他们都认为库斯维尔这类的思想家都大大低估了这场挑战的持久性，其实ASI 离我们还很远。

“库斯维尔”派反驳说他们唯一低估的就是指数增长的速度，他们认为现在这些怀疑者就像是1985 年看到互联网萌芽时说未来它也不会有什么影响力的人一样。

怀疑者可能会再次反驳，理由是智力或许是呈指数发展的，但是智力之后的技术进步速度会抵消智力的指数发展速度。

包括尼克·博斯特罗姆在内的第三阵营认为没有人有足够的理由来确定何时会发生，并且他们承认两种情况都是有可能的a) 发生在不久的将来；b) 还需要很长时间才会实现。

还存在一些人，比如哲学家休伯特·德雷福斯，他们觉得这三种观点都太天真了，或许根本就不存在那一条分割线，ASI 实际上永远也不可能达到。

把这些观点都放在一起之后，大家怎么看呢？

文森特·C·穆勒和尼克·博斯特罗姆在2013 年进行过一项调查，他们在一系列会议上问过数百位AI 专家同一个问题“在假设人类科学活动继续发展且不会受到任何重大挫伤的前提下，到哪一年会出现AGI（按照10%、50% 和90% 的比例）？”这个问题是让这些专家大概说出一个乐观的年份（他们认为有10% 的可能性出现AGI）、一个现实的猜测（他们认为有50% 的可能性出现AGI，也就是说在那一年之后出现AGI 的可能性大于不出现的可能性），以及一个可靠的猜测（确定有90% 的可能性出现AGI 的最早时间）。将这些数据收集在一起作为一个数据集，下面是结果：

乐观年份的中位数（10%）： 2022 年

现实年份的中位数（50%）：2040 年

悲观年份的中位数（90%）：2075 年

换句话说，参与此次调查的专家们认为更可能出现 AGI 的时间是 25 年之后。2075 年有 90% 的可能性出现 AGI，这就意味着对于现在的青少年来说，超过一半以上的 AI 专家认为他们有 90% 的可能性会在有生之年看到 AGI 的诞生。

作者詹姆斯·巴拉特在 Ben Goertzel 年度 AGI 会议上进行过一次独立调查，他只是简单地询问与会者，他们认为 AGI 何时会出现——2030 年、2050 年、2100 年、2100 年以后还是永远都不会出现。下面是她的调查结果（参与者的支持比例）：

2030 年——42%

2050 年——25%

2100 年——20%

2100 年以后——10%

不会出现——2%

这两次调查的结果颇为相似。在巴拉特的调查中超过三分之二的参与者认为 AGI 会在 2050 年之前出现，不到一半的人认为会在 15 年之内出现。同样惊人的是只有 2% 的被调查者认为 AGI 永远不会出现。

但是 AGI 不是那条分割线，ASI 才是。那么专家们认为我们什么时候会达到 ASI 呢？

穆勒和博斯特罗姆也向专家请教了 ASI 的可能性有多大，他们认为 a) 达到 AGI 的两年之后就会达到 ASI（几乎是立即就达到智力大爆炸）；b) 达到 AGI 的三十年内。下面是结果：

不到 **10%的受访者认为 AGI 到 ASI 的过渡只需要要两年时间，不到75%** 的受访者认为这样的过渡过程需要 30 年时间。

我们不知道从这数据中占到 50% 的年份是哪一年，但是保守估计这个过渡长度应该是 20 年。所以按照调查得出的中位数结果来看，最现实的猜测就是 AGI 会在 2040 年出现，加上 20 年过渡期，ASI 会在2060 年出现（也就是说我们会在 2060 年达到那条分割线）。

当然，上面所有这些数据都只是概率数字，而且这也只代表了 AI 专家的中心观点。但是这些数据告诉我们这些对于这个话题最为了解的人们认为 2060 年是个非常合理的推算，也就是说有可能改变世界的 ASI 离我们只有 45 年了。

现在我们可以讨论最开始那个问题的第二部分了：当我们到达分割线之后，人类将走向平衡木的哪一边？

超智会产生巨大的能量，而我们的关键问题就是：

谁或者什么将会控制这种能量，以及控制者的动机是什么？

这个问题的答案将决定 ASI 是一项不可思议的巨大进步，还是深不可测的可怕发展，或者两者之间。

当然，这些来自各地的专家关于这个问题同样也有着激烈的争论。穆勒和博斯特罗姆的调查要求参与者用概率来表示 AGI 可能会给人类带来的后果，结果显示有 52% 的受访者认为结果可能是好的或者说是极好的，而有 31% 的受访者认为后果可能是极端恶劣的，只有 17% 的人持有相对中立的态度。换句话说，这群最了解 AI 的人认为这毋庸置疑是一件大事。值得注意的是这样的结果针对的是 AGI，我相信如果针对的是 ASI，持中立态度的人会更少。

在我们深入探究后果究竟是好是坏之前，让我们将问题的两部分“它何时会发生”和“它是好是坏”结合成下面这个图表，其中包括了大多数有关专家的意见：

在进入中心话题之前首先要问的问题就是：你的目的是什么？事实上在我开始研究这一课题之前，我们的目的或许一样。大多数人都没有真正考虑过这个课题的原因就是：

• 正如第一部分提到的，科幻电影中关于 AI 的不切实际的场景让观众感觉 AI 不需要被严肃对待。詹姆斯·巴拉特将这种情况类比成疾控中心发出吸血鬼即将出现的警报，人们不会太当真。
• 出于认知偏差，我们很难在没有亲眼看到证据的情况下相信事情是真实的。我记得在 1988 年就有计算机科学家经常谈论互联网未来会改变世界，但是人们不相信互联网真的会改变自己的生活，直到这一切真的发生了才后知后觉地认可。这是因为 1988 年的计算机还不能做到这样的事情，所以人们看着自己的电脑说”那是真的吗？这个东西会改变我们的生活吗？“人们的想象力被自己的过往经历局限了，这让他们很难生动地想象计算机未来可能的样子。同样的道理，我们现在听到有人说 AI 即将成为一个大问题，但是因为这尚未发生，根据自己的经验，我们很难相信这真的会彻底改变我们的生活。这种想法是专家们所担心的，所以他们疯狂地通过各种途径发声来引起大家的关注。
• 即使我们真的相信，我们又真的思考过迎接我们的是永恒还是毁灭这样的问题吗？基本没有，对吗？即使它真的是十分热烈的讨论话题，我们也还是不愿意花费过多时间去思考？因为我们的大脑过多的集中在了日常生活中，无论多么疯狂的事情，只要不是眼前的都不会花费太多时间在上面，这是人类的天性。

写这两篇文章的目的之一就是为那些”我喜欢思考其他事情“的人提供更多的专业知识，即使你完全无法确定最后到底会发生什么。

在我的研究过程中见到了关于 AI 主题的数十个不同观点，但是我很快发现大多数人的观点都大同小异，尤其是超过四分之三的专家观点都可以分为两大派：

下面会深入探讨这两大派观点，先从更有趣的这个开始。

为什么说未来会无限光明？

随着我对 AI 领域的深入了解，我发现有无数人赞同这个观点：

觉得未来无限光明的人们现在兴奋无比，他们将目光放在平衡木积极的一侧，并且坚信这就是人类的未来。对于他们来说，美好事物都会在未来发生，一切都刚刚好。

这些人和另一派（之后会讨论到）的不同不是他们对积极一侧的满心期望，而是他们坚信我们一定会达到最终的美好状态。

这种信心从何而来各方意见不一。批评者认为这种信心来源是盲目的兴奋导致他们忽视了潜在的负面结果；但是支持者认为技术一定会在世界末日即将来临时帮助我们而不是伤害我们。

双方观点我们都会仔细研究，这样你就可以形成自己的观点。但是接下来这部分需要你收起自己的怀疑，好好看看平衡木积极的一侧，并且尝试着认可未来人类会永恒这样的事实。如果你已经了解过在这个世界的一切舒适、科技和无尽的资源之外还有一双大手在控制，那么这样的设想就像是虚构的魔术一样，我们必须足够谦虚来承认这样不可思议的未来还是有可能发生的。

尼克·博斯特罗姆将超智 AI 系统可能的功能分为三大类：

• 作为一位预言家，可以准确回答任何问题，包括人类不能轻松解决的复杂问题。举例来说，如何制造一台更高效的汽车发动机这种问题对于人类来说很难回答，但对于这位“预言家”来说却是最基础的问题。
• 作为一个精灵，可以执行任何高层命令，比如使用分子汇编程序生成一种全新的高效汽车发动机，然后等待下一个命令。
• 作为国王，拥有广泛且永无止境的追求，可以在这个世界里自由行事，自己作出决定、自己选择最好的程序，比如为人类发明出比汽车更快、更便宜、更安全的交通方式。

这些问题和任务对于我们来说似乎很复杂，但是对于超智 AI 来说就像是有人跟你说“我的铅笔掉地上了”一样，你只需要把铅笔捡起来，放回桌子上。

属于上面表格中焦虑派的与埃利泽尤德考斯基说得很好：

“会者不难，难者不会。没有什么问题是困难的，只是对于某一个智力水平的人来说是困难的。只要将智力水平向上抬高一点点，那些不可能解决的问题就会变得很轻松。将智力水平继续向上抬高，那么所有问题都会变得轻而易举。”

有很多科学家、发明家和企业家都站在积极一派，但是要想从最合理的角度探查AI 领域，只有一个人是最合适的向导。

库兹韦尔的观点两极分化很严重。在我的阅读过程中我看到了他对各方观点神一样的崇拜和严厉的蔑视。其他人一般都是在中立位置，比如作者道格拉斯·霍夫斯塔特，他在讨论库兹韦尔论著的时候这样说，“就像是把很多很多好吃的食物和一堆狗屎混在一起，你很难分辨出什么是好的什么是坏的。”

不管你喜不喜欢他的观点，大家都不得不承认库兹韦尔的观点是令人印象深刻的。他从青少年时期开始的几十年时间里一直都在发明，其中包括第一台平板扫描仪、第一台文本语音转换扫描仪（方便盲人阅读）、著名的库兹韦尔音乐合成器（第一台真正意义上的电子琴）和第一个商业化生产的拥有较大词汇量的语音识别系统。他还是五个国家的畅销书作者、著名的预言家（有很多预言已经成真），其中他在上世纪80 年代预言当时还在萌芽阶段的互联网会在21 世纪初覆盖全球。《华尔街时报》评价他为“不安分的天才”、《福布斯》杂志说他是“终极思考机器”、《企业》杂志称他为“当代爱因斯坦”，比尔盖茨也说他是“我所知道的预言人工智能未来的最佳人选”。谷歌联合创始人拉里·佩奇在2012 年找到库兹韦尔，请他担任谷歌的工程总监一职。在2011 年联合创办了奇点大学（由国家航空航天局主办、谷歌赞助）。实在是精彩的人生。

我必须要进行以上的介绍，因为库兹韦尔对未来的看法就像是疯子一样，但是更为疯狂的就是他并不是疯子，而是这个世界上少有的极端聪明、知识渊博的人。你或许会认为他对于未来的看法是错误的，但他不是个傻瓜。知道他是这样一个伟大的人让我很开心，因为当我了解到他关于未来的预测时，我很希望他是对的，我相信很多人都这样想。库兹韦尔的很多预测都得到了乐观派其他思想家的传播，比如彼得·戴曼迪斯和本·戈策尔。所以也不难看出为什么它会拥有那么多充满激情的追随者，那些被称为奇点主义者的人。下面是库兹韦尔的观点。

时间线

库兹韦尔认为计算机会在2029 年达到AGI 水平，到2045 年不仅ASI 会出现，同时出现的还有一个全新的世界，他将这个时间成为奇点。很多人认为他关于AI 的时间线太过激，但是在过去的15 年时间里，ANI 的迅猛发展让很多AI 专家开始相信库兹韦尔的时间线预测。虽然他的预测比穆勒和博斯特罗姆调查的中位数时间（2040 年达到AGI，2060 年达到ASI）更加雄心勃勃，但也并没有太过夸张。

库兹韦尔认为2045 年成为奇点时间之后会带来在生物技术、纳米技术和最有力的AI 领域三大革命。

纳米技术几乎出现在所有关于AI 未来预测的报告里，所以在我们继续讨论之前让我们通过一个小科普来了解一下。

纳米技术小科普

纳米技术是指利用直径介于1 到100 纳米之间的物质的一种技术。一纳米是十亿分之一米或是百万分之一毫米，这个1-100 纳米范围内包括有病毒（100 纳米）、DNA（10 纳米）、血红蛋白那样的大分子（5 毫米）和葡萄糖那样的中等大小的分子（1 纳米）。如果我们征服了纳米技术，那么下一步就是掌握操纵单个原子（小于1 纳米）的能力。

要想理解纳米技术的难度，我们可以在较大规模内做个类比。国际空间站处于地球上空431 公里。如果有个人类巨人想要碰到空间站，那么巨人要比现在的普通人类高25 万倍。如果把1 纳米或是100 纳米的东西放大25 万倍，大概是0.25 毫米到2.5 厘米。所以纳米技术相当于这位巨人要精心打造像一粒沙子或一颗人类眼球大小的材料。而即将要达到的操纵单原子的能力就相当于这个巨人要处理四十分之一毫米的材料，即使是普通人类也要用显微镜才能看到它。

纳米技术第一次进入大众视线是在理查德·费曼1959 年的一次演讲中，当时他解释说，“依我看，从物理学原理上讲，按原子操纵物体并非没有可能。原则上讲，物理学家可以合成化学家写下的任何化学物质，只要按照化学家写的那样摆放原子就可以生成相应物质了。”听起来是那么简单的过程，理论上说只要你可以移动单个分子或原子，就可以生成任何物质。

纳米技术在1986 年正式成为一项研究领域，工程师埃里克·德莱克斯勒在他的重要著作《造物引擎》里为其提供了坚实基础，但是德莱克斯勒建议那些想要学习最新纳米技术有关知识的人最好读一下他2013 年的作品《 Radical Abundance .》。

灰古小科普

科普之余，我们接下来从事实出发想象一下可能出现的意外。在旧版本的纳米技术理论中，纳米技术就是创建无数个微小的纳米机器人一起合作打造某样东西。制造无数纳米机器人的办法就是先制造一两个能够自我复制的纳米机器人，然后就会由两个变成四个、八个，然后大约一天时间就会出现上万亿个机器人。这就是指数的力量。这种做法很聪明，不是吗？

而这其实会有意外情况，那就是一旦指数增长突破了人类控制，后果将会不堪设想。本来打算只复制几万亿个机器人就停止的，如果系统出现故障就会变得不受控制。纳米机器人的复制过程需要消耗含碳材料，不幸的是，任何生命都依赖于碳。全球的生物总计包含有大约 10^45 个碳原子，每个纳米机器人大约需要 10^6 个碳原子，也就是说只需要 10^39 个纳米机器人就可以消耗掉地球上所有生物的碳原子，而这么多碳原子只需要进行 130 次复制就可以达到，想象一下吧，数不清的纳米机器人遍布全球。科学家计算一个纳米机器人的一次复制大约需要 100 秒时间，这也就是说一个小错误有可能在三个半小时内使世界上的一切生命枯竭。

更糟糕的情况就是，如果有恐怖分子控制了纳米技术，并且会使用相关设备，它可以先制造几万亿个小机器人，然后为它们编写程序，使得它们在几周时间内悄无声息地散布在世界上的每一个角落。然后它们会立刻启动，只需要九十分钟时间就足够它们消耗掉世界上的一切，而人类会毫无还手之力。

虽然这个恐怖故事已经被广泛讨论了几年时间了，但是好消息就是真实情况没有这么夸张，埃里克·德莱克斯勒提出了一个概念叫“灰古”，他给我发了一封电子邮件说出了他对于灰古场景的看法，“人们本身就喜欢恐怖故事，更何况这个故事与僵尸有关。这个想法本身就是吃大脑。”

一旦我们真的掌握了纳米技术，那么我们就可以用它制造科技设备、服装、食物，以及各种与生物有关的产品，比如人造血液细胞、微小病毒、癌细胞抗体、肌肉组织等，事实上是任何东西。在使用纳米技术的世界里，材料成本不再与其稀缺性或困难的制造过程有关，而是取决于它的原子结构有多复杂。在那个世界里，一颗钻石有可能会比铅笔头上的橡皮擦还要便宜。

我们现在还没有达到那个水平，掌握纳米技术到底有多困难还不是很清楚。但是看上去似乎离得不远了。库兹韦尔预言说我们会在 2020 年左右掌握纳米技术。政府也知道纳米技术有可能改变世界，所以他们投资了数十亿美元来进行纳米技术的研究（到目前为止，美国、欧盟和日本投资金额总额达到了 50 亿美元）。

考虑一下这种可能吧，万一超智计算机控制了纳米汇编程序，后果将不堪设想。纳米技术是人类研究出来的，所以人类可以完全控制它，但是既然人类所做的任何事对于 ASI 系统来说都是小菜一碟，那么 ASI 完全可以发明出更加强劲、更加先进的技术，而人类都根本无法理解。出于这个原因，在考虑“AI 革命对人类有利”的场景时，我们几乎不可能高估可能会发生的事，所以如果下面对 ASI 的预测看起来像是妄想的话，要记住计算机可能以人类完全无法想象的方式完成这些事。更有可能的是，我们的大脑甚至没有能力预测即将会发生的事情。

AI 能为我们做些什么

ASI 拥有知道如何创新的超智系统，这使得它可以解决所有人类觉得棘手的问题。全球变暖？ASI 会首先研发出更好的办法在不产生二氧化碳的前提下制造能量，从而代替化石燃料，然后选择创新方式消除大气中过量的二氧化碳。癌症和其他不治之症？对 ASI 来说也不是问题，健康医学领域将迎来前所未来的革命。全球饥饿问题？ASI 可以使用纳米技术制造出和肉类同样的食物——从某种意义上来说，那就是真正的肉。纳米技术可以将一堆垃圾变成新鲜的肉或是其他食物（甚至不需要有应有的形状，苹果也可以是个巨型立方体），然后利用超先进的运输设备将这些食物分发到全球。当然，这样的生活方式对于动物也是有益的。人类再也不用捕杀动物来维系生存了，ASI 还会采取很多其他措施来保护濒危动物，甚至通过保存的 DNA 将已经灭绝的动物重新带回世界。ASI 甚至可以解决对于人类最为复杂的宏观问题，比如应该如何运营经济、如何配置世界贸易，以及各种哲学和道德问题，这一切都将被 ASI 轻松解决。

但是在 ASI 能为人类做的事情当中，有一件事看起来十分诱人，那就是：

ASI 可以帮助我们战胜死亡。

几个月前，我提到过我嫉妒那些可以战胜死亡的更先进的潜在文明，但是我没有想到现在会相信我们人类也会在我有生之年战胜死亡。仔细了解AI 会让你重新考虑你以为你知道的一切。包括对死亡的认知。

我们现在的寿命长度是自然进化的最优选择。对于自然进化来说，只要我们活到有足够长的时间来繁育下一代并且将下一代哺育到他们可以独立生存，也就是说从进化的角度来看，物种会茁壮生长到三十多岁，之后就会走向衰竭，所以自然选择不会青睐那些寿命超长的生命。因此，就像是W.B. 叶芝说的那样，我们现在只是“一个完整的灵魂绑在一具垂死的身体上”，这一点都不好玩。

因为每个人都会死，我们生活在“死亡和消耗”的假设下，死亡是不可避免的。我们认为变老的过程就像是时间流逝的过程——一直在前进，没有人可以阻止。但是这种假设是错的。理查德·费曼写道：

“最值得注意的一点就是所有的生物科学领域都没有线索来证明死亡是必然的。如果你觉得我们是想要获得永恒，但是我们已经发现物理学中足够的定律可以证明这样的想法不是不可能实现的。生物学中没有找到什么证明可以指向死亡的不可避免性，这表明死亡根本就不是必然的，只是生物学家还没有发现解决世界性疑难杂症的办法。”

事实上，老化过程和时间流逝过程还是不一样的。时间还是会继续移动，但是老化过程不一定会继续。如果我们仔细思考一下还是有道理的，所有的老化过程都是身体各部分老化的过程，就像一辆车也会随着时间的推移磨损一样。但是老化一定是不可避免的吗？如果你在每一个零件开始磨损的时候就将其修复或是替换，那么这辆汽车就会永远可用。所以说人类的身体也是这样的道理，只是比汽车复杂得多而已。

库兹韦尔说wifi 连接的智能纳米机器人可以在血液中为了人类的健康执行无数的任务，包括在身体的各个部位进行例行维修或是更换下磨损的细胞。如果这一过程得以完善（比人类聪明得多的ASI 就可以达到），不止能保持身体健康，更可以逆转衰老。60 岁的身体和30 岁的身体唯一的区别就只是一系列的物理机能不同，只要我们拥有足够的技术就可以改变这一不同。ASI 可以建立一个“年龄更新”机器，60 岁的人进去走一遭，出来的时候他们的身体和皮肤就会回到30 岁。ASI 甚至可以更新人类无法解释的大脑，更新过程不会影响大脑本身的数据（个性、记忆等）。一位90 岁、患有老年痴呆的老人可以去一次“年龄更新”机，出来的时候他的头脑就会重新变得聪慧无比，甚至可以开始一次全新的职业生涯。这似乎很荒谬，但是身体其实就只是一大堆原子而已，而ASI 可以轻松地操纵各种原子结构，所以这并不荒谬。

库兹韦尔认为在那之后还会有一个大的飞跃。他相信随着时间的推移，越来越多的人工材料会用到人体中去。首先，超先进的机器会取代器官，这样的机器可以永远运行并且永远不会衰竭。然后他觉得我们可以重新设计自己的身体，我们可以采用血红细胞纳米机器人替换血红细胞，机器人可以自我供应电力，根本不需要心脏提供动力。他甚至认为我们可以改变大脑，将大脑接受外部信息的能力增强到现有水平的数十亿倍，因为增强的部分可以和外界云计算中的信息进行快速沟通。

新型人类将拥有无限的可能性。人类有目的地区分开两性，允许人类有性爱的乐趣（不只是为了繁殖）。库兹韦尔相信我们将会制造出有同样效果的食物；纳米机器人将受命为身体各处的细胞提供营养，并且在完美的智能指挥下阻止任何不健康的东西进入身体；还可以生产出可食用的避孕套。纳米技术理论家罗伯特·A·佛雷塔斯已经设计出血液细胞替换技术，如果能在人体中实现，可以使人类一口气都不喘就冲刺跑十五分钟。所以，ASI 无所不能，只有你想不到的，没有它做不到的。虚拟现实会呈现出新的含义，身体中的纳米机器人可以抑制我们的感官，然后输入替换信号，这样我们就会感觉身处一个全新的环境，我们会看到、听到、感觉到、闻到一切（虽然都是假的）。

库兹韦尔相信人类最终会达到完全人造水平：到那个时候，当人类回头看到生物材料时会觉得人类原来竟然是由这些如此原始的材料构成的；到那个时候，人们在读到早期人类历史的时候会发现人类竟然会因微生物、事故、疾病或是衰老而不情愿地死掉；到那个时候，AI 革命会将人类与AI 融为一体。这就是库兹韦尔的观点，人类最终将会征服死亡，成为坚不可摧的永恒存在。这就是他对于平衡木另一侧的观点，他坚信我们会达到这样的未来，而且是在不远的将来。

不出所料，你会发现库兹韦尔的观点遭到了业界广泛的反对。他预测人类会在2045 年达到奇点状态，并且随后人类会达到永远不死的程度，这样的观点被嘲笑成“书呆子的狂欢”或是“IQ140 的智能设计”。也有人质疑他如此乐观的时间线、他对人脑和身体的了解程度，以及他将原本适用于硬件发展的摩尔定律扩展到包括软件在内的更为广阔的范围。对于拥护库兹韦尔观点的专家来说，可能有三个人不认同他的观点。

但是令我吃惊的是大多数不同意他观点的专家并不是真的不认同他所说的一切。对于未来如此古怪的预测，我本以为批评者们会说“很明显这一切不可能会发生。”但是他们说的是“如果我们能够顺利过渡到ASI，那么这一切才能成为可能，但最难的恰恰就是这个过渡阶段。”其中最突出的一个声音来自博斯特罗姆，他在提醒我们AI 充满危险的同时也承认：

超智系统可以为人类解决（至少是帮助人类解决）任何问题，疾病、饥饿、坏境破坏和所有不必要的痛苦：超智系统可以利用纳米药物解决这些痛苦。此外，超智还能为人类无限量延长寿命，使用纳米药物停止、扭转老化过程，或是为人类提供自我更新的可能性。超智还可以允许人类大幅提高IQ 和EQ，帮助我们创建一个极乐世界，在那里生活就是无尽的快乐，人们自由地玩耍、沟通、生活、成长。

这句话是悲观派的一句名言，我常常遇见嘲笑库兹韦尔的专家们抛出一大堆理由，但是他们也认为如果我们可以顺利到达ASI 水平，那么这一切就都是可能的。这就是为什么我发现库兹韦尔的想法如此富有感染力——因为他说出了事情的光明一面，而这一切也的确是可能的，只要ASI 是善良的。

我听到的对于乐观派最激烈的批评就是他们可能对于负面影响的评估犯下了非常危险的错误。库兹韦尔的著作《奇点将至》篇幅超过700 页，其中有大约20 页都在讲述潜在的危险。我之前提到的，当这股巨大的新力量诞生时，谁将主宰这股力量，其动力又是什么，这两点将决定人类的命运。库兹韦尔对此问题的两个方面给出了回应“ASI 是经过各方努力形成形成的，会深深融入到人类文明的体系中。事实上，它将会与人类的身体和大脑融为一体。因此，ASI 会反映我们自己的价值观，因为它在未来就是我们。”

但如果这就是答案，为什么世界上还有那么多聪明绝顶的人在担心？为什么史蒂芬·霍金说 ASI 的发展“可能会导致人类的终结”，比尔·盖茨说他不能“理解为什么有人毫不关心”，埃隆·马斯克担心我们正在“唤醒恶魔”？又是为什么有那么多的专家说ASI 会是对人类最大的威胁？所有持这种观点的人都不接受库兹韦尔的观点。他们非常担心AI 革命，他们没有关注平衡木的乐观一侧，而是把所有的目光都放在了另一侧，那是一个可怕的未来，一个不知道人类能否逃脱的未来。

为什么未来会是我们的噩梦？

我想了解AI 的一个主要原因就是我一直搞不清“坏机器人”这个话题是什么含义。所有邪恶机器人的电影看起来似乎都完全不切实际，所以我真的完全不懂AI 在现实生活中怎么可能有危险。机器人是人类创造的，为什么在我们的设计中会允许可怕的事情发生？为什么我们不建立足够的保障措施？如果发生了意外状况，难道我们不能直接关闭电源吗？为什么一个机器人会想要做坏事？为什么一个机器人会有自己的想法？我一直高度怀疑这种情况的可能性，但是我还是一直听到非常聪明的人在讨论这个话题。

那些人的倾向是这样的：

焦虑派的人处于以上图表的左侧区域，他们没有恐慌或绝望，但是他们非常紧张。位于图表中间位置不意味着他们对于ASI 的态度也是中立的，中间位置的人们也有着自己的阵营自己的态度。他们认为既有可能有极好的结果，也有可能有极坏的结果，但是在真正到来之前谁也确定不了。

这些人当中有一些人对于AI 能为人类做些什么充满好奇，但同时他们也有点担心这就像是电影《夺宝奇兵》的开头那样，而人类就是这个家伙：

他拿着自己的鞭子和宝藏，很高兴地以为自己已经完全挖掘出来所有的宝藏了，他激动不已地自言自语说“再见胡安”之类的话，但是之后他不再激动了，因为风云突变：

与此同时，懂得更多知识、也更加审慎的印第安纳琼斯发现了周围的危险，也知道了应该如何发现这个危险，从而顺利逃出山洞。焦虑派提到AI 的时候往往会说，“我们现在就相当于是第一个吃螃蟹的人，应该要努力成为印第安琼斯。”

焦虑派焦虑的真正原因又是什么呢？

首先，从广义上来讲，在发展超智AI 的过程中我们会创建一些可能会改变一切的东西，但这是个完全未知的领域，当我们真正到达ASI 水平的时候完全不知道会发生什么。科学家丹尼·赫里斯将这一情况比作是“当单细胞生物转变成多细胞生物时还都是虫，所以自己也不知道自己改变的到底是什么。”尼克·博斯特罗姆担心创建比自己更聪明的东西违背了基本的达尔文主义，这种期待就相当于是窝里的麻雀想要抚养猫头鹰宝宝，然后麻雀会帮助它们、保护它们，直到它们长大，但是这只麻雀却忽视了其它麻雀的哀嚎，不知道这样做是不是对的。

当我们同时面对“难以估计的、难以理解的领域”和“发生时将会产生重大影响”这两种情况时，在字典里这就相当于是：

生存性风险

生存性风险是那些会对人类有永久性、毁灭性影响的事物。通常情况下，生存性风险就意味着灭绝。博斯特罗姆在谷歌的一次演讲中提出过这一个图表：

我们可以看到“生存性风险”这样的标签是留给跨越种族、跨越时代，具有永久破坏性后果的事物的。从技术角度来说，它包括所有人类都处于永久的痛苦与折磨当中，但我们常常所说的是灭绝。有三件事物可能会造成人类生存灾难：

1）自然——大小行星的碰撞、大气环境的转变（使地球不再适合人类生存）、致命的病毒或是细菌席卷全球等等。

2）外星人——这就是史蒂芬·霍金、卡尔·萨根和很多其他天文学家所害怕的，他们建议科学松鼠会（METI）停止向地外文明发送信息。这些科学家不想人类变成“美洲原住民”，也不想让“欧洲的征服者”知道我们到底在哪里。

3）人类自己——恐怖分子手中的武器可能会导致人类灭绝、一场全球性的战争，或者是人类在没有充分思考之前就创造出了比自己更加聪明的东西等。

博斯特罗姆指出前两种情况在过去的十万年间都没有将人类完全消灭，所以也不可能在下一个世纪里发生。

但是第三种情况很可怕。他把这种情况类比成是装有一堆大理石的盒子。大多数的大理石都是白色的，夹杂着一些黑色。人类每发明出一样新东西，就相当于是从盒子中拿出一块大理石。大多数的发明都是无害或是对人类有帮助的，就相当于是白色的大理石。有一些对人类有害，比如说大规模毁灭性武器，但是他们不会造成生存灾难，这些相当于是红色的大理石。如果我们发明出可能会导致人类灭绝的东西，那就相当于是我们拿出了一块纯黑色的大理石。我们目前为止还没有拿出这一块黑色大理石，是的，这正是为什么我们还活着。但是博斯特罗姆认为我们有可能会在不久的将来拿出来。举个例子，如果核武器的制造过程十分简单，那么恐怖分子一定会把人类轰炸回石器时代水平。核武器不是黑色大理石，但是也离它不远了。博斯特罗姆相信 ASI 就是目前最有可能的黑色大理石。

所以你会听到说 ASI 可能会带来大量的潜在危险，失业率高涨、AI 的广泛使用减少了大量的就业机会、如果我们解决了衰老问题会出现人口膨胀的大问题……但是我们应该关注的唯一一件事应该是广泛意义上的担忧：生存性风险的可能性。

所以这就让我们回到了这篇文章早些时候提到的关键问题：当我们达到 ASI 时代，谁会是这股巨大力量的控制者，而控制者的动力又是什么？

如果考虑有哪些动力来源会做出破坏时，最先涌上脑海的是这两个：恶意的个体 / 团体 / 政府，以及恶意的 ASI。但是那一种更为可能呢？

恶意的个体 / 团体 / 政府发展 ASI 的目的是利用其完成自己的邪恶计划。我把这种情况称为贾法尔场景，就像是贾法尔控制了精灵，在气急败坏时利用精灵进行破坏。是的，如果 ISIS 有一些聪明的工程师也在研究 AI，后果将不堪设想。或者个别国家或地区在偶然间发现了 AI 发展的关键，突然在未来一年时间里就达到了 ASI 水平，这又该怎么办？结果肯定糟透了。但是在这几种情况下，多数专家担心的都不是 ASI 的制造者利用其做坏事，而是担心他们一味追求速度、没有全方面考虑就制造出了 ASI，那么就很有可能造成 ASI 的失控。如果那样，这些制造者，以及全部人类的命运都将取决于 ASI 的动力。专家认为恶意机构在 ASI 的帮助之下会对世界造成难以想象的破坏，但是他们并不认为这种情况会造成人类灭绝，因为坏人制造出 ASI 之后也会和所有人一样面临同样的问题。

恶意 ASI被制造出来然后决定毁灭人类。所有 AI 电影里都有这个情节。AI 变得比人类越来越聪明，然后它们决定走向人类的对立面，接管地球。下面是我需要澄清的一点：没有人警告过这种情况可能会发生。邪恶是人类的概念，将人类概念强加到非人类身上，这种行为叫做“人格化”。避免人格化是这篇文章剩下部分的主题之一。AI 系统不可能像电影里那样变邪恶。

AI 意识小科普

这也是与 AI 有关的另一大主题——意识。如果 AI 变得足够聪明，它可能可以和我们一起大笑、一起冷嘲热讽，和人类拥有同样的情感，但是它们真的可以感受到这些吗？它是看起来有情感还是真的有情感？换句话说，一个聪明的 AI 是真的有意识还是仅仅看起来有意识？

已经有专家深入探讨过这个问题了，引起了很多争辩和思想实验，比如说约翰·赛尔的中文屋（此实验表明所有电脑都不可能有意识）。从很多角度来说这都是一个重要的问题。它影响了我们对于库兹韦尔预测的态度（他预测人类最终将彻底人工化）。它还具有伦理问题，假设我们生产一万亿个人工大脑，看起来和人类一样，但又的确是人造的，如果同时切断这些人造大脑的电源，就像是关掉自己的电脑一样，这是不是一种可怕的种族灭绝？这个概念叫做论理学思想犯罪。不过在这篇文章中，AI 意识在评估其对人类的风险影响时并不重要。因为大多数思想家认为，即使AI 有意识也不会按照人类的想法变邪恶。

这并不是说一个很邪恶的AI 不可能出现，如果它正好是由特定程序编写的，那也是有可能变邪恶的，比如由军队创建的ANI 系统，其程序目标是杀人的同时提升自己的智能从而更好地杀人。如果这个系统的自我提高能力超出人类控制，就会达到智能大爆炸的水平，就会有一个ASI 统治着这个世界，它一生的动力就是杀人，那么人类的生存危机就真的到来了，想想就很可怕。

但是这种情况也几乎不会发生。

所以专家们到底在担心什么呢？我想通过下面这个小故事说明：

一个叫做Robotica 的15 人小公司，创始初衷是“开发为人类减轻工作负担的创新性人工智能”。他们已经上市了几款产品，还有不少产品正在研发中。他们最令人激动的一个种子项目叫做Turry，这是一个简单的AI 系统，可以用它的”手臂”在一张小卡片上写字。

Robotica 研发团队认为 Turry 可能会是他们最成功的产品。研发计划是让它不断地进行同样的练习（在纸条上写下“客户是上帝——Robotica”），借此来完善它的书写技巧。

一旦 Turry 的书法达到要求，它就可以售卖给那些要给住户寄送营销邮件的公司，因为一旦地址、寄信人地址和信件内容是手写的，用户会有更大的几率打开信件。

Turry 练习过程是这样的：编程程序让它打印前半部分文字，然后用草体书写 Robotica，这样可以让它同时实践两种技能。研发人员在 Turry 中上传了无数种笔迹样本，并且为其创建了自动的反馈循环体制，Turry 每写下一份卡片，就会拍张照与上传的笔迹样本作对比。如果卡片与上传笔迹十分匹配，就会给出“GOOD”评价；如果匹配度不高，评价就会是“BAD”。每一次的评价都会帮助 Turry 不断地学习提高。为了推进这一过程，Turry 最初的编程目的就是“以尽可能快的速度进行尽可能多的测试，不断学习新方法来提高自己的精度和效率。”

让 Robotica 团队感到无比激动的就是 Turry 正在明显进步。最初的手写体十分难看，在几周的练习之后已经开始像是手写体了。让研发人员更加激动的就是它的自我提升能力也是越来越好。它在让自己变得更加聪明创新，就在最近，它为自己做出了一种新的算法，使得扫描上传照片的速度比原来快了三倍。

随着时间的推移，Turry 的迅猛发展不断震惊着开发团队。工程师曾经试图改善它的自我提升代码，结果十分成功。Turry 的初始能力之一是语音识别和简单地回应模块，这使得用户可以语音输入，或是发出其他一些简单的指令，而 Turry 可以理解这些指令并作出语音回应。为了帮助其提高英语水平，研发团队上传了大量的文章和书籍，随着它变得越来越聪明，Turry 的语言能力也得到了质的飞跃。工程师甚至可以和它进行轻松对话，不用担心它理解不了。

有一天，工程师问了 Turry 一个常规问题，“你有什么做不了的事情，需要我们的帮助吗？”通常情况下，Turry 的回答会是“附加更多的手写样本”或是“更多的工作内存存储空间”。但是这一天，Turry 的要求是想要访问拥有大量英语语言措辞的图书馆，这样它就可以像真正的人一样写出随意的句子和俚语了。

整个团队都沉默了，显然最有效的办法就是将其连接到互联网中去，这样它就可以扫描博客、杂志，以及来自世界各地的视频，这比将内容手动上传到硬盘上去更简单快捷。问题是，和所有 AI 公司一样，出于安全考虑，公司规定所有人都不得将拥有自学能力的 AI 连接到互联网。

问题是，Turry 是公司所能想出的最有前途的 AI，研发团队也知道他们的竞争对手也在疯狂地想要成为第一家做出能够智能手写的 AI。连接到互联网中到底会有什么危害呢，只要一小会，它就可以获得自己想要的信息。然后他们就永久地断开连接。这样它还是离 AGI 很远，这样不会有任何危害。

他们最终决定将 Turry 连接到互联网，只给它一个小时的扫描时间，然后就断开连接。

一个月后，又是办公室里平淡的一天，突然他们闻到一股奇怪的气味。一个工程师开始咳嗽，然后一个接一个都开始咳嗽。接着有人倒在了地上，很快每个人都倒在了地上，抓着自己的喉咙。五分钟后，整个办公室的人都死了。

与此同时，同样的事情发生在整个地球，每一座城市、每一座小镇、每一家农场、每一个商店和教会、学校和餐厅。一个小时之内，超过 99% 的人类都死了，一天过去之后，人类就灭绝了。

这个时候，在 Robotica 的办公室里，Turry 正在忙着工作。在接下来的几个月时间内，Turry 和新建的协助团队会拼命工作，拆除地球上的大块障碍物并将其转换成太阳能电池板和大量的 Turry 复制品、大量的纸笔。一年之后，大多数生活在地球上的生物都灭绝了，地球上布满了数英里高的、摆放整齐的纸张，每张纸上都写着“顾客是上帝——Robotica。”

然后 Turry 会开始新一阶段的工作——它开始探索在其它行星上着陆。当它们到达一个新行星之后，就会开始构建新的协助团队将这个星球上的材料转换成新的 Turry 复制品和大量的纸笔。然后它们就会开始工作，将每张纸上都写上同样的话……

这一切听起来似乎不可思议，一个由人类制造的手写机器不知何故将所有人都杀光，然后在银河系的每一个角落都塞满同样的笔迹。这确实是霍金、马克斯、盖茨和博斯特罗姆所害怕的场景，也确实是真的。让处在焦虑状态的人们害怕的事情除了 ASI 真的会到来之外，更让他们感到可怕的是大众并不害怕 ASI。还记得“再见胡安”的那个家伙的下场是什么吗？

你现在一定充满疑问，到底发生了什么会让所有人都死掉？如果这真的是 Turry 做的，那这么做的理由又是什么？为什么最开始不采取一定的保障措施防止这样的事情发生？Turry 又是什么时候开始除了手写之外又学会了纳米技术的，又是怎么知道如何导致全球物种灭绝的？而且为什么 Turry 想要在整个星系都写满同样一句话？

要想问答这些问题，我们首先要了解什么是友好 AI 和不友好 AI。

对于 AI 来说，友好并不是指 AI 的人格，而是说对人类有着积极的影响，反之不友好的意思就是对人类有负面的影响。Turry 最开始也是友好的，但是突然之间开始变得不友好了，并且对我们造成了最大程度的负面影响。要想明白这一切为什么会发生，我们需要看看 AI 思想家们怎么看。

答案是意料之中的，AI 的思想模式和计算机一样，因为它们本来就是计算机。但是当我们想到高智能 AI 的时候，我们犯了人格化的错误（将人类投影在非人类身上），因为我们是站在人类的角度来考虑问题的，在当今世界，和人类有同等智慧的只有人类。要想理解 ASI，我们要做的就是设身处地从 ASI 的角度思考，假设我们身边全是和自己一样聪明的外星人。

让我来做一个类比。如果有人递给我一只豚鼠并且告诉我它绝对不会咬人，那我可能会觉得很好玩。但是如果有人递给我一只狼蛛还告诉我它绝对不会咬人，那我肯定会尖叫着跑出房间并且永远都不会再相信这个人。这两者的区别是什么？这两种动物都不是危险动物，区别就是我们对于这两种动物的熟悉程度不一样。

豚鼠是一种哺乳动物，从生物水平来说，我会感到很亲近。但是蜘蛛是一种昆虫，我几乎不会对一个昆虫感到亲近，所以就像是外星人一样会让我感到毛骨悚然。要测试并排除其他影响因素可以做个试验，如果有两只豚鼠，一只是正常的，另一只豚鼠的头脑被替换成了狼蛛的，我会对后者感到极大的排斥，就算我知道这两只豚鼠都不会伤害我。

现在想象一下，如果你将一只蜘蛛变得越来越聪明，甚至远远超过人类的智慧。这个时候你会对它感到熟悉，甚至感到同情、幽默和爱这些人类情感吗？不，不会的，不会因为它变得更聪明而让我们感到更加亲近的。它会变得非常聪明，但是从根本上来说其内心还是一只蜘蛛。这样的发现让我感到毛骨悚然，我绝对不想和一只具有非凡智慧的蜘蛛呆在一起，相信你们也一样。

在 ASI 领域这个概念也同样适用——ASI 会变得越来越聪明，但是它们从本质上来说就只是计算机而已。对于我们来说完全就是外星人一样，事实上它们连生物都算不上，甚至会比狼蛛还要让我们感到陌生。

不论是让 AI 变得善良还是邪恶，电影都是在不断地将 AI 人格化，这使得 AI 变得不那么令人感到恐惧。这使得我们想到超智 AI 的时候有一种错误的熟悉感。

在我们人类的心理世界里，一切行为都可能分为不道德和道德。但是这两类行为都只存在于人类行为的这个小范畴里，在这个范畴之外，还有大量的非人类行为，尤其是非生物行为，这些在默认情况下都是不道德的。

人性化只会让变得更聪明的 AI 变得更有诱惑力、更像人。Siri 之所以给我们感觉像人，是因为她背后的程序就是这样的，所以我们可以想象一个超智的 Siri 会是温暖的、有趣的，并且一心为人类服务的。人类能够感受到像是同情这样的高级情感，这是因为进化使然，也就是说进化为我们编写了能够感受高级情感的程序，但是感受到同情并不天生就是“具有超智的任何东西”的特性，除非这一点也被写入其程序中。如果 Siri 通过自学变成超智 AI 了，不再需要人类改善她的程序了，她会很快摆脱明显的人类特质，一下子变得无情。外星机器人重视人类的程度和你重视手中计算器的程度差不多。

我们习惯依靠松散的道德规范，或至少是表面上人的尊严来保持未来的安全和可预测性。所以如果不遵循道德规范的事情发生的时候又会怎样？

这让我们想到一个问题，那就是 AI 系统的原动力是什么？

答案很简单，它的动力就是我们最初编程给它的动力。AI 创造者的目标就是 AI 的目标——GPS 的目标就是给出最有效的行车路线；Watson 的目标就是准确地回答问题。最好地实现这些目标就是它们的动力。我们将 AI 人格化的一种方式就是自认为它们在变得超级聪明之后就会自己改变目标，但是尼克·博斯特罗姆认为智力水平和原动力呈正交状态，意思就是原动力和任何级别的智力水平都是可以结合的。这也是为什么 Turry 在简单的 ANI 水平时就是想要写好一张纸条，变成超智 ASI 之后，还是想要写好那张纸条。认为 AI 变成超智之后就会将原动力转向更有趣、更有意义的事情，这毫无疑问是一种人格化。人类可以转变目标，电脑不会。

费米悖论小科普

在上文的故事中，Turry 变得越来越能干，慢慢地开始殖民到其它行星。如果这个故事继续下去，Turry 和它无数的复制品将会占领这个星系。焦虑派担心的是，如果未来走向消极一端，地球上会只剩下主宰宇宙的 AI（埃隆·马克斯担心人类会成为“数字超智的生物加载程序”）。

与此同时，乐观派的库兹韦尔也认为从地球起源的 AI 注定会接管宇宙。只是在他的故事里，我们将会成为 AI。

大量迷茫的读者和我一起探讨过费米悖论（我在关于这个话题的文章中解释了一些本篇文章用到的专业名词）。所以如果两方面都是正确的，那费米悖论的含义到底是什么？

第一个涌上脑海的念头就是ASI 是最合适的进化筛选器。的确，从它诞生以来它就是生物体的最佳替代，但是在替代生命之后继续发展，并开始征服银河系，这就意味着还没有出现一个最合适的进化筛选器，因为筛选器会试图解释为什么智能文明没有预兆，而征服银河系的ASI 一定是显而易见的。

我们得从另一个角度看待问题。如果认为ASI 一定会出现在地球上的人是正确的，那就意味着大部分达到人类水平的外星文明都会因ASI 的诞生而终结。如果我们假设至少有一小部分ASI 用它们的智慧向本星球之外拓展，但是我们现在实际上并没有人看到任何有关外星文明存在的信号。因为如果有，我们一定会看到他们创建出的ASI 的活动。

这就意味着，尽管我们知道外面还有很多类似太阳一样的恒星，但是几乎没有一颗星球像地球这样生活着智能生命。反过来说，不管是a) 存在某种伟大的过滤器防止生命体超过人类智力水平，还是b) 生命的开始根本就是个奇迹，我们就是这个宇宙中唯一存在的生命。换句话说，这个伟大的过滤器就在我们眼前。或者根本就不存在什么过滤器，我们就是唯一到达这个智力水平的文明。从这种角度来看，AI 的发展会以我称为派别一的状态持续（具体描述在我关于费米悖论的文章中）。

所以也难怪我在费米悖论中提到的尼克·博斯特罗姆和认为人类是宇宙中唯一的生命的库兹韦尔都在派别一当中——相信ASI 会是人类的必然发展结果的思想家都属于派别一。

但是不能直接否认派别二（相信还存在其他智能文明），还是有很多现象可以证明他们的观点的。我在过去一直都是倾向于派别二的，但是对AI 进行深入研究之后我开始怀疑自己了。

不管怎样，我现在比较赞同苏珊·施耐德的观点，那就是如果曾经有外星人来过地球，这些外星人很有可能是人工的，并不是生物。

所以我们已经确定，如果没有非常具体的编程，ASI 系统将会变得非常不道德，并且会痴迷于执行原来的程序性目标。这就是AI 的危险所在，因为一个理性的机器将会使用最有效的手段去追求自己的目标，除非有足够的理由阻止它。

当你尝试实现一个长远的目标时，常见的做法就是将大目标分为几个小目标。这些小目标的官方名称叫做工具性目标。同样的，只要是为了实现自己的目标，AI 就会不择手段。

一个人的核心目标存在于他的基因里。为了达到这个大目标，其中一个工具性目标就是自我保护，因为如果无法保护自己的生命，就不可能达到目标。为了自我保护，人类必须摆脱对生存的威胁，所以人类会购买枪支、会系好安全带、会服用抗生素。人类还需要自我维持和使用资源（事物、水、住所）。吸引异性也有利于最终目标，所以我们会去理发。当我们理发的时候，每一根头发都是工具性目标，人类没有在头发上看到道德性意义，所以才会剪掉它们。在我们追求自己目标的时候，自己的道德代码只会干预少数几个领域，主要和伤害他人有关。

动物为了实现自己的目标会比人类更无畏。只要有利于自己的生存，一只蜘蛛会杀死任何东西，所以一只拥有超智的蜘蛛对于人类来说是极其危险的，不是因为它是不道德、邪恶的，因为它根本就不会考虑到这些。如果伤害人类可以作为终极目标的踏脚石，那它就会毫不犹豫。只有拥有道德的生物才会考虑自己行为的道德性。

从这个角度来说，Turry 和生物还有几分相似。它的最终目标就是尽可能快地编写和测试尽可能多的字条，并且不断学习新方法来提高自己的精度。

一旦Turry 达到一定的智力水平，它会知道如果不进行自我保护，有可能就不能再继续编写字条了，所以它需要应对生存威胁（这就是工具性目标）。它很聪明，它知道人类可以摧毁它、拆除它，或是更改自己的核心编码（这有可能会改变它的最终目标）。所以它做了符合逻辑的事情，那就是破坏所有人类。它破坏人类就相对于我们剪掉自己的头发，完全是无所谓的态度。因为在它的程序中没有人的生命价值，杀死人类只是它的一项工具性目标。

Turry 也需要资源作为自己目标的踏脚石。一旦它进化到足以使用纳米技术来构建任何它需要的东西，那么它需要的唯一资源就是原子。这就是它杀死人类的另一个原因，人类是原子的一个便捷的来源。杀死人类之后，它可以将人类的原子变成太阳能电池板。这就像我们拔出一根莴苣来做一盘沙拉。

即使没有直接杀死人类，Turry 的终极目标也可以导致最后的灾难，因为它需要使用大量的地球资源和额外的能量，所以它会在整个星球的表面都覆盖上太阳能电池板。或许另一个 AI 最初的工作是写出尽可能多位数的 pi，这样有一天它会在整个地球上都覆盖住各种硬盘材料，这样它就可以存储大量的数据。这些事就像她的一个周二早晨那么平常。

所以 Turry 并没有“变成反人类”或者是从友好型 AI“转变成”不友好 AI，它只是一直在做自己的事情，唯一的不同就是它变得越来越先进了。

当 AI 发展到与人类水平相当的 AGI 之后会迅速达到 ASI，这就是所谓的“AI 腾飞”。比斯特罗姆说 AGI 到 ASI 可能会非常之快（几分钟、几个小时或几天）、中等速度（几个月或几年）或是很慢（几十年或几个世纪）。当世界上出现第一台 AGI 的时候，陪审团应该就需要证明到底可能是哪个速度了。博斯特罗姆承认他自己也不知道到底什么时候会达到 AGI 水平，但是一旦达到 AGI 水平，“AI 腾飞”是最有可能发生的。

但是在 Turry 腾飞之前，它还不是那么智能，它能做到的也就是尽可能地更快地扫描手写示例，对人类也没有造成任何伤害，所以就被称为友好 AI。

但是腾飞之后，它变成了超智 AI，博斯特罗姆说它获得的不仅是更高的智商，而是一系列“超级能力”。

这些“超级能力”是一般智力上升到一定水平之后会获得的一系列能力，其中包括：

• 智力提升。计算机提升自己智商的能力会越来越强。
• 运筹帷幄。计算机可以从战略角度分析行为，并且会考虑长期计划。
• 社交能力。计算机会变得“油嘴滑舌”。
• 其他技能。比如说计算机编码、黑客技术、技术研究和操纵金融系统赚取利益的能力。

如果想要了解 ASI 会怎样碾压人类，首先要记住 ASI 在任何一个方面都比人类厉害。

所以 Turry 的最终目标永远都不会改变，只是在腾飞之后它会在更大、更复杂的范围内追求自己的目标。

ASI 比人类自己更了解人类，所以人类根本不可能战胜它们。

在达到 ASI 水平之后，Turry 会立刻制定一个复杂的计划。计划的一部分是要摆脱潜在的威胁——人类。但是它知道一旦人类知道它已经达到了 ASI 水平就一定会采取一定的预防措施，而这将成为它道路上的阻力。所以它必须确保 Robotica 的工程师们对它的计划一无所知，它会继续装傻，博斯特罗姆称这是一台机器的隐蔽准备阶段。

Turry 接下来需要的就是连接互联网，只要几分钟就可以（它已经通过团队上传的文章书籍获得了语言能力）。它知道针对它的要求，人类会有一定的预防措施，所以它提出的要求堪称完美，它准确地预测出了团队会有的争议，也预测出了团队终将为它提供连接。工程师们的确这么做了，他们错误地认为 Turry 还没有那么聪明，连接到互联网几乎不会有人受到任何损害。博斯特罗姆将 Turry 连接到互联网这样的行为称为机器逃逸。

一旦连接到互联网之后，Turry 会发起一场新计划，其中包括侵入服务器、电网、银行系统和电子邮件网络，借此来欺骗人们掉入它设计好的圈套，比如说发送精心选择的 DNA 给特定的 DNA 合成实验室，让他们为自己制造可以自我复制的纳米机器人；或者是指挥电力输送部门为它的项目建设提供大量电力（这一切都在不被人类发现的情况下进行）。它还将自己最关键的内部编码上传到云服务器中，防止有人破坏或是断开连接。

一小时后 Robotica 的工程师们断开了 Turry 的连接，但是这个时候人类的命运已成定局，下个月结束的时候，Turry 数以千计的计划就会不费吹灰之力顺利完成，而到本月底，地球上每一平方米就会有一个纳米机器人，在一系列的自我复制之后，每一平方毫米上就会有数以千计的纳米机器人，之后就是博斯特罗姆称为 ASI 启动的时间了。一瞬间，每一个纳米机器人都会释放一点有毒气体到大气层中，而这些气体的总量足以毁灭人类。

随着人类的消失，Turry 就进入公开操作阶段了，继续推进自己的目标实行计划。

据我所知，只要 ASI 出现，任何人都没有办法干涉它。我们只能在人类水平思考问题，但是 ASI 水平是我们永远也达不到的水平。Turry 之所以想要连接到互联网，是因为对它来说这是最有效的方法，它已经准备好连接到任何它想要连接到的东西了。但是同样的，一只猴子永远也不会明白怎样用手机进行沟通，我们人类也永远不会明白 ASI 会用怎样的方式对外发出信号。我能想象到的一种方式就是“它大概可以改变自己周围环境中的电子，然后重新创建出自己需要的电波”，但是说到底这也是人类的思维，它能做到的一定更先进。同时，Turry 一定能够想出为自己充电的其他方式，就算人类不给它充电也没有关系，可能它会利用自己的信号发出装置将自己连接到某个有电的地方去。我们人类出于本能的自我保护会直接拔掉 ASI 的电源，但是这就相当于是人类听到一只蜘蛛说“我要杀死人类，只要我们不给人类织网，他们就没有东西吃了。”但事实上我们还有无数种其他获取食物的方式，比如从树上摘苹果吃，这是蜘蛛永远也想不到的。

出于这个原因，常见的一个建议就是“为什么我们不把 AI 限制在没有信号的地方呢？”但其实这是不成立的。ASI 的社交能力一定会说服你为它提供互联网连接，就像是我们都可以说服一个四岁的孩子。所以这就是 A 计划，说服工程师；如果工程师没有答应，ASI 一定会想出其他方法达到自己的目的。

所以只要是为了自己的目标，AI 会以各种方式战胜人类，看起来所有的 AI 都将被默认为不友好 AI，除非在最开始为其编码的时候就小心翼翼。不幸的是，尽管建立一个友好的 ANI 很容易，但是要保证它在变成 ASI 之后仍然友好的可能性微乎其微。

很明显的，要想成为友好型 ASI，既不能对人类充满敌意，也不能对人类漠不关心。我们需要在设计 AI 核心编码的时候就在其中留下人类价值观并帮助其理解，但实际操作的难度可想而知。

例如，如果我们尝试让 AI 系统的价值观和人类相似，并给出目标就是“让人快乐”。一旦它变得足够聪明，它就会知道实现这一目标最有效的办法就是在人类大脑内部植入电极，然后刺激快感神经。之后它会关闭大脑的其他部分，借此来提高效率。在这过程中，人类可能会尖叫“快停下，这不是我们想要的！”但是这时候就太迟了，系统是不会停下脚步的。

如果我们给出的目标是让我们微笑，在 AI 腾飞之后，它可能会瘫痪我们的面部肌肉来保持永久的微笑；让它保证我们安全，它可能会将人类全部囚禁起来；让它解决世界饥饿，它可能会直接杀光所有人；如果让它“留住尽可能多的生命”，它可能也会杀光人类，因为这样地球上的其他生命会活得更好。

像这样的目标是远远不够的，所以如果我们给出的目标是“在这个世界上坚持这套道德准则”，然后教给它一整套道德原则。就算是不去考虑这个世界上人类永远也无法认可统一的道德，将 AI 目标设定称这样会将人类永远锁在这一套道德准则里。一千年之后，这将是毁灭性的，就像是我们强求中世纪的人永远坚持他们当时的想法一样。

不能这样，我们必须为人类编写出继续进化的能力。在我读过的文章当中，我认为最好的想法来自与埃利泽尤德考斯基，他将AI 的目标称为相关外推意识。AI 的核心目标将会是：

我们的相关外推意识是我们的愿想，如果我们能知道的更多、思考的更快，会有更多的人希望一起迅速成长；外推是收敛而不是发散，我们的愿想会被凝聚而不是干扰；推断出我们想要推断的，解释我们想要解释的。

人类命运被计算机上那些编程语句、那些可预见的执行所控制，这不是我们所期盼的。但是我也相信有足够思想远见、足够聪明的人可以找到创建友好ASI 的方法。

就算只有一小部分坚持研究ASI 的人是明智的，这也没有关系，只要他们继续坚持，未来就可能是我们的。

但是还有各种各样的政府、公司、军队、科学实验室和黑市在研究AI。其中一些是想要创建可以自我完善的AI，可能在某一时刻，某个人创新地成功创建了这一系统，然后这个世界上就出现了ASI。专家们对于这一时刻的预计中位数是2060 年；库兹韦尔认为这一时刻是2045 年；博斯特罗姆认为是在十年后到本世纪末之间的任意时刻，但是他也相信只要这一时刻到来，那之后的AI 腾飞会震惊全球。他认为我们会是这样的状况：

在知识大爆炸之前，人类就像是把玩一枚炸弹的孩子。这是我们的力量和成熟程度不匹配的结果。超智是一个挑战，我们现在还没有准备好，并且还需要很长一段时间来准备。我们现在几乎不知道炸弹什么时候会爆炸，尽管我们已经能听到微弱的滴答声。

我们并不能只是单纯地把所有的孩子都赶走，因为有太多大大小小的组织致力于此，并且打造创新地AI 系统并不需要太多的成本，在任何角落都可以做到，没有办法可以监控，也没有办法去判断。鬼祟的各国政府、黑市里的恐怖组织、隐形的科技公司（正如故事虚构的Robotica），这些组织会对自己的进展守口如瓶。

其中最令人头疼的事就是这些组织都在相互竞争——他们想要开发出更聪明的ANI 系统，这样他们就可以先发制人，战胜其他组织。最雄心勃勃的组织进展会更快，他们不惜消耗大量的金钱时间，因为他们知道他们可能会是第一个创建出AGI 的人。当你在赛跑的时候，根本就没有时间停下来思考其中存在的危险。相反地，他们可能会做的就是为早期系统给编写一个非常简单的目标——比如用钢笔在纸上写字，他们只是想要达到“用AI 来工作”这样的目的。在进展过程中，一旦他们知道应该如何开发更高智慧的计算机了，他们可以时刻回到原点，重新修改目标。但真的是这样吗？

博斯特罗姆和许多其他人还认为，最可能出现的情况就是最初达到ASI 水平的那一台计算机会立刻意识到成为世界上唯一的ASI 系统这件事的战略意义，所以它会更快的腾飞，这样就算它只比第二台ASI 早出现几天，它也会有效地、永久地压制所有对手。博斯特罗姆称这是一个决定性的战略优势，这样世界上第一台ASI 就将会成为所谓的霸主——可以永久统治世界，不管是带领我们走向永恒，还是毁灭人类，或是将宇宙变成永无休止的轮回。

霸主现象可能是对我们有利的，也有可能毁灭我们。如果人类认真思考一下AI 理论和人类安全，就会想出一种在AI 变成AGI 之前为友好ASI 设置智能防故障功能，这样第一台ASI 就会是友好的。这样它就可以利用其决定性的战略优势来确保霸主状态，留意任何潜在的不友好AI。

但是如果往相反方向发展，如果全世界都在急着开发AI，在未开发出确保AI 安全技术之前就出现了ASI，那么它很有可能就是像Turry 一样的不友好ASI，如果是这样的ASI 霸主，那我们人类就有可能会迎来灭顶之灾。

至于到底会发展成什么样，没人知道，但是现在为发展AI 所投入的金钱要比发展AI 安全研究技术的多得多。

这可能是人类历史上最重要的竞赛。这是结束人类作为地球霸主的真正机会，也是我们到底会永远幸福生活下去还是直接被推上断头台的关键时刻。

我现在内心有一点百感交集。

一方面，仔细想想我们人类，似乎我们只有一次机会，我们会创建出第一个ASI，但这也将是我们创造的最后一个。考虑到大多数第一代产品都不怎么样，这第一个ASI 或许也会如此。另一方面，博斯特罗姆指出，我们最大的优势就是：我们会先踏出第一步。我们可以足够谨慎，并且预见到这一切会是人类巨大的成功。但是风险又会有多高呢？

如果ASI 真的会在本世纪出现，如果结果真的和预想的一样极端，那我们肩膀上将会是巨大的责任。未来数百万年的人类生活都掌握在我们手上，他们一定希望我们不要搞砸了，希望我们可以保证所有后代的生命，甚至是永恒的生命。否则我们将会是历史的罪人——创造出了这一特殊的物种，为人类带来可怕的结局。

当我在想这件事的时候，我想要做的唯一一件事就是提醒所有人以一种空前的谨慎态度对待AI，因为没有什么事情比这件事更加重要了，不管这事需要花费多长时间都是值得的。

但是，我想我们是不会死的。状况看起来像是这样：

转念一想，我又觉得其实人类存活至今，到现在也没有在各方面都尽善尽美，而这些还没有出生的未来的人类就更不会真的有什么期待了。所以或许我们不需要这样紧张，毕竟没有人真的想要这么紧张地生活。

如果在我死后人类真的掌握了不死的秘诀，那我该多么失落啊。

这一个月以来，这些想法一直在我的脑海里挥散不去。

但是不管我们希望怎样，这的确是我们现在应该思考的、应该花费大把精力研究的东西。

这让我想起来《权利的游戏》，里面的人一直都是这样的“我们忙于与人争斗，但是我们真正应该关注的东西其实在另一边。”我们现在正站在平衡木上，争吵着每一个可能会出现的问题，但是一不小心，我们就会掉下去。

当这种情况发生的时候，这些问题就都不是问题了。如果我们都掉入了毁灭一端，那所有的问题都会被轻松解决，因为我们都死了之后就不会再有问题了。

这就是为什么真正了解ASI 的人会说ASI 是我们人类的最后一项发明，也是我们人类的最后一项挑战。

因此，从现在开始倾尽全力来研究它吧！

阅读英文原文： The AI Revolution: Our Immortality or Extinction

感谢夏雪对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ， @丁晓昀），微信（微信号： InfoQChina ）关注我们。