从机器人三定律到人工智能三原则

机器人三定律

1942 年， Isaac Asimov 在他的短篇小说“ Runaround ”（即“ I,Robot ”中的一个短篇）中第一次明确提出“机器人三定律”，在他的机器人相关科幻小说和其他机器人相关小说中成为机器人设定的行为规则。是Asimov 除“Psychohistory”外另一个著名的虚构学说。

Asimov 的机器人三定律内容如下：

• 第一法则
  机器人不得伤害人类，或因不作为（袖手旁观）使人类受到伤害。
• 第二法则
  除非违背第一法则，机器人必须服从人类的命令。
• 第三法则
  在不违背第一及第二法则下，机器人必须保护自己。

1985 年，“ Robots and Empire ”这本书中，Asimov 将机器人三定律扩张为四定律，加上了一条新定律，第零法则：

• 第零法则
  机器人不得伤害人类这族群，或因不作为 (袖手旁观) 使人类这族群受到伤害。

人工智能在某些领域超越人类

虽然 Asimov 笔下的机器人，现在还没有出现，但是，鉴于机器人的灵魂——人工智能，在这几个月以来来，一路碾压人类，先是 AlphaGo 的升级版 Master 在一个月前 60 连胜狂胜人类围棋顶尖好手，然后是 Libratus 在德州扑克人机大战中鏖战 20 天后，从 4 位顶级人类扑克高手赢回共计 176.6 万美元。

而 Libratus 和 AlphaGo 并不同。在围棋界纵横无敌的 AlphaGo，本质上处理的还是完美信息博弈，而 AlphaGo 无法处理德州扑克的问题，更遑论使出诈唬。但 Libratus 在德州扑克却能使出诈唬。Libratus 取得最终胜利，是人工智能领域的新的里程碑，因为它处理的是不完美信息博弈。

现实世界中，不完美信息才是常态，各种看不见的隐藏信息产生了大量的不确定性，而德州扑克代表的就是这种类型的博弈。

人工智能发展的终极目标，是通用人工智能（AGI）。通用人工智能可以解决任何一个问题，而不是像 Libratus 或者 AlphaGo 这样只能专注于扑克或者围棋。想要实现 AGI 就得让人工智能学会解决不确定性问题，这也是此次人机大战的重大意义之一。

机器人三定律适用于人工智能吗？

那么，Asimov 的机器人三定律还能适用于人工智能吗？

让我们先看看 Asimov 时代对机器人是怎么设想的。那个时代中，机器人是按照冯诺依曼的思想来设计的。程序员可以随心所欲的控制它们的行为，那时候的机器是一个确定性的系统，只需加载一条条指令，它们就按程序员所设想的那样工作。

在今天，人工智能的设计发生了很大变化，科学家们意识到，那种冯诺依曼式的自上而下的控制式程序不太可能实现人工智能，现今最优秀的人工智能都是基于遗传算法，它模拟是大脑的神经网络的工作方式，人们为这样的技术付出的代价就是，人们再也不可能完全理解人工智能是如何工作的了。人们只能通过对输出进行观察然后形成一个关于人工智能行为的经验性感觉，机器的内部工作原理之于程序员更像是一个黑箱。举个例子，未来的机器人可能会很有效的执行到超市购物的这一行为，但是不管程序员如何修改他的适度函数，也很难保证机器人在购物途中不去伤害一只挡道的猫，或者破坏一辆汽车。Asimov 同样忽略了计算机智能可能会诞生在网络，人们很容易设计出一套协议来确保网络中的某个节点不会制造混乱，但却无法控制计算机网络的智能涌现。

事实上，人工智能恐怕再过一段时间就要抵达技术奇点，发生爆炸式增长，彻底把人类智能甩在后面。

而如果这样一个超级智能的程序编得不够好，或者它不在乎人类的需求，那么对我们而言就是彻头彻尾的灾难。我们必须保证它是安全的。

早在 2014 年，时任机器智能研究所（ Machine Interlligence Research Institute，MIRI ）代理主任、兼 Louie Helm 和艾迪亚金融预测公司首席科学家 Ben Goertzel 曾经讨论过Asimov 的机器人三定律是否适用于人工智能的话题。

Ben Goertzel 表示，Asimov 预想的机器人过不了多久就会实现。但是在他大部分小说里，看起来人类级别的机器人好像就是机器人学和AI 工程的顶峰了。事实看起来并非如此。在抵达Asimov 式类人机器人之后，很快超人AI 也会成为可能。

Louie Helm 认为，对人类来说最主要的问题，不是一大群半智能人形机器人所需的道德规范，而是高阶人工智能最终会出现（不管有没有躯体），其功能远远超过人类水平。人类早晚必须要跨过超级智能这个坎。这也是为何开发安保措施如此重要。在我看来，机器人、仿生人、模拟大脑什么的都无关紧要，我们最多和它们相处一二十年，之后就要面对真正的大问题——为超级智能开发伦理道德。

人工智能三原则

1 月 17 日，IBM 首席执行官 Ginni Rometty 在瑞士达沃斯世界经济论坛上发表了演讲，介绍了人工智能技术部署的基本原则，呼吁业界需要在人工智能和认知应用方面增加透明度及分析其伦理和社会影响。

Rometty 表示，IBM 作为行业领袖，有责任将人工智能技术引导它们进入安全的世界。

Rometty 认为人工智能就是一种新技术及由此衍生的认知系统，人工智能将在不久的未来渗入人们工作和生活的方方面面，可能会令一切变得更美好，和以前的改变世界的各种技术一样，人工智能的意义重大。许多由此导致的问题在今天尚无答案，找到答案需要时间、研究和公开讨论。

在这次会议上，Rometty 提出了人工智能三原则，包括：目的、透明度、技能。

1. 目的
人们在人工智能系统中建立信任很重要。IBM 认为人工智能系统的目的是为了服务人类，而不是取代人类。Rometty 说：“我们的技术、产品、服务和政策旨在加强和扩展人类的能力、专业知识和潜力。我们的立足点不仅仅是基于原则，也是基于科学。认知系统不会具有实际意义上的意识或成为独立的个体。”

IBM Watson 现在与汽车，iPhone 和医疗保健组织集成。Rometty 说，认知计算系统今年将通过各行业的业务解决方案触及大约 10 亿人。这些都是 IBM 从其工作中获得的伦理见解。

2. 透明度
Rometty 说，在构建人工智能系统平台时，必须清楚它们是如何训练的，以及在训练中使用了什么样的数据——也就是说透明度。人类需要保持对系统的控制。这些系统不会有自我意识或意识。她还补充道，IBM 将会就旗下人工智能的开发和部署的时间表和目的公开细节。

3. 技能
Rometty 认为，人工智能系统平台必须与行业内的人员合作，无论是医生、教师还是承销商。公司必须准备培训员工如何使用这些工具来获得优势。

例如，沃森的肿瘤学顾问现在在印度、中国、泰国、芬兰和荷兰推广。它由世界上最好的肿瘤学家培训。例如，印度就有一位肿瘤学医生为 1600 名患者做出了诊断。换言之，就是人工智能部署需要将人类因素纳入有关的等式里，帮助普罗大众获取使用新服务所需的技能。

人工智能的目的不是把机器变成人，也不是把人变成机器，而是要扩展人类的智能和能力，帮助所有的人提高生活质量。虽然在过去两年这个概念在面向大众普及，但距离现实应用仍较远。

超级人工智能的崛起，是人类的希望，还是人类的末日呢？现在，谁都不知道。

感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ， @丁晓昀），微信（微信号： InfoQChina ）关注我们。