别以透明的名义降低人工智能的能力

人工智能系统将来会撞毁我们的汽车，还会给美国黑人判更长的刑期。我们知道这会发生是因为它们已经在这些方面出了问题。尽管很多人认为人工智能需要给出解释，例如欧洲委员会已经出台的通用数据保护条例。但是这并不意味着我们需要让人工智能解释每个重要的情况下，它是如何做出决断的。

要求可解释性听起来没什么，但要做到这一点可能会让人工智能变得没那么智能。鉴于人工智能的前景来自于机器学习，压制这项技术意味着诊断疾病的失败，忽视气候变化的重要原因，或者使得我们的教育制度过于一刀切。充分利用机器学习的力量很可能意味着我们所依赖的结果无法向人类解释。

机器学习，特别是深度学习，可以分析数据，产生成千上万的变量，把它们排列成非常复杂的、敏感的加权关系矩阵，然后通过计算机神经网络反复运行那些矩阵。想要了解算法的结果，比如为什么系统认为你有73% 的可能得糖尿病，或者一步棋有84% 的机会最终带来胜利，可能需要理解那些由神经网络多次运算得到的大型变量之间的关系，而我们的大脑根本无法处理这么多的信息。

目前有许多令人兴奋的工作，正在试图让机器学习的结果能够被人类所理解。例如，有时通过观察可以发现哪些变量的权值最高。有时对运算过程的可视化可以显示系统是如何得出它的结论的。但情况并非总是如此。所以我们可以不再坚持可解释性，也可以说服自己这些机器不一定总是给出最准确的结果。如果机器学习只是被用于生成电影推荐列表，准确性或许无关紧要，但是在医疗和自动驾驶的问题中，则是一个生死攸关的大事。

其实可以把可解释性看作是一种工具，我们用它们来达到一些目标。对于机器学习，可解释性可以帮助开发人员调试出错的系统。它也可以用来判断一个结果是不是通过不算数的因素（性别、种族等）而得到的，然后评估它的可靠性。然而，我们有其他的方法可以达到预期的结果，而不需要抑制机器学习系统的能力来帮助我们。

优化便是一个很有前途并且已经相当成熟的工具。例如，上世纪70 年代石油危机期间，联邦政府决定通过优化公路来省油，将高速公路的最低限速下降至55。类似地，政府也可以决定自动驾驶汽车的优化方向。

假设政府官员决定自动驾驶车辆系统应该以降低美国交通事故的死亡人数为目的进行优化。2016 年这个数字是 37000 ，如果死亡人数急剧下降—— McKinsey 表示自动驾驶汽车可以降低 90% 的交通事故死亡率——然后系统达到了优化的目标，那么肯定会举国欢腾，即使没有人能理解为什么哪个特定的车辆“决定”了什么。事实上，当自动驾驶汽车形成网络并且协作决定自己的行为时，它们的行为可能会变得很莫名奇妙。

现在，确定自动驾驶车辆的优化方向将比这更复杂。可能会有优先顺序：自动驾驶汽车或许首先进行以减少伤亡为目的进行优化，然后是减少伤害，然后是减少对环境的影响，然后是减少驾驶时间等等。优先权的确切层次是监管者必须解决的问题。

无论结果如何，重要的是，现有的民主进程决定了优化方向，而不是商业利益。让市场决定也有可能带来次优的决策，因为汽车制造商也有强烈的设计动机，让他们的汽车成为最顶级的自动驾驶汽车。很难说，最好的自动驾驶汽车会不会是一个 《疯狂的麦克斯》风格的布加迪威龙。这些都是影响公共利益的问题，应该在政府的公共领域进行决定。

但是仅仅规定优化方向然后测试结果是不够的。假设交通事故死亡人数从 37000 下降到 5000，但有色人种在受害者中占较大比例。或者假设一个 AI 系统要挑选出值得面试的求职者，但其中只有一小部分是女性。显然，优化是不够的。我们还需要限制这些系统来支持我们的基本价值观。

为此，AI 系统需要对他们的优化方向和结果透明，尤其是考虑到我们希望它们所支持的重要价值观念。但我们不需要他们的算法是透明的。如果一个系统不能满足它的目标，可以一直调整直到它满足。但是如果它达到了目标，那么解释是没有必要的。

但是人们应该怎样对人工智能系统进行优化呢？用什么来约束？这些都是很难回答的问题。如果一个硅谷的公司使用人工智能为开发者岗位挑选求职者，我们还要坚持挑选出来的女性占 50% 吗？或者这个比例至少要等于计算机科学专业毕业生中女性的比例？我们会满足一步一步实现性别平等吗？我们想要岗位池中有 75% 的女性以弥补过去的不公正吗？这些问题很难回答，但一个民主国家不应该把它留给商业实体来得到答案。应该让公共领域来进行优化和约束。

对于在自动驾驶事故中去世的 5000 人来说，自动驾驶拯救了 32000 人也是无济于事的安慰。鉴于自主车辆瞬态网络的复杂性，有可能是没有办法解释为什么你的艾达阿姨死于连环车祸。但我们也不想每年再牺牲 1000 或 10000 人，只是为了让交通系统可以解释给人类。因此，如果可解释性的确会影响系统降低死亡率的效率，那么无过错的社会保险（政府资助的保险，无需定责）应常规用于赔偿受害者和他们的家人。什么也不能挽回受害者的生命，但至少会有更少的艾达阿姨在车祸中死亡。

我们有理由朝这个管理方法前进：它让我们从先进的、超越人类理解能力的 AI 系统中受益。

它的重点在制度层面而不是个别事件的讨论。通过将 AI 和它所取代的过程进行比较，或许我们可以改变周围的一些由 AI 引起的道德恐慌。

它将执政问题作为需要通过现有流程来解决的社会问题，以解决政策议题。

而且它将这些系统的管理放到人类、社会的框架下，让它们服从人的需求、欲望和权利。

把 AI 的管理看作是优化问题，我们可以把主要焦点集中在真正重要的事情上：我们想从一个系统得到什么，为了得到它我们愿意放弃什么？

原版评论： Optimization over Explanation 。

查看英文原文： Don’t Make AI Artificially Stupid in the Name of Transparency

感谢陈思对本文的审校。