2020 年人工智能领域发展回顾和 2021 年展望

人工智能是当前最热门的话题之一。这一最新进展不言自明：如果你跟 GPT-3 打个招呼，它就会回敬你。人工智能发现的药剂学指日可待。企业比以往任何时候都要招聘更多的博士，而决策者们也在尝试用几百年前的法律来理解这一年的科技发展。对于研究者和投资者而言，这是一个激动人心的时代，但对于政治家和律师而言，情况可能并非如此。

本文最初发表于 Towards Data Science 博客，经原作者 Ygor Rebouças Serpa 授权，InfoQ 中文站翻译并分享。

Nathan Benaich 和 Ian Hogarth 今年第三次合作，共同发布了一份关于人工智能的现状报告，内容涉及最新的研究、行业、人才和政策消息。最后，作者也给出了他们对 2021 年的预测。这一点非常重要，毕竟没有猜测就没有关于人工智能的任何工作，对吧？

你可以点击这里阅读报告全文。

本文概括了该报告的主要内容和发现，并对一些问题提出了自己的看法。

报告摘要

研究

（详见幻灯片第 10~62 页）

该报告展现了人工智能领域技术层面的一些进展：只有 15% 的人工智能论文将代码开源，PyTorch 占据了大部分的“研究市场份额”，许多大学团体的模型参数都达到了 10 亿大关。此外，该报告还对大规模模型的经济和环境成本进行了评论。即使硬件有所改善，深度学习的成本仍呈指数级增长。目前的 SOTA 模型的训练成本高达数百万美元，更不用说进行调优了。

这一年，自然语言处理引起了广泛的关注。除了自然语言处理之外，人工智能也在生物学和医学领域掀起了一股论文热潮。除了这两个领域外，图神经网络（Graph Neural Networks，GNN）和强化学习（Reinforcement Learning，RL）在今年也取得了突破性的进展。

诚然，新冠肺炎疫情的爆发也在人工智能领域打上了烙印，几乎所有方面的努力都在致力于解决这种疾病。

人才

（详见幻灯片第 第 63~81 页）

随着论文数量的增长，一些教授也离开了学术界，去了大型科技公司：大学也受到了冲击。为了反击，各大学正致力于建立人工智能专业研究所和资助项目。

国际人才流失是更大的问题。这一年的趋势显示，许多科学家从亚洲移民到美国求学，其中大部分人毕业后留在美国。美国依靠外国人才是非常明显的。有 70% 的美国人工智能研究人员都没有在美国培训过。这在论文发表成果中也有体现。在 NeurIPS 的口头报告中，中国研究者约占 29%（接受率为 0.5%）。

虽然受新冠肺炎疫情爆发影响，人工智能人才的需求仍然居高不下，人工智能课程的报名人数也在不断增加。

行业

（详见幻灯片第 82~129 页）

以人工智能为基础的制药是最大的亮点。人工智能药物研发进入市场的时代已经来临。它和生物 / 医学论文的蓬勃发展密不可分。但是，一个被轻视的点是监管和程序。目前的审批方式不是为人工智能发现或人工智能主导的产品设计的，也不是为持续改进的工作流设计的。

自动驾驶汽车（Autonomous Vehicles）行业也面临着类似的问题。与自动驾驶汽车产业相比，无人驾驶汽车的立法更加滞后：尽管投入了数十亿资金。一部分资金用于内部硬件的研发，尤其是定制的激光雷达技术；另一部分资金用于自动驾驶汽车技术栈本身，而该技术栈在很大程度上仍然是手工设计的。

与此同时，计算需求也催生了新的计算平台供应商，以及 Graphcore 的 M2000、Nvidia 的 DGX-A100 和 Google 的 TPUv4 等专业人工智能硬件。同时，改善机器学习基础设施和运营的工作也在飞速发展。

幻灯片第 113~129 页专门介绍了行业中的成功案例。

政策

（详见幻灯片第 130~170 页）

这一年，人工智能成为了主流伦理问题，包括但不限于性别 / 种族偏见、警察和军队的使用、人脸识别、监控和 Deepfake。尤其令人担心的是军方对人工智能技术的兴趣，但远非意料之外。

像 NeurIPS、ICLR 这样的国际顶会，以及 Google，都已经采用了新的道德准则，一些公司也支持公平和隐私的理念。但要实现真正的变革，仍有很长的路要走。芯片生产和知识产权所有权似乎更受各国政府的关注。

政界的热词是人工智能民族主义：各国投资成为人工智能领域的领袖，并制定国家人工智能政策。

预测

（详见幻灯片第 172 页）

Benaich 和 PHogarth 在报告的最后对 2021 年进行了预测。这些预测如下（幻灯片第 172 页）：

1. 构建更大语言模型的竞赛还在继续，我们将看到第一个 10 万亿参数模型。

2. 基于注意力的神经网络从自然语言处理走向计算机视觉，旨在实现最先进的成果。

3. 由于母公司改变战略，一家大型企业人工智能实验室将被关闭。

4. 为回应美国国防部对美军人工智能初创企业的行动和投资，未来 12 个月，中国和欧洲专注国防的人工智能初创公司将集体获得超过 1 亿美元的融资。

5. 其中一家领先的人工智能优先药物发现初创公司（如 Recursion、Exscientia）或者是上市，或者是被收购，价格在 10 亿美元左右。

6. 在结构生物学和药物发现方面，DeepMind 将取得超越 AlphaFold 的重大突破。

7. Facebook 将通过 3D 计算机视觉在增强现实和虚拟现实方面取得重大突破。

8. NVIDIA 最终未能完成对 ARM 的收购。

尽管这些预测是针对明年的，但其中有些已经成为现实。比如（1），Microsoft 宣布他们的 DeepSpeed 库已经具备“万亿参数模型”的能力。虽然到目前为止，还没有一个模型发布，但 10 万亿模型的问世已成定局。至于 (2)，《An Image is Worth 16x16 Words》这篇论文，正朝着这个方向迈进。

至于 (6)，在 AlphaFold 之外，我们还有 AlphaFold 2！其最近发布的版本承诺，对生物学的影响与 2012 年 AlexNet 对计算机视觉的影响相似，甚至超过了 AlexNet。当前的媒体报道似乎对此也表示赞同。我深信，到 2021 年，这一点会被确认。

对报告的评论

接下来，我将按照幻灯片的顺序，就报告的调查结果以及与近期事件的一些联系提出我自己的看法。别忘了，这份报告是在 10 月份发布的。自那时起，发生了很多事情。

研究

（详见幻灯片第 10~62 页）

1. 只有 15% 的人工智能论文公布了它们的代码（幻灯片第 11 页）：我想知道计算机科学其他领域的百分比。此外，并非所有代码都同样重要。就代码而言，由已有组件组成的新架构的重要性不如全新的实现重要。一个新颖的损耗或优化器函数可以做到像嵌入的代码片段一样短。总而言之，我同意人工智能并不像我们想象的那么开放，但相对于计算机科学的其他领域，还是相当开放的。

2. 在行业中，PyTorch 将超越 TensorFlow（幻灯片第 13、14 页）：尽管我相信这是真的，但数据却有误导性。只有 30% 的论文说明了它们的框架。许多人可能仍然被 TensorFlow 所束缚。此外，我觉得奇怪的是，Keras 的数据居然没有显示（幻灯片第 14 页）。

3. 人工智能竞赛是令人难以置信的资源密集型工作（幻灯片第 16~24 页）: 最近，Timnit Gebru 被 Google 解雇了，原因是她的论文草稿列出了用于训练大型语言模型的资金和生态成本。据她的论文说，一个在 NAS 上训练的 2 亿个参数的 Transformer 的成本约为 100 万美元。GPT-3 号称有 1750 亿个参数。这个数字对地球来说没什么好处。

4. 这场军备竞赛不会把我们引向任何地方（幻灯片第 16~24 页）: 在我看来，争夺自然语言处理方面的突破的竞赛根本不会带来真正的突破。GPT-3 几乎就是打了类固醇的 GPT-2。考虑到上面提到的 Microsoft DeepSpeed，我们将继续看到媒体中臃肿的模型的流行，并且从这些努力中不能得到有意义的理解。

5. 大学是不是跟不上了呢？（幻灯片第 22 页）: 没有一个人工智能部门能够跟上大科技发展的步伐。大学需要玩一种不同的游戏。小型化的模型研究可以带来同样多的性能，但成本却是指数级的。而目前对高效学习方面的研究主要集中于企业。比如，MobileNet/EfficientDet 属于 Google，而 ShuffleNet 属于 Face++。

6. Transformer 非常棒（幻灯片第 29 页）：这些模型都是基于注意力机制的，众所周知，注意力机制需要大量的能量和资源，因为给定 N 个元素序列，则为 N²。高效的注意力是一个热门话题，但目前还没有任何解决方案被宣布成功。上述大多数人工智能成本都可以追溯到这一机制。

7. 生物学正经历着它的“人工智能时刻”（幻灯片第 30 页）: 这是理所当然的。借助 AlphaFold2，我们可能会在这十年内看到生物学上的重大突破，就像我们在 2010 年代看到的 AlexNet 和计算机视觉一样。

8. 基于人工智能的筛查乳腺摄影（幻灯片第 34 页）: 这篇文章颇受争议。它声称其性能超过人类，但缺乏可解释性，并且至今没有发布代码或数据集以供第三方检查和复制。这篇备受关注的文章引发了全球研究人员的热烈反应，他们联合发表了一篇题为《人工智能研究中透明性和可再现性的重要性》（The importance of transparency and reproducibility in artificial intelligence research）的文章。作为一个社区，我们必须努力打破人工智能在准确度上的愚蠢竞争。医生怎么能相信黑盒算法？

人才

（详见幻灯片第 63~81 页）

1. 人才大流失（幻灯片第 64 页）：尽管这是关于人工智能和 2020 年的问题，但我不能不提到这种观点是多么以美国为中心。提及的大学都是美国的。人才一直在流动，尤其是从发展中国家向发达国家流动。只是这次大学相当于“穷国”，公司相当于“富国”。

2. 离职与创业精神的减少有关（幻灯片第 66 页）：我认为，这两者之间的联系不大。公司在市场中充裕，但人才不足：这对更多的公司来说是个糟糕的环境。幻灯片第 73 对此观点表示认同，因为大多数博士都是外国人，而外国人更愿意加入一家大公司，而不是自己创业。

3. 在 NeurIPS 中受过中国教育的研究者的贡献（幻灯片第 70 页）：与中国成为人工智能领导者的计划有关。

4. 大多数在美国工作的顶尖人工智能研究者并没有在美国接受教育（幻灯片第 71~75 页）。这些幻灯片揭示了一个简单的事实：美国高度依赖外国人才。大多数学生到美国读博士，然后留在科技公司工作。排外主义的法律不利于美国。尽管如此……

5. 特朗普与美国作对（幻灯片第 76 页）：特朗普试图将移民拒之门外，但他没有得逞，但毫无疑问地提高了人们对美国依赖外国人才的认识。其他寻求人工智能优势的国家可能会抓住这样的机会，将人才吸引到自己的大学。

行业

（详见幻灯片第 82~129 页）

1. 人工智能优先的药物发现（幻灯片第 83~92 页）：显然，制药业的投资很可能会比所有的钱都投入到自动驾驶汽车中更快获利。况且，更好的药物和更高的疾病覆盖率，很可能比自动驾驶汽车对人类更有利。

2. 自动驾驶汽车尚处于起步阶段（幻灯片第 93~96 页）：目前立法还为时尚早，而且世界范围内还远远没有实施。假如今天推出一台完美无瑕的自动驾驶汽车，那么它将会在几乎所有地方被禁止，或者需要至少有一名司机。

3. 即便 10 亿美元也不够用（幻灯片第 97~106 页）: 未来还会有更多的资金投入，但仍然不够。自动驾驶汽车是一个时间问题，与金钱无关。人工智能还不够成熟，我们的法律对此也没有做好准备。目前的视觉研究忽略了我们的世界是连贯的。我们不需要通过单个图像来检测路标。我们需要对多帧的结果进行更好的聚合。IMHO，这家公司只是在激光雷达和死胡同监督问题上砸钱。

4. 计算进展（幻灯片第 107~111 页）：新颖的硬件总是很好的。但是，我不知道这个技术栈的其他部分能否跟上。大数据集 + 大计算的一个问题是如何及时准备好下一批数据。计算速度越快（也越大），就越难按要求的速度（+ 数据增强）获取训练数据。

政策

（详见幻灯片第 130~170 页）

1. 道德风险（幻灯片第 131 页）：这需要特别关注。Timnit Gebru 最近被解雇一事，凸显出整个行业在对待道德方面存在错误。要求大的人工智能科技公司领导人工智能伦理研究，就像要求石油公司领导应对全球变暖一样。她的解雇表明，只要不损害企业的商业模式，企业就会发挥自己的作用。这不应该是什么奇怪的事情。考虑到美国大学与企业融资的关系如此密切，所以很难指望他们接招。

2. 人脸识别是一个重大问题（幻灯片第 132~140 页）：当前的法律是从人到人设计的。它如何能推广到一个可以潜在地识别人群中所有个体的系统？我们是否享有匿名权、不被识别的权利？到什么程度？是否应该封杀企业，但允许执法？从某种意义上说，这与超级英雄是有相似之处的。我们的法律如何适用于超人或闪电侠？难道我们真的能期望针对普通人的法则对超人的能力也一样适用吗？

3. 语音和文本呢？（幻灯片第 132~140 页）：人脸识别涉及到我们的存在，但我们在手机上所说的一切又如何呢？我们所说的一切都可能被处理、监控和曲解。通过关于人脸的法律，而忽略其他媒体，无异于忽略了房间里的大象：我们所做的一切都会被监控。

4. 人工智能民族主义（幻灯片第 161~167 页）：大多数发达国家意识到人工智能及其对生存的威胁。人工智能至高无上很容易转化为军事和经济上的优势，影响主权。中国显然走在了前面，因为中国在人工智能领域的领导地位上已经努力了很长一段时间，并在人才方面进行了大规模的投资。如上所述，我认为，中国吸引外国人才离开美国是迟早的事。印度也是如此。

人工智能正处于有史以来的最高水平，从来没有像现在这么好过。从来没有过如此多的论文，Alpha、Former、muppet。在消融研究中很容易沉浸于自己，而忽略了其他可以看到的东西。除了准确性之外，模型还应该是经济的、包容的、可解释的。仅仅为了准确性而牺牲这些特性是自恋的做法。除了作者，它对任何人都没有帮助。高精度是第一步，而不是最后一步。

此外，人工智能也不是一种自然资源。它不属于一个国家，也不属于一块土地：计算也是如此。争夺人工智能霸主地位的竞赛不同于其他地缘政治斗争。它是一场由计算硬件和操作硬件的大脑驱动的智力竞赛，以及人才流动。

作者介绍：

Ygor Rebouças Serpa，人工智能领域的资深作家，致力于医学影像、动作识别和游戏开发。

原文链接：

https://towardsdatascience.com/the-state-of-ai-in-2020-f0d38740e749