独家专访高通副总裁Max Welling教授：领会因果关系才能泛化智能

本文为 Robin.ly 授权转载，文章版权归原作者所有，转载请联系原作者。

Robin.ly 在 NeurIPS2019 现场特邀阿姆斯特丹大学机器学习研究主席、高通荷兰公司技术副总裁 Max Welling，分享他六篇被收录的论文亮点，以及他对分布式机器学习、边缘计算以及欧美在 AI 研究之间差异的独到见解。

Max Welling 教授（左）在 NeurIPS 2019 大会接受 Robin.ly 专访

Welling 教授在机器学习、计算机视觉、深度学习、贝叶斯推理、生成建模和图卷积网络方面发表了 300 多篇同行评审文章。他曾在乌得勒支大学（Utrecht University）诺贝尔奖获得者 Gerard’t Hooft 的指导下获得了量子物理学博士学位。

他同时也是欧洲学习和智能系统研究机构（European Laboratory for Learning and Intelligent Systems, ELLIS）的董事会成员之一。ELLIS 受加拿大高级研究院（CIFAR）启发，旨在吸引和留住欧洲顶级 AI 人才，并提高欧洲作者对 AI 研究的影响。在 2019 温哥华 NeurIPS 会议上，ELLIS 还与 CIFAR 的“机器与大脑学习”计划签署了意向书，该计划由深度学习先驱 Yoshua Bengio 和 Yann LeCun 共同执导。

从左到右：Yoshua Bengio、Bernhard Schoelkopf、Nuria Olivier、Matthias Bethge、Max Welling、Sami Kaski、Sepp Hochreiter 以及 Yann LeCun。来源：ELLIS

以下为完整访谈视频：

http://mpvideo.qpic.cn/0b78qaaamaaalaacg4cd7npfbagda2aaabqa.f10002.mp4?dis_k=a1e476ffc7e23bf7eefba947301b2b37&dis_t=1582697054

1 NeurIPS 2019 的论文亮点

Margaret Laffan: Welling 教授，今年您有六篇论文已经被 NeurIPS 收录。能不能跟我们介绍一下其中的亮点？

Max Welling:

说实话，很难取舍。不过我想强调其中两篇论文，它们的主题比较相似。其中一篇曾经在快速 MRI 竞赛中获胜，该竞赛的目的是利用更少的观察次数来预测高分辨率的 MRI 图像，可以显著缩短患者在 MRI 机器中的停留时间，从而降低成本。更令人兴奋的是，现在也有可以实时成像的 MRI 机器，能够同时进行放射治疗，例如癌症。我们希望拥有一个能够随着患者呼吸而移动的系统，实现精确打击目标组织，而不会误伤健康组织。我们带着这个目的参加了比赛，目标是将 MRI 图像的重建速度提高八倍。相关论文题目是《Invertible Recurrent Inference Machine》，其核心观点是在人们使用传统的压缩传感（不需要从其他数据中学习的另一种技术）之前，就使用深度学习技术进行重建。我们非常成功地使用了这一方法，在本次 NeurIPS 大会上也进行了详细介绍。

另一篇相关论文则试图应用这一理念来完成一项任务。目前有许多经典的工程解决方案，但效果暂时还达不到人们的期望，毕竟人类的想象力是有限的。但我们不能借此抛弃由人建立的模型，而是要使用深度学习来纠正其中的错误。我们也在另一篇论文中探讨了图形模型，并搞清了如何在这种情况下做到这一点。

MRI，来源：Wikimedia

2 机器学习领域的趋势

Margaret Laffan: 您在过去十年中观察到机器学习领域的趋势和挑战有哪些？

Max Welling:

就像其他任何领域一样，机器学习的很多概念和技术也经历了兴衰。一个领域的潮流通常会维持五到十年。我也从早期关注图形模型和独立成分分析开始，过渡到关注支持向量机、非参数方法、贝叶斯方法和非参数贝叶斯方法，再到深度学习。我认为这很好，因为我们一直在把重点放在新的、非常有前途的工具上，并且不断努力从中获得最大收益，再由后人不断完善。

3 边缘计算

Margaret Laffan: 您之前的初创公司 Cypher 在 2017 年被高通公司收购。边缘计算（edge computing）是一个很热门的话题，您对此有什么看法？使用边缘计算对成本有什么影响？

Max Welling:

我们身边的很多数据是以非常分散的方式收集的。我们未必希望与大公司实时分享所有数据，以换取他们的服务。我们可以利用联邦学习（Federated Learning）、分布式学习或边缘计算，将数据从云端转移到本地设备储存，并以分布式的方式训练模型而无需共享。如果必须在云端共享某些内容，我们会对数据进行干扰或执行类似的操作以保护隐私。除此之外，我们还要考虑延迟等其他的问题。比如在遇到紧急情况时，出于安全考虑，我们也要尽量进行本地操作以减少云可能造成的延迟。以上是使用边缘计算的两个比较主要的原因。我们希望围绕着可靠性，减少延迟和私密性进行大量数据的计算和存储。

说到成本，我认为边缘计算的扩展性很好。我更担心在云端运行庞大的神经网络的成本。因为人们普遍认为，神经网络越大越好，即投入的计算量越大，制作出的模型就越大，性能也就越好。但人们有时依旧对此类模型的可行性存在质疑。如果使用更复杂的模型，从企业的角度来讲，收益和投入不成正比，难以持续下去。因此，我们要想办法减小模型的规模，对其进行量化并降低精度，以便在更廉价的设备上运行。比如我们都有手机，与其在夜间把它放在插座上充电，能不能让它同时运行一个模型，一边进行计算，一边将电能转化为热能，顺便给房间供暖呢？这其中涉及到了非常有趣的协同作用。如果我们搭建了一批 GPU，分布在房间的各个角落进行计算，就构成了一个网络，可以通过在设备上进行计算来调节室温。所以我认为这是一个更具扩展性的模型。

边缘计算图示，来源：Wikimedia

4 学术研究和商业化的差距

Margaret Laffan: NeurIPS 代表了世界上最好的 AI 学术研究。自 2015 年以来，您一直在担任 NeurIPS 的董事会成员。您如何看待这个大会在过去四年中的演变？

Max Welling:

首先，这个会议的规模呈现了显著的增长，也发生了一些有趣的变化。去年，我们把会议名称从“ NIPS”，改成了“ NeurIPS”，因为旧的名称已经不适应社会的发展潮流和公众的认知。另外在今年，为了使会议更具包容性，很多少数群体也举办了自己的分会，例如 “Black in AI”，“Women in AI”，“LatinX in AI”以及“Queer in AI”，这是非常好的现象。所以我认为我们在过去一年中取得了很大的进步，包容性成为了 NeurIPS 一个重要的主题。

Margaret Laffan: 您认为当前的学术研究和商业化之间存在什么样的差距？

Max Welling:

学术研究和商业化的差距正在逐步缩小。我有一半的时间都在高通工作，也能够直接观察到，一天之内 arXiv 上的学术论文如何在研究人员和公司的努力下完成具体的实施。这是一种非常有效的机制，可以将学术界的研究成果转移到工业界。同时，工业界也在向学术界过渡。很多公司雇用了研究性人才，建立自己的研究实验室并提供论文和实验结果，更研发了 TensorFlow 和 PyTorch 等开源软件。同时，公司也像许多项目主席和董事会成员一样，参与组织会议。因此从某种意义上讲，大家都在用不同的方式贡献自己的力量。

5 欧美地区的学术差异

Margaret Laffan: 您在欧洲和北美都做过一段时间的 AI 研究。能否分享一下这两个地区做学术的差异和相似之处？

Max Welling:

这个问题很有意思。我认为研究领域存在两种模式，一个是盎格鲁·撒克逊模式（Anglo-Saxon model），一个是欧洲大陆模式。我认为英国采用的更接近盎格鲁·撒克逊模式，也就是说，助理教授可以建立自己的研究小组，并完全独立地发展这个小组，当然还要自己负责申请科研基金。我认为这是一个非常好的模型，为新的研究者提供了更多的自由。

采用欧洲大陆模式，更常见的是一个由副教授和助理教授组成的，具有某种金字塔结构的层次化模型。这样做的好处是团队成员可以更加团结一致，共同解决一个非常大的问题；缺点是会削弱新人的研究自由度。我认为，作为高级研究人员，倾听年轻人的声音非常重要，他们能够带来新的想法和研究方向，不应该受困于资深人士已有的研究领域。因此，从这个角度来说，我更喜欢盎格鲁-撒克逊模式。

阿姆斯特丹大学，来源：Wikimedia

6 2020 年 AI 和 深度学习的发展趋势

Margaret Laffan: 您认为在 2020 年，人工智能和深度学习领域的下一个主要趋势是什么？

Max Welling:

一个比较突出的领域是强化学习，这个领域近几年已经逐渐变得炙手可热。人们正在尝试构建强化学习算法，这些算法能够与现实世界互动，在新的条件和环境下也能很好地泛化，也就是我们所说的“通用人工智能”。

我还看到了一个明确的方向，但目前关注的人还不是很多，那就是人们正在使用对因果关系的研究来实现这一目标。如果我们获得了现实世界存在的因果结构，就会对现实世界有更多的了解，解决方案也能够更好地泛化。因此，我在这个领域看到了很多非常有前景的工作。

我认为让深度学习和机器学习技术更加节能会成为一种持续的趋势，这一点非常重要。因为摩尔定律已经达到极限，为了保持增长的步伐，我们必须进行某种创新。我们正在构建针对特定任务的专用芯片，而想要让所有芯片协同工作，我们还必须解决一系列有趣的挑战。（完）

本文转载自 Robinly 微信公众平台。

原文链接：

https://www.robinly.info/post/max-welling-university-amsterdam-qualcomm-distributed-machine-learning-neurips-2019