深度学习是否被大肆宣传

深度学习研究领域是否存在过分夸大的现象？如何看待媒体界和公众对深度学习的误解？

本文最初发表在 TechTalks 网站，经原作者 Ben Dickson 授权，InfoQ 中文站翻译并分享。*

本文系“Demystifying AI”（《揭开人工智能神秘面纱》）的一部分，这一系列文章旨在消除有关人工智能的术语和神话的歧义。

2012 年前后，多伦多大学的研究人员首次使用深度学习在 ImageNet （流行的计算机图像识别竞赛）获胜，以较大的优势击败了当时最好的技术。对于从事人工智能行业的人来说，这是一件大事，因为计算机视觉，即让计算机理解图像背景的学科，是人工智能最具挑战性的领域之一。

很自然的，就像其他能够产生巨大影响的技术一样，深度学习成了炒作周期的焦点。随后，深度学习作为人工智能行业的最新革命被推到了聚光灯下，不同的公司和组织开始应用它来解决不同的问题（或者假装应用它）。许多公司开始用深度学习和先进的人工智能重新定义他们的产品和服务。而其他人则试图利用深度学习来解决超出其范围的问题。

与此同时，媒体机构经常撰写一些关于人工智能和深度学习的报道，但这些报道其实都是讹以传讹，是由那些对这项技术的工作原理没有正确理解的人们写的。而其他一些知名度较低的媒体则利用关于人工智能的耸人听闻的标题吸引读者来点击、阅读，从而实现广告利润最大化。这些都促成了围绕深度学习的大肆炒作。

就像其他被大肆宣传的概念一样，深度学习也面临着强烈抵制。6 年后，许多专家认为深度学习被过分夸大了，它最终将消退，并可能导致另一场人工智能冬天，在这个时期，对人工智能的兴趣和投资将大幅下降。

其他知名专家也承认，深度学习已经遭遇瓶颈， 其中就包括一些深度学习的先驱者，他们参与了该领域的一些最重要的成就。

但根据著名数据科学家、深度学习研究者 Jeremy Howard 的说法，“深度学习被过度夸大”的说法有点言过其实。Howard 是 fast.ai 的创始人，他有许多教授人工智能的经验，为那些计算机科学背景不是很深的人们教授人工智能。

今年早些时候，Howard 在 USENIX Enigma 顶会发表的演讲中，驳斥了许多反对深度学习的观点。整个视频很好地阐明了深度学习到底能做什么，不能做什么，并帮助人们清楚地了解对这一领域的期待。

下面是 Howard 澄清的几个关键误区。

深度学习只是一种时尚，明年就会成为另一回事了

很多人认为，深度学习是凭空冒出来的，就像它出现的速度一样，很快就将会消失。

Howard 解释说：“你们今天在深度学习看到的实际上是几十年来研究的结果。而这些几十年来的研究最终达到了真正能够给出最先进结果的地步。”

作为深度学习算法的主要组成部分，人工神经网络的概念已经存在了几十年。第一个神经网络可以追溯到 20 世纪 50 年代。

"Mark I 感知器是 1957 年首次实现的神经网络（图片来源：Wikipedia）

但正是由于数十年的研究，以及最近几年数据和计算资源的可用性，深度学习的概念才走出实验室，步入实际领域。

Howard 说：“在做了这么多的工作之后，人们才终于达到了深度学习真正好用的程度。你应该期待看到它的继续改进，而不是消失。”

深度学习和机器学习是一回事

公平地说，有些人有时会有意无意地使用过多的术语来定义不同的人工智能技术。而人工智能词汇的滥用和误用，也导致了人们对这个行业的困惑和怀疑。有人说，深度学习只不过是机器学习的另一个名称而已；而其他人则将它与其他人工智能技术，如支持向量机（SVM）、随机森林和逻辑回归等相提并论。

但深度学习和机器学习并不是一回事。深度学习是机器学习的子集。一般来说，机器学习适用于所有基于训练数据的数学模型和行为规则的技术。机器学习技术已经使用了很长时间。但深度学习远比同类技术优越。

在深度学习问世之前，科学家们不得不投入大量的艰苦工作来编程“特征”或模块，这些特征或模块可以执行模型想要执行的任务的较小部分。例如，你想创建一个能够检测猫咪图像的人工智能模型，你就必须编写较小的程序来检测猫的特征，如耳朵、尾巴、鼻子、皮毛等。你还得把这些程序设计得足够强大，才能从不同的角度、不同光照条件下检测到这些特征，并辨别出不同种类的猫咪。然后，你必须在这些特征的基础上进行机器学习。

如果你想解决一个更复杂的问题，比如，从核磁共振扫描中发现乳腺癌，那么创建特征将变得更具挑战性。“你会有几十个领域专家与几十个计算机程序员和数学家一起工作，提出有关这些特征的想法，并对它们进行编程。”Howard 说，“然后，你会让他们通过一个经典的机器学习模型，比如逻辑回归。这项努力实际上将需要花费多年的时间。”

经典的机器学习方法涉及许多复杂的步骤，需要几十个领域专家、数学家和程序员的合作。

而深度学习则是用神经网络取代了艰巨的经典机器学习的过程。Howard 将神经网络描述为一种“无限灵活的功能”，这意味着神经网络可以应用于大多数人们用机器学习解决的问题，而无需进行所有以前必须做的领域特定特征工程。

要调整神经网络来解决特定问题，你需要对它的参数进行调整。要做到这一点，深度学习使用了“梯度下降”，这是一种多用途的优化算法，它将神经网络的参数拟合到它要解决的问题上。

最后，深度学习利用了近年来出现的 GPU 和专用硬件的强大能力，以相当快和可扩展的方式执行这些任务。

Howard 说，“只是在过去的几年里，这三样东西才结合在一起，让我们能够真正使用神经网络获得最先进的结果。”

因此，与之前的机器学习方法所涉及的专业知识密集型且容易出错的过程不同，深度学习使你能够提供样本数据（例如标记为猫咪的图片、标记为癌症或非癌症的核磁共振扫描等等），并使用梯度下降法来训练神经网络。神经网络对这些数据样本进行比较并寻找共同的模式，学习应用同样的知识对它以前从未见过的新数据样本进行分类，

这种方法使深度学习成为过去几年最流行的人工智能技术，并引发了使用深度学习的应用的爆炸性增长。

深度学习只适用于图像识别

尽管人们承认深度学习是一种非常有用的人工智能技术，但很多批评者抱怨它的用途仅限于解决涉及图像分类的问题。

“图像识别实际上非常重要。”Howard 说。几年前，Howard 和一组研究人员训练了一个深度神经网络，对肺部进行 CT 扫描，并创建了一种算法，可以检测出恶性癌症肿瘤，与四名人类放射科医生组成的小组相比，它检测的假阳性和阴性率更低。

Howard 还指出，很多问题都可以重新定义为图像识别问题。例如，在中国围棋竞赛中击败世界冠军的深度学习算法 AlphaGo，其实就是一个图像识别卷积神经网络（CNN）。

“具体来说，AlphaGo 所做的是，它观察了许多在实际人类竞赛中下过的围棋棋盘的例子。基本上，他们最后做了一个图像识别神经网络，他们试图学习的东西不是‘这张照片是猫咪还是狗子’，而是‘这张白子赢还是黑子赢的围棋棋盘图片’。他们最终得出的结果是，可以通过查看棋盘来预测赢家。”

这种方法是 AlphaGo 和许多其他人工智能算法成功的关键，这些算法已经掌握了不同的棋盘和视频游戏。

关键是，很多问题都可以转化为图像识别问题，并用深度学习来解决。例如，Howard 的深度学习课程的一名学生创建了一个神经网络，该网络在代表鼠标移动和点击的图像上进行了训练。“在这个案例中，他创建了一个卷积神经网络，一个图像识别程序，试图根据这些图片来预测欺诈行为。”Howard 说。

深度学习可以将鼠标移动和点击的视觉表示转化为欺诈检测应用。

也就是说，深度学习也证明了它的价值超出了计算机视觉和图像识别领域。

Howard 指出，深度学习现在也适用于大多数自然语言处理（NLP）问题。这包括机器翻译和文本摘要等领域，NLP 也是一个关键组件，可以让 Siri、Alexa 和 Cortana 等人工智能助手能够理解你的命令。需要明确的是，深度学习对人类语言的掌握有明显的局限性。

深度学习还可以解决涉及结构化数据的问题，例如电子表格中的行和列。比如，你可以为神经网络提供一组表示金融交易及其结果（欺诈或正常），并训练它预测欺诈交易。

Howard 指出，深度学习还可以应用于时间序列和信号问题，比如，连接到网络的不同 IP 地址的时间顺序或随时间收集的传感器数据。

深度学习的痛点

但更重要的是，Howard 也指出了一些深度学习成效有限的领域。这些领域包括强化学习、对抗模型和异常检测。

一些专家认为，强化学习是当前人工智能的“圣杯”。强化学习虽然涉及到开发人工智能模型，但无需向它们提供大量的标记数据。在强化学习中，为模型提供问题域的约束，并让它开发自己的行为规则。AlphaGo Zero，是 AlphaGo 的高级版本，就使用了强化学习从头开始训练自己，并超越了它的前身。虽然深度强化学习是人工智能研究中比较有趣的领域之一，但它在解决现实问题方面的成功仍然有限。Google Brain AI 研究员 Alex Irpan 发表了一篇文章，阐述了深度强化学习的局限性。

对抗模型是 Howard 在视频中提到的第二个领域，是深度学习的另一个痛点。对抗样本是操纵输入可以导致神经网络以不合理的方式运行的样本。在许多论文中，研究人员展示了对抗样本如何变成程对人工智能模型的攻击。

已经有一些努力来对深度学习模型进行加固，以抵御对抗攻击，但到目前为止，取得的成功有限。部分挑战源于神经网络非常复杂且难以解释的事实。

异常检测，是 Howard 在视频中提到的深度学习的第三个痛点，也是非常具有挑战性的。一般的概念是根据基线数据训练神经网络，并让它决定偏离基线的行为。这是将人工智能应用于网络安全的主要方法之一。一些公司正在探索这一概念。然而，它仍然不能将自己确立为一个非常可靠的方法来应对安全威胁。

深度学习不可用，因为它是一个黑盒子

这是一个真正令人担忧的问题，尤其是在医疗保健、自动驾驶汽车和刑事司法等领域。那些想让深度学习代替自己做决定的人需要知道是什么驱使它们做出这些决定。不幸的是，当你训练神经网络来执行任务时，你所获得的的性能优势是以牺牲你在决策过程中所获得的可见性为代价的。这就是什么深度学习通常被称为“黑盒子”。

但在解释人工智能决策以及帮助工程师和最终用户理解影响神经网络输出的因素方面，也有许多有趣的尝试。

Howard 说，“理解深度学习模型的方法是，你可以使用所有这些可解释的机器学习技术来观察黑盒子的内部。”

深度学习需要大量数据

人们普遍认为，要创建一种新的深度学习模型，你需要访问数以百万计、数十亿计的带标签的样本，这就是为什么只有大型科技公司才能访问它。

Howard 说：“你需要大量数据的说法通常是不正确的，因为大多数人在实践中，用的是迁移学习。”

一般来说，迁移学习是机器学习中的一门学科，通过训练一个模型获得的知识迁移到另一个执行相似任务的模型中。与人类如何将知识从一个领域迁移到另一个领域相比，这是非常原始的。但是，迁移学习在深度学习领域中是一个非常有用的工具，因为它使开发人员能够用更少的数据创建新的模型。

Howard 解释说：“你可以从预训练神经网络开始，这个网络可能是别人预先训练好的，然后你为特定任务微调权重。”他进一步说：“一般来说，如果你有 1000 个样本的话，你应该能够开发出一个不错的神经网络。”

需要博士学位才能搞深度学习

深度学习是计算机科学中一个非常复杂的领域，它涉及到很多高级数学概念。但在过去的几年里，人们已经创造了大量的工具和库，这些工具和库可以抽象出潜在的复杂性，使你能够开发深度学习模型，而无需过多涉及数学概念。

Fast.ai 和 Keras 是两个现成的库，可用于快速开发深度学习应用程序。此外，还有很多在线课程，包括 Howard 的 fast.ai、Coursera 和其他一些课程，这些课程可以让你开始深度学习，而不要什么编程知识，也不需要计算机科学学位。许多有计算机科学以外背景的人已经能够将这些课程应用于现实问题。

需要明确的是，深度学习研究仍然是一个非常先进和复杂的领域。人才既稀缺又昂贵。那些开发新的深度学习技术的人，是一些最令人垂涎、收入最高的研究人员。但这并不意味着其他人也需要同样的知识水平来应用这些研究项目的成果。

深度学习需要大量算力和 GPU

“你可能会担心，你需要一间装满 GPU（用于深度学习）的大房间。总的来说，事实并非如此。”Howard 说，“我现在看到的绝大多数成功结果都是通过一个 GPU 完成的。”

大型公司和组织中的研究项目需要大量的 GPU，比如，某个机械臂的训练用了 6144 块 CPU 和 8 块 GPU。

另一个例子是 OpenAI Five，这是一个人工智能模型，经过训练后，可以进行著名的 Dota 2 在线战斗竞技场视频游戏。OpenAI 的训练用了 128000 个 CPU 内核和 256 块 GPU。

然而，大多数实际问题都可以用单个 GPU 来解决。例如，你可以使用一个 GPU 来完成 Howard 的 fast.ai 课程。

一些总结性想法

我们了解了深度学习的范围和局限性，以及深度学习的机会和优势，因为它是我们这个时代最有影响力的技术之一。深度学习并没有被过分夸大，也许只是没有被公众很好地理解而已。

作者介绍：

Ben Dickson，软件工程师，也是 TechTalks 的创始人。撰写关于技术、商业和政治方面的文章。

原文链接：

https://bdtechtalks.com/2018/12/03/jeremy-howard-ai-deep-learning-myths/