飞天发布时刻:2024年 Forrester 公有云平台Wave™评估报告解读 了解详情
写点什么

Facebook 人工智能负责人 Yann LeCun 谈深度学习的局限性

  • 2015-07-01
  • 本文字数:2238 字

    阅读完需:约 7 分钟

6 月 7 日到 12 日,世界顶级的计算机视觉会议 CVPR 在美国波士顿召开,会议邀请了 Facebook 人工智能实验室主任、NYU 数据科学中心创始人、深度学习界的泰斗 Yann LeCun 做了题为“What’s Wrong with Deep Learning?”的主题报告。早在 20 世纪 80 年代末,Yann LeCun 就作为贝尔实验室的研究员开发出了卷积网络技术,并使用它大幅度提高了手写字符的识别能力,目前美国许多手写支票依然是采用他的方法在进行处理。上世纪末到本世纪初,当神经网络失宠,Yann LeCun 是少数几名一直坚持研究的科学家之一。他于 2003 年成为纽约大学教授,在 2013 年底加入 Facebook 负责新成立的人工智能实验室,并一直引领着深度学习的发展。

最近几年,深度学习在自然图像理解和语音识别等多个领域产生了深远的影响。2006 年,Geoffrey Hinton 提出了深度学习。受益于大数据的出现和大规模计算能力的提升,深度学习已然成为最活跃的计算机研究领域之一。深度学习的概念源于人工神经网络的研究。在Yann LeCun 的报告中,首先回顾了人工神经网络的发展,也介绍了人工神经网络方法在字符识别、目标对象检测、语义分割等领域所取得的成功应用,但同时,他更多的指出了深度学习所面临的诸多的局限性。

首先,缺乏理论支持。对于深度学习架构,存在一系列的疑问,卷积神经网络为什么是一个好的架构(事实上其存在梯度散射等缺点),深度学习的结构需要多少隐层,在一个大的卷积网络中到底需要多少有效的参数(很多权重相互之间似乎都存在冗余),随机梯度下降方法优化权重得到一个局部最优值。虽然深度学习在很多实际的应用中取得了突出的效果,但这些问题一直困扰着深度学习的研究人员。深度学习方法常常被视为黑盒,大多数的结论确认都由经验而非理论来确定。不管是为了构建更好的深度学习系统,还是为了提供更好的解释,深度学习都还需要更完善的理论支撑。

其次,缺乏推理能力。深度学习技术缺乏表达因果关系的手段,缺乏进行逻辑推理的方法。解决这个问题的一种典型方法是将深度学习与结构化预测相结合。目前几个带有结构化预测模块的增强的深度学习系统已经被提出来用于OCR,身体姿态检测,和语义分割等任务中。总的来说,更多新的思路应该被提出以应用于需要复杂推理的任务中。尽管深度学习和简单推理已经应用于语音和手写字识别很长一段时间了,我们仍需要在大的向量上使用新的范式来代替基于规则的字符表达式操作。最终,那些结合了复杂推理和表示学习的系统将为人工智能带来巨大的进步。

第三,缺乏短时记忆能力。人类的大脑有着惊人的记忆功能,我们不仅能够识别个体案例,更能分析输入信息之间的整体逻辑序列。这些信息序列富含有大量的内容,信息彼此间有着复杂的时间关联性。例如在自然语言理解的许多任务(例如问答系统)中需要一种方法来临时存储分隔的片段,正确解释视频中的事件并能够回答有关它的问题需要记住的视频中发生的事件的抽象表示。包括递归神经网络在内的深度学习系统,都不能很好地存储多个时间序列上的记忆。这使得研究人员提出在神经网络中增加独立的记忆模块,如LSTM,记忆网络(Memory Networks),神经图灵机(Neural Turing Machines),和Stack 增强RNN(stack-Augmented RNN)。虽然这些方法很有意思,也取得了一定的成果,但在未来仍需要更多的新的思路。

最后,缺乏执行无监督学习的能力。无监督学习在人类和动物的学习中占据主导地位,我们通过观察能够发现世界的内在结构,而不是被告知每一个客观事物的名称。有趣的是,在机器学习领域,神经网络的复兴恰恰是在无监督学习取得不断进度的2000s 中期,虽然无监督学习可以帮助特定的深度网络进行“预训练”,但最终绝大部分能够应用于实践的深度学习方法都是使用纯粹的有监督学习。这并不能代表非监督学习在深度学习中没有作用,反而具有非常大的潜力,因为我们拥有的非标记数据比标记数据多得多,只是我们还没有找到很合适的非监督学习算法,非监督学习在未来存在巨大的研究空间。毫无疑问,今后计算机视觉的进步有赖于在无监督学习上取得突破,尤其是对于视频的理解。

深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示。这些方法在许多方面都带来了显著的改善,包括最先进的语音识别、视觉对象识别、对象检测以及许多其它领域,例如药物发现和基因组学等。当深度学习在业界掀起一片繁荣景象的时候, Yann LeCun 的报告在最恰当的时候为我们指出了深度学习当前所面临的局限性,同时也为大量深度学习的从业人员指明了未来需要攻克的方向。

值得补充的是,为纪念人工智能提出 60 周年,《Nature》杂志在 2015 年 5 月 28 日专门开辟了一个“人工智能 + 机器人”专题,发表多篇相关论文,其中包括了 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 首次合作的综述性文章 “ Deep Learning ”。文章介绍了深度学习的基本原理和核心优势,最后谈到深度学习的未来方向:1)无监督学习;2)深度学习在机器视觉和自然语言理解上的突破;3)深度学习与复杂推理的结合。这也正好契合了 Yann LeCun 在报告中所谈到的深度学习所面临的局限性。

Yann LeCun 在 CVPR 2015 上关于深度学习局限性的报告见这里,你也可以在 Hacker News 上参与相关的讨论。


本文由黄立威、张天雷整理,感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-07-01 09:385063
用户头像

发布了 268 篇内容, 共 126.9 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

头部效应明显,中小厂商「闷赚」的 Dating 赛道

融云 RongCloud

社交 虚拟

华为云桌面,一站式云上数字化创作深度解读

IT科技苏辞

【JWT】jwt令牌研究

No8g攻城狮

JWT\ JWT

华为云桌面,为企业发展打造优质云办公环境

爱科技的水月

低成本、高效率!华为云桌面助力企业数字化转型

清欢科技

HTTP的状态码

穿过生命散发芬芳

HTTP 12月月更

Verilog模块例化

芯动大师

Verilog语法 Verilog例化模块 Verilog教程

2022-12-21:uifd/ui-for-docker是docker的web可视化工具。请问部署在k3s中,yaml文件如何写?

福大大架构师每日一题

Docker 云原生 k8s k3s 福大大

华为云桌面之下的“冰山”:技术底座x繁荣生态加速模式进化

IT科技苏辞

网络安全实战之植入后门程序

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

数字云办公连续7年领跑,华为云桌面优势突显!

科技之光

数字化办公?选云桌面就对了!

科技之光

华为云会议,助力企业高效办公

秃头也爱科技

【Spring专题】「开发指南」夯实实战基础功底之解读logback-spring.xml文件的详解实现

码界西柚

spring logback 12月日更 12 月 PK 榜

自动化测试技术笔记(三):如何编写技术方案

老张

自动化测试 技术方案

华为云会议——安全得多,高效得很

秃头也爱科技

华为云会议,让会议更智能

秃头也爱科技

华为云桌面协同办公,助力建筑行业数字化转型

爱科技的水月

华为云桌面远程办公,真香!

爱科技的水月

随时随地一键开会,华为云会议大幅提升用户开会体验

i生活i科技

云上办公,且看华为云桌面如何加速企业数字化发展之路?

科技之光

mysql数据库运维常用的shell脚本

@下一站

12月日更 12月月更

华为云桌面为企业数字化发展赋能强劲动力

爱科技的水月

对比PyTorch、TensorFlow、JAX、Theano,我发现都在关注两大问题

OneFlow

人工智能 深度学习 函数转换

华为云会议,更专业“会”更好

秃头也爱科技

阿里云香港节点全面故障给我们的启示

laofo

DevOps 研发效能 DevOps工具

我在编码过程使用Jenkins自动化的姿势

大东(AIP内容运营专员)

华为云桌面Workspace,如何为用户开启全新办公模式?

爱科技的水月

华为云桌面,开启云上高效办公之旅!

清欢科技

云办公成趋势,华为云桌面全方位保障企业安全

科技之光

云上办公,还得是华为云桌面的一站式云上工作站

科技之光

Facebook人工智能负责人Yann LeCun谈深度学习的局限性_语言 & 开发_张天雷_InfoQ精选文章