报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

Facebook 人工智能负责人 Yann LeCun 谈深度学习的局限性

  • 2015-07-01
  • 本文字数:2238 字

    阅读完需:约 7 分钟

6 月 7 日到 12 日,世界顶级的计算机视觉会议 CVPR 在美国波士顿召开,会议邀请了 Facebook 人工智能实验室主任、NYU 数据科学中心创始人、深度学习界的泰斗 Yann LeCun 做了题为“What’s Wrong with Deep Learning?”的主题报告。早在 20 世纪 80 年代末,Yann LeCun 就作为贝尔实验室的研究员开发出了卷积网络技术,并使用它大幅度提高了手写字符的识别能力,目前美国许多手写支票依然是采用他的方法在进行处理。上世纪末到本世纪初,当神经网络失宠,Yann LeCun 是少数几名一直坚持研究的科学家之一。他于 2003 年成为纽约大学教授,在 2013 年底加入 Facebook 负责新成立的人工智能实验室,并一直引领着深度学习的发展。

最近几年,深度学习在自然图像理解和语音识别等多个领域产生了深远的影响。2006 年,Geoffrey Hinton 提出了深度学习。受益于大数据的出现和大规模计算能力的提升,深度学习已然成为最活跃的计算机研究领域之一。深度学习的概念源于人工神经网络的研究。在Yann LeCun 的报告中,首先回顾了人工神经网络的发展,也介绍了人工神经网络方法在字符识别、目标对象检测、语义分割等领域所取得的成功应用,但同时,他更多的指出了深度学习所面临的诸多的局限性。

首先,缺乏理论支持。对于深度学习架构,存在一系列的疑问,卷积神经网络为什么是一个好的架构(事实上其存在梯度散射等缺点),深度学习的结构需要多少隐层,在一个大的卷积网络中到底需要多少有效的参数(很多权重相互之间似乎都存在冗余),随机梯度下降方法优化权重得到一个局部最优值。虽然深度学习在很多实际的应用中取得了突出的效果,但这些问题一直困扰着深度学习的研究人员。深度学习方法常常被视为黑盒,大多数的结论确认都由经验而非理论来确定。不管是为了构建更好的深度学习系统,还是为了提供更好的解释,深度学习都还需要更完善的理论支撑。

其次,缺乏推理能力。深度学习技术缺乏表达因果关系的手段,缺乏进行逻辑推理的方法。解决这个问题的一种典型方法是将深度学习与结构化预测相结合。目前几个带有结构化预测模块的增强的深度学习系统已经被提出来用于OCR,身体姿态检测,和语义分割等任务中。总的来说,更多新的思路应该被提出以应用于需要复杂推理的任务中。尽管深度学习和简单推理已经应用于语音和手写字识别很长一段时间了,我们仍需要在大的向量上使用新的范式来代替基于规则的字符表达式操作。最终,那些结合了复杂推理和表示学习的系统将为人工智能带来巨大的进步。

第三,缺乏短时记忆能力。人类的大脑有着惊人的记忆功能,我们不仅能够识别个体案例,更能分析输入信息之间的整体逻辑序列。这些信息序列富含有大量的内容,信息彼此间有着复杂的时间关联性。例如在自然语言理解的许多任务(例如问答系统)中需要一种方法来临时存储分隔的片段,正确解释视频中的事件并能够回答有关它的问题需要记住的视频中发生的事件的抽象表示。包括递归神经网络在内的深度学习系统,都不能很好地存储多个时间序列上的记忆。这使得研究人员提出在神经网络中增加独立的记忆模块,如LSTM,记忆网络(Memory Networks),神经图灵机(Neural Turing Machines),和Stack 增强RNN(stack-Augmented RNN)。虽然这些方法很有意思,也取得了一定的成果,但在未来仍需要更多的新的思路。

最后,缺乏执行无监督学习的能力。无监督学习在人类和动物的学习中占据主导地位,我们通过观察能够发现世界的内在结构,而不是被告知每一个客观事物的名称。有趣的是,在机器学习领域,神经网络的复兴恰恰是在无监督学习取得不断进度的2000s 中期,虽然无监督学习可以帮助特定的深度网络进行“预训练”,但最终绝大部分能够应用于实践的深度学习方法都是使用纯粹的有监督学习。这并不能代表非监督学习在深度学习中没有作用,反而具有非常大的潜力,因为我们拥有的非标记数据比标记数据多得多,只是我们还没有找到很合适的非监督学习算法,非监督学习在未来存在巨大的研究空间。毫无疑问,今后计算机视觉的进步有赖于在无监督学习上取得突破,尤其是对于视频的理解。

深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示。这些方法在许多方面都带来了显著的改善,包括最先进的语音识别、视觉对象识别、对象检测以及许多其它领域,例如药物发现和基因组学等。当深度学习在业界掀起一片繁荣景象的时候, Yann LeCun 的报告在最恰当的时候为我们指出了深度学习当前所面临的局限性,同时也为大量深度学习的从业人员指明了未来需要攻克的方向。

值得补充的是,为纪念人工智能提出 60 周年,《Nature》杂志在 2015 年 5 月 28 日专门开辟了一个“人工智能 + 机器人”专题,发表多篇相关论文,其中包括了 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 首次合作的综述性文章 “ Deep Learning ”。文章介绍了深度学习的基本原理和核心优势,最后谈到深度学习的未来方向:1)无监督学习;2)深度学习在机器视觉和自然语言理解上的突破;3)深度学习与复杂推理的结合。这也正好契合了 Yann LeCun 在报告中所谈到的深度学习所面临的局限性。

Yann LeCun 在 CVPR 2015 上关于深度学习局限性的报告见这里,你也可以在 Hacker News 上参与相关的讨论。


本文由黄立威、张天雷整理,感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-07-01 09:385071
用户头像

发布了 268 篇内容, 共 127.2 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

从前端开发角度理解如何与Substrate协作

彭亚伦

Substrate 波卡

【等级测评师】等级测评师怎么报名?多少分及格?

行云管家

等保 等保测评师 等级测评师

几个跨端开发神器

Geek_99967b

小程序 小程序容器

Substrate 跨链技术源码级探索: XCVM的概览

彭亚伦

Substrate 跨链技术 波卡

JS ES5也可以创建常量?🎃

德育处主任

JavaScript ES5 6月月更

观测云与 TDengine 达成深度合作,优化企业上云体验

TDengine

tdengine 物联网 观测云

智能自助洗车机洗车都有哪些优势

共享电单车厂家

自助洗车加盟 智能自助洗车机

实战|SpringBoot jpa调用MySQL存储过程

写程序的小王叔叔

SpringBoot 2 存储过程 Spring JPA 6月月更

互联网研发效能实践之去哪儿网(Qunar)核心领域DevOps落地实践

laofo

DevOps 研发效能 持续交付 研发管理工具 工程效率

图文并茂!手把手教你在VMware中的安装部署Linux-CentOS7.4

迷彩

Linux centos 开发 6月月更

为了使远程工作不受影响,我写了一个内部的聊天室 | 社区征文

云小梦

微信小程序 wepy 初夏征文

Substrate 源码追新导读: 修复BEEFY的gossip引擎内存泄漏问题, 智能合约删除队列优化

彭亚伦

Substrate 波卡

波卡跨链通信源码探秘: 要素篇

彭亚伦

Substrate 波卡

我的远程办公总结|社区征文

DS小龙哥

远程办公 初夏征文

大数据培训 | Flink专题面试

@零度

flink 大数据开发

一对一直播app开发时,如何使用Nginx安全?

开源直播系统源码

软件开发 直播系统 一对一直播 一对一直播源码 直播源码

《网络是怎么样连接的》读书笔记 - 汇总篇

懒时小窝

网络

24小时自助洗车让洗车更自由

共享电单车厂家

自助洗车加盟 24小时自助洗车

等级测评是什么意思?工作流程包含哪些?

行云管家

网络安全 等保 等保测评 等级测评

dart:字符串replace相关的方法

坚果

flutter dart 6月月更

数据安全合规之后,给风控团队带来了新的问题

博文视点Broadview

你的城市还没有自助洗车?赶紧开个

共享电单车厂家

自助洗车加盟 开自助洗车店

如何成为一名共享自助洗车合伙人

共享电单车厂家

共享自助洗车 自助洗车加盟 自助洗车合伙人

2022中国国潮发展新动向

易观分析

国潮消费

聊聊远程办公那些事儿 | 社区征文

joe

初夏征文

做自助洗车合伙人要投入多少

共享电单车厂家

自助洗车加盟 自助洗车合伙人

Mybatis省略@Param注解原理

吴明

MyBatis标签 6月月更

Hologres共享集群助力淘宝订阅极致精细化运营

阿里云大数据AI技术

sql 大数据 分布式计算 存储 数据可视化

大学生研究生毕业找工作,该选择哪个方向?

C++后台开发

后端开发 应届生 C++后台开发 研究生 C++开发

7 月 2 日邀你来TD Hero 线上发布会

TDengine

数据库 tdengine

更多龙蜥自研特性!生产可用的 Anolis OS 8.6 正式发布

OpenAnolis小助手

开源 操作系统 龙蜥社区 Anolis OS 8.6 版本发布

Facebook人工智能负责人Yann LeCun谈深度学习的局限性_语言 & 开发_张天雷_InfoQ精选文章