写点什么

百度吴恩达:深度学习的前沿正转向高性能计算

  • 2015-05-14
  • 本文字数:2295 字

    阅读完需:约 8 分钟

近日,百度首席科学家吴恩达 (Andrew Ng) 博士和百度硅谷人工智能实验室主任亚当. 科茨(Adam Coates)博士,在知名美国社交新闻站点 Reddit 热门板块 AMA(Ask me anything) 与网友进行了一次热情的问答互动。网友们纷纷针对自己关心的问题与两位人工智能领域的大师展开交流,吴博士也对网友关心的很多问题阐述了自己的观点。本文由张天雷、黄立威整理。

深度学习的前沿正转向高性能计算

在对话中,吴博士谈到,计算能力的提升和可获得的数据的增加是深度学习的两个关键驱动因素。机器学习的很多进步都是受到计算能力和数据的驱动,吴博士认为深度学习的前沿正转移到高性能计算(HPC),这也是目前他们在百度的工作重心之一​​。吴博士认为在企业环境下建立新的HPC 技术以及访问大量的数据更加容易,驱使他选择与企业开展合作。同时,吴博士认为计算能力的提升并不是我们被动地等待而自然发生的。在两位专家从事深度学习的生涯中,有很多的成功得益于主动地追求可用的计算能力。例如,在2008 年,吴博士启动了他所认为的第一个CUDA / GPU 深度学习任务,并引领这个领域开始使用GPU。2011 年,吴博士创立并领导了谷歌深度学习小组(当时称为谷歌大脑),使用谷歌云扩展深度学习;这使得深度学习得以推向工业界。在2013 年,科茨博士等人建立了第一个HPC 式的深度学习系统,可扩展性提升了1-2 个数量级。目前在百度,吴博士的团队正在正利用HPC 技术,开发新一代的深度学习系统,HPC 为深度学习提供了一大助力。吴博士认为高性能计算和大数据的深度结合将为他们带来下一个深度学习的巨大进步,目前他们已经在语音识别方面取得的突破( http://bit.ly/deepspeech)。

另外,吴博士还谈到,50 年前,实际上是计算机科学理论推动着计算机科学实践的前进。例如,理论工作搞清楚了排序的复杂度是 O(n log n),早期,Don Knuth 关于计算机理论方面的一些著作,真正推动了计算机科学的进步。今天,一些领域中仍然是理论推动实践,如计算机安全:假如我们发现一个加密的漏洞,并发表一篇关于它的理论文章,这可能会导致全世界都根据你的理论更改自己的代码。但在机器学习领域,进步越来越受到一些实际的工作所驱动,而不是理论。

机器学习技术 VS 专业领域知识

在谈到面对一个专业领域内的具体问题什么技术更加重要,是机器学习的应用能力,还是对具体问题的领域知识?吴博士认为,解决不同问题需要的技术是不同的。但广泛地说,对于解决一个问题所需要的知识源于两个方面:

  1. 你身边的工程师所拥有的;
  2. 从数据自身所能够学习到的。

在某些领域(如计算机视觉,语音识别和自然语言处理),快速增加的数据意味着(2)是现在的主导力量,因此,领域知识和身边工程师的能力正变得越来越不那么重要。 5 年前,涉足计算机视觉和语音识别研究真的非常困难,因为需要你必须掌握很多的领域知识。但由于深度学习的兴起和数据的增加,学习门槛现在变得更容易、更低,因为解决问题的途径已经变为了机器学习 + 数据,工程师知道什么已经变得不那么关键了。吴博士认为现在的获胜方法越来越多的是使用差不多的领域知识,编写了一个学习算法,然后给它一大堆的数据,让算法从数据中得出答案。

为什么选择百度

当谈到为什么选择加入百度的时候。吴博士认为百度是一家非常出色的公司,百度研究院在很大程度上是一个全新的环境。百度投入了大量的精力进行员工发展,所以这里的人都在努力工作,并迅速地学习深度学习,HPC 等技术,他觉得这些东西为推动机器学习研究提供了最好的条件和可能性。

另外,吴博士也针对网友关心的几个问题提出了自己的看法。

  1. 从事机器学习是否需要一个高的学位。吴博士认为对于机器学习研究是否需要一个学位:答案是绝对不需要!一个博士学位是了解机器学习的一种很棒的途径。但是,许多顶尖的机器学习研究人员并没有一个博士学位。比如通过 Coursera 自主学习就是一种很好的方法。如果已经拥有的许多软件开发技巧,可以一直跟进 MOOCs,并使用免费的在线资源(如 deeplearning.stanford.edu/tutorial)。通过充分的自学足以在一个工业界的机器学习团队中获得一个好的位置。
  2. 概率方法在深度学习中的地位。吴博士谈到,在深度学习的初期,Hinton 开发了一些概率深度学习算法,如受限玻尔兹曼机,其使用对比散度算法进行训练。但是,这些模型实际上很复杂,而且计算归一化常数(划分函数)非常困难,导致实际上是采用复杂的 MCMC 和其他算法来进行训练。在接下来的几年中,研究人员意识到在大多数的情况下这种概率形式并没有提供任何优势,反而增加了复杂度。因此,几乎所有的深度学习算法都远离这种概率形式,改为使用计算确定的神经网络。(3)非监督学习的未来。吴博士认为虽然目前大部分成功的深度学习都是使用监督学习,但并不代表非监督学习在深度学习中没有作用,反而具有非常大的潜力,因为我们拥有的非标记数据比标记数据多得多,只是我们还没有找到很合适的非监督学习算法,因此非监督学习存在巨大的研究空间!

吴博士也谈到,自己经常在思考从事研究的意义在哪里。在百度,吴博士团队的目标是开发出过硬的人工智能技术,从而让数亿的互联网用户受益。随着时间的推移,吴博士愈加觉得应该更加具有战略眼光,虽然已经看到前面还有很多的路要走,不仅仅是写一篇论文,而是要铺好一条道路让团队的技术能够为更多的人受益。在这些日子里,这是让两位专家对于自己的工作真正保持热情的源泉!


感谢崔康对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-05-14 06:536632
用户头像

发布了 268 篇内容, 共 128.3 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

华为云VPN为企业数据上云保驾护航

爱尚科技

轻松解决企业数据高延时,华为云全球加速GA使用更灵活!

科技之光

架构实战营模块四作业

张Dave

朋友圈的架构设计

lory(侯保国)

能够释放大量Mac内存空间的方法教程

茶色酒

CleanMyMac X CleanMyMac X2023

【深入浅出Sentinel原理及实战】「基础实战专题」零基础实现服务流量控制实战开发指南(2)

码界西柚

微服务 Alibaba Alibaba技术 1月日更 Sentinel 系统

在Windows绿色安装Go

独钓寒江

网络堵塞?华为云CDN为你带来一站式解决方案

i生活i科技

CDN

10 分钟带你一览 SOFAStack 的 2022!

SOFAStack

开源 云原生 中间件

耳东的2022 年度总结

耳东@Erdong

年度总结

华为云全球加速GA,赋能现代企业出海加速发展

科技之光

华为云全球加速GA的“加速”,你真的了解嘛?

科技之光

5个接口性能提升的通用技巧

JAVA旭阳

Java

《我有一个朋友》首集上线,曹操出行CEO讲述热爱经历

极客天地

外包学生管理系统架构设计

陈天境

从非洲到全球,看华为云连接CC如何助力出海企业更好发展

科技之光

华为云全球加速GA,敲开企业跨境业务的大门

科技之光

华为云双十一、双十二系列直播圆满收官,助力企业获数智化发展商机

i生活i科技

CDN

常见的Web安全攻击

穿过生命散发芬芳

HTTP 1月月更

华为云大数据BI赋能企业数字化发展

i生活i科技

国产 ETL 工具 etl-engine

weigeonlyyou

postgresql Prometheus Clickhouse MySQL 数据库 InfluxDB Cluster

架构训练营 模块五

张建闯

架构实战营

企业数字化转型?华为云CDN为你提供智能加速!

i生活i科技

CDN

红海竞争下,华为云CDN凭借什么冲出重围?

i生活i科技

CDN

架构训练营 模块六

张建闯

架构实战营

模块四-考试试卷存储方案

悟空

存储 考试

SCQA模型

李印

表达 讲故事能力

架构训练营 模块四

张建闯

架构实战营

Thanos 升级顺序分析

耳东@Erdong

Prometheus 版本 Thanos 升级迭代

2023-01-02:某天,小美在玩一款游戏,游戏开始时,有n台机器, 每台机器都有一个能量水平,分别为a1、a2、…、an, 小美每次操作可以选其中的一台机器,假设选的是第i台, 那小美可以将其变成

福大大架构师每日一题

算法 rust Solidity 福大大

LinearLayout(线性布局)

芯动大师

Android Studio android布局 LinearLayout weight属性

百度吴恩达:深度学习的前沿正转向高性能计算_语言 & 开发_张天雷_InfoQ精选文章