写点什么

百度吴恩达:深度学习的前沿正转向高性能计算

  • 2015-05-14
  • 本文字数:2295 字

    阅读完需:约 8 分钟

近日,百度首席科学家吴恩达 (Andrew Ng) 博士和百度硅谷人工智能实验室主任亚当. 科茨(Adam Coates)博士,在知名美国社交新闻站点 Reddit 热门板块 AMA(Ask me anything) 与网友进行了一次热情的问答互动。网友们纷纷针对自己关心的问题与两位人工智能领域的大师展开交流,吴博士也对网友关心的很多问题阐述了自己的观点。本文由张天雷、黄立威整理。

深度学习的前沿正转向高性能计算

在对话中,吴博士谈到,计算能力的提升和可获得的数据的增加是深度学习的两个关键驱动因素。机器学习的很多进步都是受到计算能力和数据的驱动,吴博士认为深度学习的前沿正转移到高性能计算(HPC),这也是目前他们在百度的工作重心之一​​。吴博士认为在企业环境下建立新的HPC 技术以及访问大量的数据更加容易,驱使他选择与企业开展合作。同时,吴博士认为计算能力的提升并不是我们被动地等待而自然发生的。在两位专家从事深度学习的生涯中,有很多的成功得益于主动地追求可用的计算能力。例如,在2008 年,吴博士启动了他所认为的第一个CUDA / GPU 深度学习任务,并引领这个领域开始使用GPU。2011 年,吴博士创立并领导了谷歌深度学习小组(当时称为谷歌大脑),使用谷歌云扩展深度学习;这使得深度学习得以推向工业界。在2013 年,科茨博士等人建立了第一个HPC 式的深度学习系统,可扩展性提升了1-2 个数量级。目前在百度,吴博士的团队正在正利用HPC 技术,开发新一代的深度学习系统,HPC 为深度学习提供了一大助力。吴博士认为高性能计算和大数据的深度结合将为他们带来下一个深度学习的巨大进步,目前他们已经在语音识别方面取得的突破( http://bit.ly/deepspeech)。

另外,吴博士还谈到,50 年前,实际上是计算机科学理论推动着计算机科学实践的前进。例如,理论工作搞清楚了排序的复杂度是 O(n log n),早期,Don Knuth 关于计算机理论方面的一些著作,真正推动了计算机科学的进步。今天,一些领域中仍然是理论推动实践,如计算机安全:假如我们发现一个加密的漏洞,并发表一篇关于它的理论文章,这可能会导致全世界都根据你的理论更改自己的代码。但在机器学习领域,进步越来越受到一些实际的工作所驱动,而不是理论。

机器学习技术 VS 专业领域知识

在谈到面对一个专业领域内的具体问题什么技术更加重要,是机器学习的应用能力,还是对具体问题的领域知识?吴博士认为,解决不同问题需要的技术是不同的。但广泛地说,对于解决一个问题所需要的知识源于两个方面:

  1. 你身边的工程师所拥有的;
  2. 从数据自身所能够学习到的。

在某些领域(如计算机视觉,语音识别和自然语言处理),快速增加的数据意味着(2)是现在的主导力量,因此,领域知识和身边工程师的能力正变得越来越不那么重要。 5 年前,涉足计算机视觉和语音识别研究真的非常困难,因为需要你必须掌握很多的领域知识。但由于深度学习的兴起和数据的增加,学习门槛现在变得更容易、更低,因为解决问题的途径已经变为了机器学习 + 数据,工程师知道什么已经变得不那么关键了。吴博士认为现在的获胜方法越来越多的是使用差不多的领域知识,编写了一个学习算法,然后给它一大堆的数据,让算法从数据中得出答案。

为什么选择百度

当谈到为什么选择加入百度的时候。吴博士认为百度是一家非常出色的公司,百度研究院在很大程度上是一个全新的环境。百度投入了大量的精力进行员工发展,所以这里的人都在努力工作,并迅速地学习深度学习,HPC 等技术,他觉得这些东西为推动机器学习研究提供了最好的条件和可能性。

另外,吴博士也针对网友关心的几个问题提出了自己的看法。

  1. 从事机器学习是否需要一个高的学位。吴博士认为对于机器学习研究是否需要一个学位:答案是绝对不需要!一个博士学位是了解机器学习的一种很棒的途径。但是,许多顶尖的机器学习研究人员并没有一个博士学位。比如通过 Coursera 自主学习就是一种很好的方法。如果已经拥有的许多软件开发技巧,可以一直跟进 MOOCs,并使用免费的在线资源(如 deeplearning.stanford.edu/tutorial)。通过充分的自学足以在一个工业界的机器学习团队中获得一个好的位置。
  2. 概率方法在深度学习中的地位。吴博士谈到,在深度学习的初期,Hinton 开发了一些概率深度学习算法,如受限玻尔兹曼机,其使用对比散度算法进行训练。但是,这些模型实际上很复杂,而且计算归一化常数(划分函数)非常困难,导致实际上是采用复杂的 MCMC 和其他算法来进行训练。在接下来的几年中,研究人员意识到在大多数的情况下这种概率形式并没有提供任何优势,反而增加了复杂度。因此,几乎所有的深度学习算法都远离这种概率形式,改为使用计算确定的神经网络。(3)非监督学习的未来。吴博士认为虽然目前大部分成功的深度学习都是使用监督学习,但并不代表非监督学习在深度学习中没有作用,反而具有非常大的潜力,因为我们拥有的非标记数据比标记数据多得多,只是我们还没有找到很合适的非监督学习算法,因此非监督学习存在巨大的研究空间!

吴博士也谈到,自己经常在思考从事研究的意义在哪里。在百度,吴博士团队的目标是开发出过硬的人工智能技术,从而让数亿的互联网用户受益。随着时间的推移,吴博士愈加觉得应该更加具有战略眼光,虽然已经看到前面还有很多的路要走,不仅仅是写一篇论文,而是要铺好一条道路让团队的技术能够为更多的人受益。在这些日子里,这是让两位专家对于自己的工作真正保持热情的源泉!


感谢崔康对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-05-14 06:536428
用户头像

发布了 268 篇内容, 共 121.7 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

Java线程安全ReentrantLock

FunTester

Java 性能测试 线程安全 测试开发 FunTester

MVVM系列之一:Lifecycle,面试竟然被这31道Android基础题难倒了

android 程序员 移动开发

「元宇宙」赛道,除了脸书,微软也来了

WorkPlus

OkHttp 3,安卓移动开发大作业

android 程序员 移动开发

OkHttp 断点上传的“基操”(1),完美讲解内存缓存LruCache实现原理

android 程序员 移动开发

OkHttp流程分析,音视频编解码技术

android 程序员 移动开发

Gartner预测到2025年,将有一半的云数据中心部署具有人工智能功能的机器人

WorkPlus

MotionLayout_ 打开动画新世界大门 (part II)(1),kotlin框架

android 程序员 移动开发

MVVM系列之二:LiveData,android程序开发教程

android 程序员 移动开发

实验室信息系统的主要功能及作用

低代码小观

企业管理 管理系统 LIMS实验室信息管理系统 信息管理系统 实验室

分享 | 一文了解 PG PITR 即时恢复

RadonDB

数据库 postgresql RadonDB

🔥 DeepVideo 智能视频生产训练营火热报名中!

阿里云视频云

阿里云 媒体处理 智能视频 智能生产 视频云

Linux编程之权限系统与工具使用(二),一文详解

android 程序员 移动开发

MotionLayout_ 打开动画新世界大门 (part II),android插件化原理

android 程序员 移动开发

直呼内行!阿里大佬离职带出内网专属“高并发系统设计”学习笔记

编程 程序员 消息队列 高并发系统

springmvc的定时任务

小鲍侃java

11月日更

网易云信亮相 LiveVideoStackCon 2021,解构自研大规模传输网 WE-CAN

网易云信

通信云 传输协议

《黑客之道》干了一夜的kali Linux之Metasploit渗透测试框架的基本使用

学神来啦

Linux 运维 黑客 渗透 Metasploit

OKio源码分析(1)six sy007 情感导师,android面试题2019

android 程序员 移动开发

React Native Android 源码框架浅析(主流程及 Java 与 JS 双边通信)

android 程序员 移动开发

OkHttp 断点上传的“基操”,算法题+JVM

android 程序员 移动开发

OkHttp3源码详解之拦截器(四),计算机应届毕业生面试题

android 程序员 移动开发

Okhttp的缓存机制,原理讲解

android 程序员 移动开发

OOM问题原理解析(二),移动端开发技术

android 程序员 移动开发

毕业总结和毕业设计

cherrycheek

React Native Android混合开发实战教程(1),flutter瀑布流

android 程序员 移动开发

QQ音乐Android编译提速之路,腾讯T2大牛亲自讲解

android 程序员 移动开发

Tapdata 等40余家行业知名企业,应邀参与共建 NextArch Foundation

tapdata

数据库 数据融合

阿里大佬手写Docker学习笔记就这?也就是让我五体投地的水平罢了

Docker 编程 程序员

Native开发工具之CPU 和架构(三),学习Android开发的步骤,

android 程序员 移动开发

一站式智能化是采购数字化的大趋势

WorkPlus

百度吴恩达:深度学习的前沿正转向高性能计算_语言 & 开发_张天雷_InfoQ精选文章