QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

百度吴恩达:深度学习的前沿正转向高性能计算

  • 2015-05-14
  • 本文字数:2295 字

    阅读完需:约 8 分钟

近日,百度首席科学家吴恩达 (Andrew Ng) 博士和百度硅谷人工智能实验室主任亚当. 科茨(Adam Coates)博士,在知名美国社交新闻站点 Reddit 热门板块 AMA(Ask me anything) 与网友进行了一次热情的问答互动。网友们纷纷针对自己关心的问题与两位人工智能领域的大师展开交流,吴博士也对网友关心的很多问题阐述了自己的观点。本文由张天雷、黄立威整理。

深度学习的前沿正转向高性能计算

在对话中,吴博士谈到,计算能力的提升和可获得的数据的增加是深度学习的两个关键驱动因素。机器学习的很多进步都是受到计算能力和数据的驱动,吴博士认为深度学习的前沿正转移到高性能计算(HPC),这也是目前他们在百度的工作重心之一​​。吴博士认为在企业环境下建立新的HPC 技术以及访问大量的数据更加容易,驱使他选择与企业开展合作。同时,吴博士认为计算能力的提升并不是我们被动地等待而自然发生的。在两位专家从事深度学习的生涯中,有很多的成功得益于主动地追求可用的计算能力。例如,在2008 年,吴博士启动了他所认为的第一个CUDA / GPU 深度学习任务,并引领这个领域开始使用GPU。2011 年,吴博士创立并领导了谷歌深度学习小组(当时称为谷歌大脑),使用谷歌云扩展深度学习;这使得深度学习得以推向工业界。在2013 年,科茨博士等人建立了第一个HPC 式的深度学习系统,可扩展性提升了1-2 个数量级。目前在百度,吴博士的团队正在正利用HPC 技术,开发新一代的深度学习系统,HPC 为深度学习提供了一大助力。吴博士认为高性能计算和大数据的深度结合将为他们带来下一个深度学习的巨大进步,目前他们已经在语音识别方面取得的突破( http://bit.ly/deepspeech)。

另外,吴博士还谈到,50 年前,实际上是计算机科学理论推动着计算机科学实践的前进。例如,理论工作搞清楚了排序的复杂度是 O(n log n),早期,Don Knuth 关于计算机理论方面的一些著作,真正推动了计算机科学的进步。今天,一些领域中仍然是理论推动实践,如计算机安全:假如我们发现一个加密的漏洞,并发表一篇关于它的理论文章,这可能会导致全世界都根据你的理论更改自己的代码。但在机器学习领域,进步越来越受到一些实际的工作所驱动,而不是理论。

机器学习技术 VS 专业领域知识

在谈到面对一个专业领域内的具体问题什么技术更加重要,是机器学习的应用能力,还是对具体问题的领域知识?吴博士认为,解决不同问题需要的技术是不同的。但广泛地说,对于解决一个问题所需要的知识源于两个方面:

  1. 你身边的工程师所拥有的;
  2. 从数据自身所能够学习到的。

在某些领域(如计算机视觉,语音识别和自然语言处理),快速增加的数据意味着(2)是现在的主导力量,因此,领域知识和身边工程师的能力正变得越来越不那么重要。 5 年前,涉足计算机视觉和语音识别研究真的非常困难,因为需要你必须掌握很多的领域知识。但由于深度学习的兴起和数据的增加,学习门槛现在变得更容易、更低,因为解决问题的途径已经变为了机器学习 + 数据,工程师知道什么已经变得不那么关键了。吴博士认为现在的获胜方法越来越多的是使用差不多的领域知识,编写了一个学习算法,然后给它一大堆的数据,让算法从数据中得出答案。

为什么选择百度

当谈到为什么选择加入百度的时候。吴博士认为百度是一家非常出色的公司,百度研究院在很大程度上是一个全新的环境。百度投入了大量的精力进行员工发展,所以这里的人都在努力工作,并迅速地学习深度学习,HPC 等技术,他觉得这些东西为推动机器学习研究提供了最好的条件和可能性。

另外,吴博士也针对网友关心的几个问题提出了自己的看法。

  1. 从事机器学习是否需要一个高的学位。吴博士认为对于机器学习研究是否需要一个学位:答案是绝对不需要!一个博士学位是了解机器学习的一种很棒的途径。但是,许多顶尖的机器学习研究人员并没有一个博士学位。比如通过 Coursera 自主学习就是一种很好的方法。如果已经拥有的许多软件开发技巧,可以一直跟进 MOOCs,并使用免费的在线资源(如 deeplearning.stanford.edu/tutorial)。通过充分的自学足以在一个工业界的机器学习团队中获得一个好的位置。
  2. 概率方法在深度学习中的地位。吴博士谈到,在深度学习的初期,Hinton 开发了一些概率深度学习算法,如受限玻尔兹曼机,其使用对比散度算法进行训练。但是,这些模型实际上很复杂,而且计算归一化常数(划分函数)非常困难,导致实际上是采用复杂的 MCMC 和其他算法来进行训练。在接下来的几年中,研究人员意识到在大多数的情况下这种概率形式并没有提供任何优势,反而增加了复杂度。因此,几乎所有的深度学习算法都远离这种概率形式,改为使用计算确定的神经网络。(3)非监督学习的未来。吴博士认为虽然目前大部分成功的深度学习都是使用监督学习,但并不代表非监督学习在深度学习中没有作用,反而具有非常大的潜力,因为我们拥有的非标记数据比标记数据多得多,只是我们还没有找到很合适的非监督学习算法,因此非监督学习存在巨大的研究空间!

吴博士也谈到,自己经常在思考从事研究的意义在哪里。在百度,吴博士团队的目标是开发出过硬的人工智能技术,从而让数亿的互联网用户受益。随着时间的推移,吴博士愈加觉得应该更加具有战略眼光,虽然已经看到前面还有很多的路要走,不仅仅是写一篇论文,而是要铺好一条道路让团队的技术能够为更多的人受益。在这些日子里,这是让两位专家对于自己的工作真正保持热情的源泉!


感谢崔康对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-05-14 06:536595
用户头像

发布了 268 篇内容, 共 127.2 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

Java基础——数据类型

守夜人st

9月月更

从静态、动态到全站,看阿里云“全站加速”的技术演进

阿里云CloudImagine

CDN 边缘计算 加速

java基础——运算符

守夜人st

9月月更

web技术分享| 虚拟列表实现

anyRTC开发者

Vue 前端 Web 音视频 虚拟列表

FreeRTOS记录(七、FreeRTOS信号量、事件标志组、邮箱和消息队列、任务通知的关系)

矜辰所致

FreeRTOS 9月月更 任务通知 事件标志组 邮箱和消息队列

Python基础(四) | 程序控制结构

timerring

Python. 9月月更

架构的核心要素

源字节1号

软件开发 前端开发 软件架构 后端开发

组装式App小程序化,加速企业效率式研发

Speedoooo

小程序 APP开发 组装式应用

小程序生态能否助力国产系统

Geek_99967b

小程序 小程序容器

TDengine 3.0 的 Update 有何区别?

TDengine

tdengine 时序数据库 企业号九月金秋榜

2022前端二面react面试题

Geek_07a724

前端 React

一文了解 Java 中的构造器

华为云开发者联盟

Java 开发 企业号九月金秋榜

Flink 侧流输出源码解析

JasonLee实时计算

flink 源码

Kubernetes 集群中日志采集的几种玩法

观测云

计算机网络——数据通信基础知识

StackOverflow

编程 计算机网络 9月月更

阿里双十一是怎么做全链路压测的?

程序员小毕

数据库 程序员 架构 面试 系统设计

给分库分表的 ShardingSphere 提了个PR,这Bug居然改了

Java全栈架构师

MySQL 数据库 程序员 面试 分布分表

基于lio-sam框架,教你如何进行回环检测及位姿计算

华为云开发者联盟

人工智能 企业号九月金秋榜

5分钟get一个技术点!揭秘一种加密框架的技术实现

Java-fenn

Java

Intel全新加速指令AMX技术介绍&eBPF在低版本内核如何跑起来?今天3点见 | 第45-46期

OpenAnolis小助手

芯片 ebpf intel 龙蜥大讲堂 amx

【开发者说】XstoryMaker快速书写剧本场景动画

HarmonyOS开发者

HarmonyOS

【FAQ】接入HMS Core广告服务中的常见问题总结和解决方法

HarmonyOS SDK

广告sdk

组装式应用小程序化,小程序容器技术必不可少

Speedoooo

小程序 小程序容器 组装式应用 组装式创新

MobPush iOS推送功能最佳实现推荐

MobTech袤博科技

ios 消息推送

理解virt、res、shr之间的关系(linux系统篇)

京东科技开发者

Linux 内存 系统 内存映射 Linux操作系统

京东前端二面高频react面试题

Geek_07a724

前端 React

两个优秀的分布式消息流平台:Kafka与Pulsar

博文视点Broadview

今天不写代码,聊聊热门的知识图谱

码农参上

人工智能 机器学习

Java——标识符、关键字和保留字

守夜人st

9月月更

华为云为网站安全搭建一道智能高效屏障

科技怪咖

敏捷发版:让灰度发布像commit一样简单

Speedoooo

小程序 灰度发布 小程序容器 A/B 测试

百度吴恩达:深度学习的前沿正转向高性能计算_语言 & 开发_张天雷_InfoQ精选文章