QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

对话机器学习大神 Michael Jordan:深度模型

  • 2014-09-24
  • 本文字数:2081 字

    阅读完需:约 7 分钟

Michael I. Jordan 教授是机器学习领域神经网络的大牛,他对深度学习、神经网络有着很浓厚的兴趣。然而,在提问中,有些机器学习爱好者认为神经网络是一种无聊的、深层次的、重复出现的计算机结构。对于这点,乔丹教授做出了反驳。

乔丹教授表示,他非常高兴机器学习在开始对真实世界的问题产生影响。乔丹的老朋友 Yann LeCun 也是人工智能尤其是深度学习领域最知名的学者之一,他研发了众所周知的卷积神经网络。乔丹对于他和他朋友的工作正在得到肯定、推广以及发扬关大感到非常荣幸。

乔丹教授相对于术语“神经网络”用法的重塑形象,更偏向于“深度学习”。在其他的工程领域里,利用流水线、流程图和分层体系结构来构建复杂系统的想法非常根深蒂固。而在机器学习的领域,尤其应该研究这些原则来构建系统。这个词“深”仅仅意味着——分层,乔丹教授深深的希望这个语言最终演变成如此简单的文字。他希望并期待看到更多的人开发使用其他类型模块、管道的体系结构,并不仅仅限制在“神经元”的层次。

神经科学——在接下来几百年的重大科学领域之一——我们仍然不是很了解在神经网络中想法是如何产生的,仍然看不到作为思想的主要产生器的神经科学,如何能够在细节上打造推理和决策系统。相比之下,计算机领域的一些假设,比如“并行是好的”或者“分层是好的”,已经足以支撑人们对大脑工作机制的理解。

乔丹教授补充举例道,在神经网络的早期他还是一个博士研究生,反向传播算法还没有被发现,重点在 Hebb 规则和其他的“神经合理”的算法,任何大脑不能做的事情都被避免了。他们需要变得很纯粹来发现人们思考的新形式。接着 Dave Rumelhart 开始探索反向传播算法——这显然是跳出于神经合理约束的——突然这个系统变得如此强大。这对他产生了很深刻的影响。这告诉我们,不要对主题和科学的模型强加人工的限制,因为我们仍然还不懂。

乔丹教授的理解是,许多“深度学习成功案例”涉及了监督学习(如反向传播算法)和大量的数据。涉及到大量线性度、光滑非线性以及随机梯度下降的分层结构似乎能够记住大量模式的数字,同时在模式之间插值非常光滑。此外,这种结构似乎能够放弃无关紧要的细节,特别是如果在合适的视觉领域加上权重分担。它还有一些总体上的优点总之是一个很有吸引力的组合。但是,这种组合并没有“神经”的感觉,尤其是需要大量的数据标签。

事实上,无监督学习一直被认为是圣杯。这大概是大脑擅长什么,和真正需要什么来建立真的“大脑启发式电脑”。但是在如何区分真正的进步和炒作上还存有困难。根据乔丹的理解,至少在视觉方面,非监督学习的想法并没有对最近的一些结果负责,很多都是机遇大量数据集的监督训练的结果。

接近非监督学习的一种方式是将好的“特征”或者“表示”的各种正式特点写下来,并且将他们与现实世界相关的各种假设捆绑在一起。这在神经网络文学上已经做了很久,在深度学习工作背景下的也做出了更多的工作。但是乔丹认为,要走的路是将那些正式的特征放进放进优化函数或者贝叶斯先验,并且制定程序来明确优化整合它们。这将是很困难的,这是一个持续的优化的问题。在一些近期的深度学习工作中,有一个不同的策略——使用自己喜欢的神经网络结构来分析一些数据,并且说“看,这表达了那些想要的、并没有包括进去的性质”。这是旧式的神经网络推理,它被认为仅仅是“神经”,仅仅包含了某种特殊的调料。这个逻辑是完全没有用的。

最后,乔丹教授谈到了哲学的层面,他认为神经网络是工具箱中重要工具之一。但当他被业界咨询的时候,却很少提到那种工具。工业界里人往往期望解决一系列的问题,通常不涉及上文所说的神经网络的“模式识别”的问题。比如说如下这些问题:

(1) 该怎样建立一段时间内的预算的模型,能够让我得到想要精确程度的结果,并且不管我有多少数据?

(2) 怎样才能获得我的数据库所有查询的表现的有意义的错误信息或者其他衡量方法的信息?

(3) 怎样才能与数据库思维(如连接)合并统计思维,以使我能够有效地清除数据和合并异构数据源?

(4) 该如何可视化数据,一般我该如何减少我地数据并且将我的推论展示给别人,让他们理解这是怎么回事?

(5) 该如何做诊断,这样我就不会推出一个有缺陷地系统,或者找出一个现有地系统被损坏了?

(6) 该如何处理非平稳性?

(7) 该如何做一些有针对性地实验,其中合并了我巨大地现有数据集,以使我能够断言一些变量有一些因果关系?

虽然可以通过深度学习地方法来探讨这些问题,但一般学者都会在它们简单的建筑区块上找到更加通透的方法来解决它们。

最后,乔丹教授作出了总结,统计或者机器学习需要更加深入的与计算机科学系统和数据库接触,并不仅仅与具有人工智能的人。这一直是过去的几十年里正在进行的,并且直到现在仍然保持着“机器学习”的热点。乔丹教授从 2006 年到 2011 年在伯克利分校“RAD 实验室”,直到现在在“AMP 实验室”,在这段时间里一直都做着这样的事情。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-09-24 07:226084
用户头像

发布了 268 篇内容, 共 127.0 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

SparkStreaming流计算实战

小舰

4月日更

一份秀出新天际的SpringCloudAlibaba笔记,把微服务玩的出神入化

Java 编程 程序员 架构 微服务

腾讯专家连夜肛出来17大专题30W字的Java面试手册!

码农之家

Java 编程 程序员 互联网 面试

类加载器和双亲委派模型

hepingfly

Java ClassLoader 类加载器 双亲委派模型

大厂Offer收割机:Netty处理写事件之连环四问,你能抗住吗?

Java架构师迁哥

【软件推荐】TOP级YouTube视频下载工具2021

科技猫

软件 分享 工具软件 视频 youtube

android适配方案,Kafka是如何实现高性能的?全套教学资料

欢喜学安卓

android 程序员 面试 移动开发

新思科技成为CVE编号授权机构 向公众发布更准确、实时的漏洞信息

InfoQ_434670063458

新思科技 CVE 软件质量与安全

Spark中的累加器和广播变量

五分钟学大数据

spark 4月日更

信息爆炸时代,如何更好地处理工作信息

LigaAI

程序员 产品经理 研发管理 信息处理

火爆全网!万字精华总结“银四Java复习笔记”(共计22个技术专题)

比伯

Java 架构 面试 程序人生 计算机

阿里P9这几个提高代码运行效率的小技巧我一直在用

Java架构师迁哥

用泡妞的逻辑理解23种常用设计模式?渣男直呼内行

北游学Java

Java 设计模式

这里有一份2021年Java面试必备的《并发编程》学习资料,你要还是不要?

Java架构之路

Java 程序员 架构 面试 编程语言

嘿,朋友!和你讲讲这15年来我的成长吧

亚马逊云科技 (Amazon Web Services)

19张图带你梳理SpringCloud体系中的重要技术点!

Java架构师迁哥

全面提升鸡群产能!Newcher智慧养鸡场解决方案剖析

Rancher

读《小岛经济学》

箭上有毒

4月日更

Notion免费搭建个人网站,使用Notion又多了一个理由

彭宏豪95

GitHub Notion 写作 博客 4月日更

英特尔陈葆立:至强傲腾强强联手,实现1+1>2

E科讯

NoSQL数据库兄弟会

大数据技术指南

sql 4月日更

【LeetCode】寻找旋转排序数组中的最小值 IIJava题解

Albert

算法 LeetCode 4月日更

谁说没学历就进不了大厂?(双非渣硕四年crud经验已拿下阿里P6)面经分享

Java 编程 程序员 架构 面试

通俗讲解分布式锁,这次你一定能懂!

Java架构师迁哥

你可能不是真的懂let和const

前端树洞

JavaScript ecmascript 大前端 ES6 4月日更

hashmap遍历,关于网络优化你必须要知道的重点,Android岗

欢喜学安卓

android 程序员 面试 移动开发

NA公链NAC公链真正的100%史诗级匿名去中心化应用

区块链第一资讯

ARMv9刷屏——号称十年最大变革,Realm机密计算技术有什么亮点?

阿里云基础软件团队

梦里花落知多少,网络抖动逃不了

阿里云基础软件团队

一位五年Java开发经验程序员的拼多多/蚂蚁金服/百度面经分享!

Java架构之路

Java 程序员 架构 面试 编程语言

对话机器学习大神Michael Jordan:深度模型_语言 & 开发_adam_InfoQ精选文章