写点什么

对话机器学习大神 Michael Jordan:深度模型

  • 2014-09-24
  • 本文字数:2081 字

    阅读完需:约 7 分钟

Michael I. Jordan 教授是机器学习领域神经网络的大牛,他对深度学习、神经网络有着很浓厚的兴趣。然而,在提问中,有些机器学习爱好者认为神经网络是一种无聊的、深层次的、重复出现的计算机结构。对于这点,乔丹教授做出了反驳。

乔丹教授表示,他非常高兴机器学习在开始对真实世界的问题产生影响。乔丹的老朋友 Yann LeCun 也是人工智能尤其是深度学习领域最知名的学者之一,他研发了众所周知的卷积神经网络。乔丹对于他和他朋友的工作正在得到肯定、推广以及发扬关大感到非常荣幸。

乔丹教授相对于术语“神经网络”用法的重塑形象,更偏向于“深度学习”。在其他的工程领域里,利用流水线、流程图和分层体系结构来构建复杂系统的想法非常根深蒂固。而在机器学习的领域,尤其应该研究这些原则来构建系统。这个词“深”仅仅意味着——分层,乔丹教授深深的希望这个语言最终演变成如此简单的文字。他希望并期待看到更多的人开发使用其他类型模块、管道的体系结构,并不仅仅限制在“神经元”的层次。

神经科学——在接下来几百年的重大科学领域之一——我们仍然不是很了解在神经网络中想法是如何产生的,仍然看不到作为思想的主要产生器的神经科学,如何能够在细节上打造推理和决策系统。相比之下,计算机领域的一些假设,比如“并行是好的”或者“分层是好的”,已经足以支撑人们对大脑工作机制的理解。

乔丹教授补充举例道,在神经网络的早期他还是一个博士研究生,反向传播算法还没有被发现,重点在 Hebb 规则和其他的“神经合理”的算法,任何大脑不能做的事情都被避免了。他们需要变得很纯粹来发现人们思考的新形式。接着 Dave Rumelhart 开始探索反向传播算法——这显然是跳出于神经合理约束的——突然这个系统变得如此强大。这对他产生了很深刻的影响。这告诉我们,不要对主题和科学的模型强加人工的限制,因为我们仍然还不懂。

乔丹教授的理解是,许多“深度学习成功案例”涉及了监督学习(如反向传播算法)和大量的数据。涉及到大量线性度、光滑非线性以及随机梯度下降的分层结构似乎能够记住大量模式的数字,同时在模式之间插值非常光滑。此外,这种结构似乎能够放弃无关紧要的细节,特别是如果在合适的视觉领域加上权重分担。它还有一些总体上的优点总之是一个很有吸引力的组合。但是,这种组合并没有“神经”的感觉,尤其是需要大量的数据标签。

事实上,无监督学习一直被认为是圣杯。这大概是大脑擅长什么,和真正需要什么来建立真的“大脑启发式电脑”。但是在如何区分真正的进步和炒作上还存有困难。根据乔丹的理解,至少在视觉方面,非监督学习的想法并没有对最近的一些结果负责,很多都是机遇大量数据集的监督训练的结果。

接近非监督学习的一种方式是将好的“特征”或者“表示”的各种正式特点写下来,并且将他们与现实世界相关的各种假设捆绑在一起。这在神经网络文学上已经做了很久,在深度学习工作背景下的也做出了更多的工作。但是乔丹认为,要走的路是将那些正式的特征放进放进优化函数或者贝叶斯先验,并且制定程序来明确优化整合它们。这将是很困难的,这是一个持续的优化的问题。在一些近期的深度学习工作中,有一个不同的策略——使用自己喜欢的神经网络结构来分析一些数据,并且说“看,这表达了那些想要的、并没有包括进去的性质”。这是旧式的神经网络推理,它被认为仅仅是“神经”,仅仅包含了某种特殊的调料。这个逻辑是完全没有用的。

最后,乔丹教授谈到了哲学的层面,他认为神经网络是工具箱中重要工具之一。但当他被业界咨询的时候,却很少提到那种工具。工业界里人往往期望解决一系列的问题,通常不涉及上文所说的神经网络的“模式识别”的问题。比如说如下这些问题:

(1) 该怎样建立一段时间内的预算的模型,能够让我得到想要精确程度的结果,并且不管我有多少数据?

(2) 怎样才能获得我的数据库所有查询的表现的有意义的错误信息或者其他衡量方法的信息?

(3) 怎样才能与数据库思维(如连接)合并统计思维,以使我能够有效地清除数据和合并异构数据源?

(4) 该如何可视化数据,一般我该如何减少我地数据并且将我的推论展示给别人,让他们理解这是怎么回事?

(5) 该如何做诊断,这样我就不会推出一个有缺陷地系统,或者找出一个现有地系统被损坏了?

(6) 该如何处理非平稳性?

(7) 该如何做一些有针对性地实验,其中合并了我巨大地现有数据集,以使我能够断言一些变量有一些因果关系?

虽然可以通过深度学习地方法来探讨这些问题,但一般学者都会在它们简单的建筑区块上找到更加通透的方法来解决它们。

最后,乔丹教授作出了总结,统计或者机器学习需要更加深入的与计算机科学系统和数据库接触,并不仅仅与具有人工智能的人。这一直是过去的几十年里正在进行的,并且直到现在仍然保持着“机器学习”的热点。乔丹教授从 2006 年到 2011 年在伯克利分校“RAD 实验室”,直到现在在“AMP 实验室”,在这段时间里一直都做着这样的事情。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-09-24 07:226114
用户头像

发布了 268 篇内容, 共 128.0 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

云原生(二十) | 深入了解Kubernetes(k8s)Service

Lansonli

云原生 k8s 8月月更

计算机网络(二、物理层)

计算机网络 8月月更

设备管理|风机的日常运行与维护

PreMaint

企业设备管理 预测性维护 设备健康管理 风机的日常运维

Web登录很简单?开玩笑!

TimeFriends

8月月更

Go-Excelize API源码阅读(十三)—— GetSheetVisible、SetSheetFormatPr

Regan Yue

Go 开源 源码解析 8月日更 8月月更

五分钟给你的 gRPC 服务加上 HTTP 接口

万俊峰Kevin

Go 微服务 gRPC web开发 go-zero

GitHub标星139K的:“嵌入式Linux系统开发教程”

收到请回复

Java Linux 程序员 嵌入式 #运维

寻找海量数据集用于大数据开发实战(维基百科网站统计数据)

程序员欣宸

大数据 数据集 8月月更

直播商城系统——直播和电商的合理有效结合

开源直播系统源码

软件开发 直播系统源码 直播带货系统 直播商城系统 直播app系统

基于CC2530(ZigBee)设计的景观照明控制系统+配套手机APP

DS小龙哥

8月月更

圣庭医疗联合创始人谷红仓:高通量基因测序在药物研发和靶向治疗中的应用

阿里云弹性计算

HPC 高性能计算 生命科学 基因测序

开源一夏 | 使用 JavaScript 将文本转换为文件

海拥(haiyong.site)

JavaScript GitHub 开源 前端 8月月更

组件解析:基础组件button的实现

独来独往

大前端 低代码 可视化 组件化 低代码平台

我做了个《联机桌游合集: UNO+斗地主+五子棋》无需下载,点开即玩!叫上朋友,即刻开局!不看广告,不做任务,享受「纯粹」的游戏!

HullQin

CSS JavaScript html 前端 8月月更

应用缺少POI数据,如何开发地点深度信息?

HarmonyOS SDK

预约直播 | 基于预训练模型的自然语言处理及EasyNLP算法框架

阿里云大数据AI技术

深度学习 阿里云 算法框架

借我 1 小时,与 1000 人一起参与开源

腾源会

开源 腾源会

AntDB基于WAL日志的DML数据闪回实现

亚信AntDB数据库

AntDB 国产数据库 AISWare AIDB

付费会员之我见(43/100)

hackstoic

商业模式

【LeetCode】课程表Java题解

Albert

LeetCode 8月月更

3 分钟温故知新 RxJS 【创建实例操作符】

掘金安东尼

前端 函数式编程 8月月更

怎么分辨企业转型是“真数字化”还是 “伪数字化”?

雨果

数字化转型

低代码实现探索(四十八)后端服务

零道云-混合式低代码平台

迄今为止最完整的DDD实践

阿里技术

DDD 经验分享

什么是文件存储?与对象存储有什么区别?

wljslmz

文件存储 8月月更

少儿编程是智商税吗?不花钱让孩子赢在起跑线!

博文视点Broadview

Promise.allSettled 的 Polyfill 处理

汪子熙

JavaScript Promise Async 8月月更 web编程

悟了,应该都了解分布式架构下负载均衡器吧

知识浅谈

负载均衡 8月月更

腾讯发布第二季度财报,腾讯云数据库收入同比增长超过30%

科技热闻

阿里云鲍文乐:基于事件的自动化运维最佳实践

阿里云弹性计算

事件 自动化运维 CloudOps

CSS

武师叔

8月月更

对话机器学习大神Michael Jordan:深度模型_语言 & 开发_张天雷_InfoQ精选文章