写点什么

深度学习究竟是个啥?

  • 2016-01-05
  • 本文字数:1868 字

    阅读完需:约 6 分钟

“当我每次解雇一名语言学家的时候,那么语音识别的性能就在上升”。
——IBM 的 Frederick Jelinek

如果说语言学家代指机器学习和固定的模型结构,那么深度学习意味着专家整体性能的提高。

深度学习是一个本质上引人入胜的主题,非常令人憧憬。Michel Herszak 在 LinkedIn 写了一篇博客,谈到了其对于深度学习的理解。

深度学习简述

深度学习已经在计算机视觉、语言识别和自然语言理解等多个领域取得了巨大的成就。深度学习的概念源于人工神经网络的研究。深度学习结构包含一个多隐层的多层感知器。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。

深度学习的概念由 Hinton 等人于 2006 年提出。基于深度信念网络 (DBN) 提出非监督贪婪逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外 Lecun 等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。

深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习就是一种特征学习方法,把原始数据通过一些简单的但是非线性的模型转变成为更高层次的,更加抽象的表达。

深入介绍深入学习

深入研究深度学习,发现其包含三个核心概念:多层组合、端到端的学习和分布式表示。

多层组合

多层表示更符合人类的学习方式,神经网络作为其中的一种,可以从一个单一的感知输入中产生多种理解,例如一个单词的发音(与其类比,深度学习具有惊人的相似)。从一个单词的发音到大脑的理解之间存在多个隐层,这与深度学习的过程很一致。多层表示中最令人兴奋的一件事情就是,原来在处理数据分类任务的时候,是通过数据科学家建模神经网络,而现在他们可以自动生成数据模型。

当前多数分类、回归等学习方法为浅层结构算法,很多情况下只有一层表示,其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限,针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构,实现复杂函数逼近,表征输入数据分布式表示,并展现了强大的从少数样本集中学习数据集本质特征的能力。(多层的好处是可以用较少的参数表示复杂的函数)

端到端的学习

在早期的深度学习中,关于语音识别的很多早期工作都存在一个问题,即各层表示之间的连接太密集。这个问题,Google 的语音 API 也遇到过,它会导致系统的过拟合问题。

今天,深度学习是一种端到端的学习方式,整个学习过程中不需要中间的和显著的人类参与。直接把海量数据投放到算法中,让数据自己说话,系统会自动从数据中学习。从输入到输出是一个完全自动的过程。

同样,可以再次将其再次与人类大脑随着时间的发展进行类比,这些变化影响了人们对于信息的提取方式。

分布式表示

深度学习算法本质上是分布式概念的应用。分布式表示背后的想法是,观察到的信息是众多因素协同工作所产生的结果。它将堆积如山的数据转化为数据流的组合。

这里举一个简单的例子:假如你想用一台电脑存储有关车辆的数据。

  • 首先,你有一辆大的蓝色福特汽车。
  • 其次,你有一个巨大的白色大众汽车。
  • 第三,你有一辆闪亮的 McQueen 汽车。
  • 第四,你有一个大的红色的 Vauxhal 汽车。

通过这种方式,你需要将所有数据存储到一个单一的存储单元中。当有一台新的车辆数据要加入的时候,需要加载数据单元的整个负载。这似乎不是很高效。

那么想象一下存储这些车辆的一种新方式。事实上,可以使用三个存储单元:一个用来描述尺寸(小型、中型、大型灯),一个用来存储颜色,最后一个存储品牌。这样就可以存储想要的所有车辆,都有非常相同的三个存储内存单元。这种工作方法是分布式表示的一个例子。从最基本的意义上讲,这代表了神经元一起工作的方式。而且它是深度机器学习的一个高效的例子。

总之,深度学习是关于自动学习要建模的数据的潜在(隐含)分布的多层(复杂)表达的算法。换句话来说,深度学习算法自动的提取分类需要的低层次或者高层次特征。Deep learning 能够得到更好地表示数据的特征,同时由于模型的层次、参数很多,能够具备足够强的表示能力。当然,deep learning 本身也不是完美的,也不是解决世间任何机器学习问题的利器。


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群(已满),InfoQ 读者交流群(#2))。

2016-01-05 18:005744
用户头像

发布了 268 篇内容, 共 122.2 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

如何使用一个有安全性问题的隐私计算技术?

易观分析

隐私计算

以领先NLP技术构建AI数字疗法体系,聆心智能致力于解开更多“心结”

硬科技星球

网易X工行:云原生日志系统 Loggie 正式开源!

网易数帆

开源 云原生 日志 Filebeat Loggie

在一条DML语句中插入/更新/删除/获取几百万行数据,你会特别注意什么?

KunlunBase昆仑数据库

分布式数据库

Javascript实现上传图片并实现预览图片功能的三种方法

deal

3月日更 3月程序媛福利 3月月更

开发者说丨如何从零开始构建一个轻量级应用

华为云开发者联盟

Vue 低代码 页面 应用 AppCube

广电行业如何上云?来抄作业!

天翼云开发者社区

昆仑分布式数据库Sequence功能及其实现机制

KunlunBase昆仑数据库

分布式数据库

【OpenMLDB Monthly Meeting】2022.2 月会议纪要

第四范式开发者社区

人工智能 数据库 开源 Meetup 特征平台

多任务学习模型之DBMTL介绍与实现

阿里云大数据AI技术

机器学习 深度学习 数据模型 多任务学习

ARP欺骗攻击

喀拉峻

网络安全

31 家企业入选阿里云首期云原生加速器,共建云原生行业新生态

阿里巴巴中间件

云计算 阿里云 云原生 加速器 生态伙伴

国内领先的云软件厂商安超云加入,为龙蜥社区注入新动能

OpenAnolis小助手

开源 操作系统 云厂商 国产

在线TOML转JSON工具

入门小站

工具

华为SmartCare和AUTIN品牌升级:助力运营商走出5G发展迷宫

脑极体

10分钟快速玩转kunlun cluster

KunlunBase昆仑数据库

分布式数据库

如何为你的企业创建自助服务知识库

小炮

J2PaaS低代码平台,如何赋能开发者,助力企业数字化?

J2PaaS低代码平台

开发者 低代码 企业数字化 地代码平台 J2PaaS

【技术学习】一次Node.js站点渗透

H

node.js 网络安全 渗透测试

网络安全之文件包含漏洞总结

网络安全学海

黑客 网络安全 信息安全 渗透测试 WEB安全

分布式事务对于两阶段提交的错误处理

KunlunBase昆仑数据库

分布式数据库

亿级月活沙盒平台《迷你世界》背后的黑科技

华为云数据库小助手

GaussDB DDM 华为云数据库

知识管理——企业数字化转型的新挑战

小炮

无所不云,开启你的美好旅行新体验!

天翼云开发者社区

经典的两阶段提交算法原理及缺陷

KunlunBase昆仑数据库

分布式数据库

恒源云(GpuShare)_表序编码器的联合实体和关系提取(论文浅谈)

恒源云

自然语言处理 机器学习 深度学习

天翼云TeleDB数据库为实现自主可控全面亮剑

天翼云开发者社区

响应速度提升80%以上,甘肃省医保信息平台稳固上线有法宝

华为云开发者联盟

数据库 华为云 华为云数据库 智慧医疗 医保

星汉未来成为 FinOps 产业标准生态联盟首批会员

星汉未来

云原生 开源社区 成本优化 IT运维

RTC 音频质量评价和保障

网易云信

WebRTC

【Kali】中密码暴力破解工具hydra的使用

学神来啦

网络安全 字典 kali kali Linux

深度学习究竟是个啥?_语言 & 开发_张天雷_InfoQ精选文章