写点什么

机器学习三个时代的计算趋势

  • 2022-04-13
  • 本文字数:1237 字

    阅读完需:约 4 分钟

机器学习三个时代的计算趋势

决定现代机器学习发展的三个基础是计算、数据和算法进化 (ML,机器学习),本文着眼于最易量化的元素的趋势。


在 2010 年之前,训练计算的发展与摩尔定律同步,每两年一翻;自 2010 年代初,引入深度学习以来,训练计算的速度已经加快,大约每六个月增加一倍;2015 年末,出现了一种新的趋势。

 

基于这些观察,机器学习的计算历史被划分为三个时代——前深度学习时代深度学习时代大规模时代。本文总结了用于训练高级机器学习系统快速增长的计算需求。

趋势


比较是在一个由 123 个里程碑式的机器学习系统组成的数据集上进行的,并标注了训练它们所需的计算量。在深度学习起步之前,有一段进展缓慢的时间,这种趋势在 2010 年加速,此后一直没有放缓。另外,在 2015 年和 2016 年,出现了大规模模型的新趋势,以比上一个时代快两个数量级的速度扩张。

 


来源: https://arxiv.org/pdf/2202.05924.pdf


过渡到深度学习


在深度学习出现之前和之后,人们注意到了两种不同的趋势机制。


此前,训练机器学习算法所需的算力是每 17 至 29 个月翻一番。之后,整体趋势加快速,每 4 到 9 个月翻一番。


根据摩尔定律,晶体管密度每两年翻一番(Moore,1965 年),通常简化为计算性能每两年翻一番——基本上符合前深度学习时代的趋势。目前尚不清楚深度学习时代何时开始,从前深度学习到深度学习时代的过渡没有明显的间断。此外,无论深度学习时代始于 2010 年还是 2012 年,结果几乎都不会改变。

 

来源:https://arxiv.org/pdf/2202.05924.pdf


大规模深度时代的趋势


数据显示,大规模型模型的新趋势始于 2015-2016 年,这种新趋势始于 2015 年底的 AlphaGo,一直持续到现在,大规模模型是由大公司训练的,更高的训练预算可能是打破先前的趋势的原因。

 

另外,常规规模模型受欢迎的程度并未受到影响,这一趋势在 2016 年之前和之后是相同的速度,每 5 到 6 个月翻一番,如下表所示。大规模模型的计算量增加的趋势明显放缓,每 9 到 10 个月翻一番。由于这些模型的数据有限,明显放缓可能是噪声的结果。


这一发现与 Amodei & Hernandez (2018) 和 Lyzhov (2021) 形成对比,前者发现 2012 年至 2018 年的倍增期为 3.4 个月,后者发现 2018 年至 2020 年的倍增期超过 2 年。以前的评估无法区分这两个独立的模式,因为大规模的趋势是最近才发展起来的。

 


来源:https://arxiv.org/pdf/2202.05924.pdf

结论


研究结果与早期研究一致,这显示了训练计算更适度的规模。1952 年到 2010 年有 18 个月的倍增时间,2010 年到 2022 年有 6 个月的倍增时间,从 2015 年末到 2022 年的大规模新趋势,快了 2 到 3 个数量级,倍增时间为 10 个月。

 

总而言之,在前深度学习时代,计算进展缓慢,随着 2010 年进入深度学习时代,这种趋势加速了。在 2015 年底,企业开始生产优于趋势的大规模模型,如 AlphaGo,标志着大规模时代的开始。然而,这并不能确定区分大规模和常规规模的模型而形成模式。

 

在计算机教学中,硬件基础设施和工程师的作用越来越大,凸显了两者的战略必要性。获得巨大的计算预算或计算集群,以及应用它们的专业知识,已经成为前沿机器学习研究的代名词。


原文链接:This Research Paper Explain The Compute Trends Across Three Eras Of Machine Learning

2022-04-13 10:562473

评论

发布
暂无评论
发现更多内容

升级到React-Router-v6

xiaofeng

React

科普 | 关于NFT的概念、价值及应用

NFT Research

【设计模式】-创建型模式-第2章第1讲-【单例模式】

跟着飞哥学编程

设计模式 单例模式 java 编程 11月月更

基于BPMN2.0的业务流程引擎

GFE

前端 BPMN 流程引擎

“鸿蒙生态专家面对面”技术交流会,专家齐聚,等你前来!

HarmonyOS开发者

HarmonyOS

Backdrop Filter

肥晨

css3 css特效 11月月更 css滤镜

从事分布式工作10余年,这本书颠覆了我的认知!

博文视点Broadview

几个你必须知道的React错误实践

xiaofeng

React

Python 实现栈的几种方式及其优劣

宇宙之一粟

Python 数据结构 11月月更

如何更改 datax 以支持hive 的 DECIMAL 数据类型?

明哥的IT随笔

hadoop hive

11月必须要了解的一项福利

夏夜许游

AI 双十一 视觉智能

Ten Million-Level Capacity Storage Solution of Student Management System - Examination

David

架构实战营

vue3实战-完全掌握ref、reactive

yyds2026

【解决】前端开发中的5大痛点

GFE

前端

pyside6 qml 自定义边框

Mr_No爱学习

计算机网络:电路、报文与分组交换

timerring

计算机网络 11月月更

用git上传项目到GitHub或者码云全过程

肥晨

代码上传 githun 11月月更 Git上传

CSS3渐变-快来感受CSS的伟大吧(差点闪瞎我的狗眼)

肥晨

11月月更 css3渐变 conic-gradient

即时通讯技术文集(第4期):不为人知的网络编程 [共14篇]

JackJiang

量化合约系统开发逻辑篡改方案

I8O28578624

币安DAPP系统开发技术概念及篡改逻辑

I8O28578624

vue中的几个高级概念

yyds2026

Vue

Zepoch节点已售出500+,Zebec Chain市场反响激烈

鳄鱼视界

前台小姐姐是如何转行测试,从月薪3000到月薪15K,实现逆袭

千锋IT教育

一路同行,再聚乌镇 | 旺链科技与你相约世界互联网大会

旺链科技

产业区块链 世界互联网大会 乌镇 企业号十月PK榜

Wallys/Qualcomm IPQ5018 solution application wifi6 , support M.2 Card Slot for QCN9074 WIFI 6E Card

Cindy-wallys

802.11AX WIFI 6e ipq5018

你要的react+ts最佳实践指南

xiaofeng

React

测试小白到月薪30K+的测试大佬学习路线图

千锋IT教育

vue实战-完全掌握Vue自定义指令

yyds2026

Vue

RocketMQ Flink Catalog 设计与实践

晓双

flink Apache RocketMQ catalog

公链defi质押挖矿分红dapp系统开发(合约定制)

开发微hkkf5566

机器学习三个时代的计算趋势_AI&大模型_Annu Kumari_InfoQ精选文章