QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

机器学习三个时代的计算趋势

  • 2022-04-13
  • 本文字数:1237 字

    阅读完需:约 4 分钟

机器学习三个时代的计算趋势

决定现代机器学习发展的三个基础是计算、数据和算法进化 (ML,机器学习),本文着眼于最易量化的元素的趋势。


在 2010 年之前,训练计算的发展与摩尔定律同步,每两年一翻;自 2010 年代初,引入深度学习以来,训练计算的速度已经加快,大约每六个月增加一倍;2015 年末,出现了一种新的趋势。

 

基于这些观察,机器学习的计算历史被划分为三个时代——前深度学习时代深度学习时代大规模时代。本文总结了用于训练高级机器学习系统快速增长的计算需求。

趋势


比较是在一个由 123 个里程碑式的机器学习系统组成的数据集上进行的,并标注了训练它们所需的计算量。在深度学习起步之前,有一段进展缓慢的时间,这种趋势在 2010 年加速,此后一直没有放缓。另外,在 2015 年和 2016 年,出现了大规模模型的新趋势,以比上一个时代快两个数量级的速度扩张。

 


来源: https://arxiv.org/pdf/2202.05924.pdf


过渡到深度学习


在深度学习出现之前和之后,人们注意到了两种不同的趋势机制。


此前,训练机器学习算法所需的算力是每 17 至 29 个月翻一番。之后,整体趋势加快速,每 4 到 9 个月翻一番。


根据摩尔定律,晶体管密度每两年翻一番(Moore,1965 年),通常简化为计算性能每两年翻一番——基本上符合前深度学习时代的趋势。目前尚不清楚深度学习时代何时开始,从前深度学习到深度学习时代的过渡没有明显的间断。此外,无论深度学习时代始于 2010 年还是 2012 年,结果几乎都不会改变。

 

来源:https://arxiv.org/pdf/2202.05924.pdf


大规模深度时代的趋势


数据显示,大规模型模型的新趋势始于 2015-2016 年,这种新趋势始于 2015 年底的 AlphaGo,一直持续到现在,大规模模型是由大公司训练的,更高的训练预算可能是打破先前的趋势的原因。

 

另外,常规规模模型受欢迎的程度并未受到影响,这一趋势在 2016 年之前和之后是相同的速度,每 5 到 6 个月翻一番,如下表所示。大规模模型的计算量增加的趋势明显放缓,每 9 到 10 个月翻一番。由于这些模型的数据有限,明显放缓可能是噪声的结果。


这一发现与 Amodei & Hernandez (2018) 和 Lyzhov (2021) 形成对比,前者发现 2012 年至 2018 年的倍增期为 3.4 个月,后者发现 2018 年至 2020 年的倍增期超过 2 年。以前的评估无法区分这两个独立的模式,因为大规模的趋势是最近才发展起来的。

 


来源:https://arxiv.org/pdf/2202.05924.pdf

结论


研究结果与早期研究一致,这显示了训练计算更适度的规模。1952 年到 2010 年有 18 个月的倍增时间,2010 年到 2022 年有 6 个月的倍增时间,从 2015 年末到 2022 年的大规模新趋势,快了 2 到 3 个数量级,倍增时间为 10 个月。

 

总而言之,在前深度学习时代,计算进展缓慢,随着 2010 年进入深度学习时代,这种趋势加速了。在 2015 年底,企业开始生产优于趋势的大规模模型,如 AlphaGo,标志着大规模时代的开始。然而,这并不能确定区分大规模和常规规模的模型而形成模式。

 

在计算机教学中,硬件基础设施和工程师的作用越来越大,凸显了两者的战略必要性。获得巨大的计算预算或计算集群,以及应用它们的专业知识,已经成为前沿机器学习研究的代名词。


原文链接:This Research Paper Explain The Compute Trends Across Three Eras Of Machine Learning

2022-04-13 10:562469

评论

发布
暂无评论
发现更多内容

赋能企业沟通:2024年专业IM即时通讯软件的重要性不可小觑!

BeeWorks

数业智能心大陆:职场倦怠的新解法

心大陆多智能体

智能体 AI大模型 心理健康 数字心理

实现NAS远程下载,Docker部署qBittorrent、Transmission、贝锐花生壳

贝锐

NAS Docker 镜像

Deep Dive | 应对不固定业务流量场景,Zilliz Cloud Serverless 正式推出

Zilliz

zilliz cloud

AutoCAD 2020(cad设计绘图软件) Win&Mac 版下载

你的猪会飞吗

AutoCAD 2024 Mac版 cad 2022安装教程

震撼揭秘:2024年企业最受欢迎的IM即时通讯工具全面分析!

BeeWorks

华为云,调出AI原生三原色

脑极体

AI

图片压缩格式自适应,真的很省流量!

七牛云

流量 带宽 音视频技术 图片压缩

从“群聊”到“一单到底”,天润融通工单系统助力品牌服务升级

天润融通

京东技术专家的修炼之道|“六边形战士”周默分享

京东零售技术

WebViz可视化工具的应用

芯动大师

我在Marscode用了3天,转行成为Python程序员

豆包MarsCode

Python 人工智能 程序员 AI

🎊 NFTScan 浏览器上线三周年并推出 NFTScan OAT 活动!

NFT Research

NFT\ NFTScan

安全无忧:私有化即时通讯软件提升企业内部信息安全的必然选择

BeeWorks

天润融通助力连锁品牌,用知识库应对门店咨询挑战

天润融通

【功能详解】IoTDB 与 ThingsBoard 成功集成!

Apache IoTDB

如何帮助我们改造升级原有架构——基于TDengine 平台

芯动大师

时序数据库 TDengine征文 架构升级

创始人模式:硅谷领导力的实践方法

无崖子Z

数据驱动,实时监控显威力 —— 淘宝商品详情API助力商家精准营销

技术冰糖葫芦

API Gateway API 接口 API 测试 pinduoduo API

k8s 中的 Ingress 简介

不在线第一只蜗牛

Kubernetes 容器 云原生

赋能私有化沟通:定制即时通讯与音视频系统助推企业数字化转型

BeeWorks

Apache Flink 流批融合技术介绍

Apache Flink

flink 实时计算 流批一体 流批融合 大数据计算

天润融通创新功能,将无效会话转化为企业新商机

天润融通

机器学习三个时代的计算趋势_AI&大模型_Annu Kumari_InfoQ精选文章