写点什么

让你的 AI 绿起来,艾伦研究所提出深度学习效率评估标准 Green AI

  • 2019-10-10
  • 本文字数:1995 字

    阅读完需:约 7 分钟

让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI

培养一个靠谱的 AI 需要消耗大量的算力。


随着摩尔定律的终结,AI 的计算成本正在疯长,几乎每隔几个月计算基线就要翻一番。


听起来可能有点吓人,可事实就是,从 2012 年到 2018 年,AI 算力消耗几乎增长了 30 万倍。



连 Facebook 的 AI 负责人杰尔姆·佩森蒂都公开表示了对此事的担忧:


随着算力的提升,在 AI 研究上我们仍有收获,但同时,压力也变得越来越大。


最新的一项研究甚至发现,单一模型在训练期间产生的二氧化碳排放为 180 吨,这相当于普通汽车整个服役期排放量的 3 倍。




什么概念呢,大概就相当于一个人从纽约坐飞机去旧金山,又从旧金山坐回来,来回来去 2000 趟吧…


对此,艾伦研究所,卡内基梅隆大学和华盛顿大学的科学家们提出,让你的 AI 绿一点。

红 AI 与绿 AI 与 AI

不只是喊喊口号,这一回,科学家们严谨地依靠数据分析,提出了红 AI 绿 AI 的概念。


先别着急挠头,科学家们并不是在搞绕口令创新,只是想知道什么是绿 AI,应该先了解一下另外一个概念——红 AI(Red AI)。

红 AI

ELMo,BERT,openGPT-2,XLNet……


这些模型的名字是不是一个赛一个响亮?没错,它们都在红 AI 的名单上。


谷歌的 BERT-large 需要在一个包含 64 个 TPU 的的 30 亿字数据集上训练四天,才能练成不灭金身。


OpenAI 的最强文本生成模型 GPT-2-XL 用 40 亿字投喂。


至于那只扬名全世界的阿法狗,每个小时就能花掉 1000 美刀。


太!费!资!源!了!


科学家们给它们下了一个定义:这些使用了大量算力资源来追求“state-of-the-art”的 AI 其实就是在“买”最佳结果,它们就是红 AI。


红 AI,是一切只向准确率看齐的 AI,它们的研究人员总是忽略成本和效率,只管 state-of-the-art,哪管洪水滔天。



没有调查就没有发言权,科学家们从几个顶会里抽取了 60 篇论文,用统计数据说明 AI 研究人员们就是关注准确率多过效率。


真是个红 AI 大行其道的时代啊。


不可否认,红 AI 的工作是有价值的,其中大部分的工作都在帮助人们推动人工智能的界限。


但是,它们确实不够高效,并且它们是收益递减的。



训练样本指数增加,目标检测准确率却是线性增长的。



R-结果;E-样本;D-数据集;H-超参数


总结一下,红 AI 具有以下几大特征:


  • 训练单个样本花销巨大

  • 需要大量训练样本

  • 需要大量实验


再次强调,推动模型大小,数据集大小和超参数搜索空间的限制边界是有意义的。


但是,一定要提高对红 AI 成本的认识,优化效率!优化效率!优化效率!


而对效率的追求,就是所谓的绿 AI(Green AI)。

绿 AI

绿 AI 实际上是一种深度学习效率评估标准。


研究人员提到,高昂的成本不仅对环境产生了压力,也在阻止来自新兴经济体的研究人员进入深度学习领域。


毕竟就算环境允许,也不是谁都能像谷歌那样动辄烧 1000 多个 CPU 的。


绿 AI 的愿景是,在人工智能研究中,在不增加计算成本,甚至是减少成本的情况下,仍然能产生新颖的结果。不增加碳排放,更关注效率,保护环境,更加包容。



那么衡量标准到底是什么呢?


当然也可以用碳排放、用电量、消耗时间、参数数量这些数值来对一只 AI 进行评价,但这难免受到地域、设备差异的影响。


比如用火电和用水电训出来的 AI,那能一样吗?


研究人员提出 FPO(浮点运算)来作为评价指标。


FPO 能够估计计算过程执行的工作量。通过定义加和乘两个基本操作,可以计算任何机器学习抽象操作的 FPO 成本,包括矩阵乘法,卷积操作等等。



使用 FPO 的好处在于,第一,它能直接计算机器在执行模型的特定实例时完成的工作量,因此是与能量消耗直接相关的一个参数。第二,FPO 与运行模型的硬件无关,有利于不同方法之间的公平比较。第三,FPO 与模型的运行时间密切相关,还会考虑每个时间步长的工作量。


不过,FPO 也不是完美的,它忽略了模型的内存消耗和实现等因素。


研究人员承认,单靠 FPO 不足以促进真正的绿 AI 的发展。他们鼓励 AI 研究人员们在模型训练期间观察预算/准确度曲线,这样开发人员能做出更明智的决策,突出不同方法的稳定性。


他们还主张将效率列为计算机顶会官方承认的贡献,并且支持开发人员公布预训练模型,以便为其他人节省再训练的费用。


想想有一天绿 AI 成为主流,那么抱着笔记本电脑的本科生也可以愉快地搞一搞机器学习了。

网友怎么看

这篇论文一公布,立刻有网友表示,这对 AI 的发展来说非常重要。


文章提到了技术民主化的问题。当模型需要越来越多的算力,能够达到门槛的人就会越来越少,那么 AI 技术就会落入少数几个公司手中。



还有网友表示:


长远来看,这可能会将更多研究推向更多数据简约深度学习技术。更合理的方法也许是,改进软件以使大型模型的部署更加简单。



但也有人怀疑 Green AI 并没有什么卵用:


就算你可以在 10 秒内训练模型,顶级研究团队还是不会放弃超强算力。也许绿 AI 是一件好事,但它不会让 AI 研究更环保,也不会改善包容性。



那么,你会让自己的 AI 绿一点吗?


传送门:论文


本文转载自公众号七牛云(ID:qiniutek)。


原文链接:


https://mp.weixin.qq.com/s/ZUabtRRAMC950SkGaPokiA


2019-10-10 17:37593

评论

发布
暂无评论
发现更多内容

01周-就餐卡系统设计

dao

极客大学架构师训练营 实验品

食堂就餐卡系统设计

heeeeeeyZ25

直播 | 阿里、快手、Databricks、网易云音乐...国内外大数据大佬齐聚一堂要聊啥?

Apache Flink

大数据 flink 流计算 实时计算

食堂就餐卡系统设计 UML

Kun

极客大学架构师训练营

如何从 0 到 1 参与 Flink 社区?

Apache Flink

大数据 flink 流计算 实时计算

第一周作业1-食堂就餐系统设计

Geek_10

食堂就餐卡系统设计(作业版)

Jerry Tse

极客大学架构师训练营 作业

【练习】食堂就餐卡系统设计

张金峰

极客大学架构师训练营

数仓系列 | Flink 窗口的应用与实现

Apache Flink

大数据 flink 流计算 实时计算

TypeScript:重新发明一次 JavaScript

LeanCloud

Java node.js typescript 大前端

架构师 week 1 作业二

iLeGeND

架构师训练营第一周总结

好名字

总结 极客大学架构师训练营

Flink 1.10 Container 环境实战

Apache Flink

大数据 flink 流计算 实时计算

食堂就餐卡系统设计

互金从业者X

作业二

姜 某某

免费P7架构师直播课!技术人员如何提升职场技能?

古月木易

架构师

架构师培训-01食堂就餐卡系统设计文档

刘敏

redis线程模型

wjchenge

作业一

姜 某某

极客时间架构课Week01-作业一:食堂就餐卡系统设计

yulyulcl

架构师训练营第一周命题作业

whiter

极客大学架构师训练营

免费P7架构师直播课!技术人员如何提升职场技能?

奈学教育

架构师

第一周学习感想

heeeeeeyZ25

第一周作业二:架构师第一周上课总结

Geek_10

【架构师训练营】第1周-作业-食堂就餐卡系统

芥末

极客大学架构师训练营

01-kubernetes安装部署(手动)

绿星雪碧

Kubernetes etcd flannel

架构设计文档的一些心得

elfkingw

01.食堂就餐卡系统简要设计以及学习总结

昵称

架构师训练营-第一课作业-20200610-食堂就餐卡系统

👑👑merlan

架构 作业

食堂就餐卡系统设计

魔曦

极客大学架构师训练营

架构师训练营第一周学习总结

whiter

极客大学架构师训练营

让你的AI绿起来,艾伦研究所提出深度学习效率评估标准Green AI_AI_鱼羊_InfoQ精选文章