报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

研究了 50 篇论文后,他发现 AI 领域的某些进步其实就是炒作

  • 2020-06-11
  • 本文字数:2187 字

    阅读完需:约 7 分钟

研究了50篇论文后,他发现AI领域的某些进步其实就是炒作

研究人员评估了 81 种剪枝算法、程序,它们通过对不需要的连接进行剪枝来提高神经网络的效率。这些方法差别不大,但所有人都宣称自己具有优越性。然而,很少有人对它们进行恰当的比较——当研究人员设法把它们放在一起评估时,并没有明确的证据可以表明近 10 年来它们的性能有什么改善。


本文最初发布于科学杂志,由 InfoQ 中文站翻译并分享。


人工智能(AI)似乎变得越来越聪明。每一部 iPhone 都比上一部更了解你的脸、声音和习惯,人工智能对隐私的威胁也在不断增加,职位也在不断增加。这种激增反映了更快的芯片、更多的数据和更好的算法。但是,麻省理工学院的计算机科学研究生 Davis Blalock 说,有一些改进是来自微调,而不是发明者声称的核心创新,而有些改进可能根本就不存在。Blalock 和他的同事比较了几十种改进神经网络的方法(大致模仿大脑的软件架构)。他说,“在研究了 50 篇论文之后,事情已经变得很清晰,当时的技术水平到底如何并不是一件显而易见的事情。


研究人员评估了 81 种剪枝算法、程序,它们通过对不需要的连接进行剪枝来提高神经网络的效率。这些方法差别不大,但所有人都宣称自己具有优越性。然而,很少有人对它们进行恰当的比较——当研究人员设法把它们放在一起评估时,并没有明确的证据可以表明近 10 年来它们的性能有什么改善。今年 3 月,在机器学习与系统大会上公布的这一结果让 Blalock 的博士生导师、麻省理工学院的计算机科学家 John Guttag 感到意外,他指出,这种无规则的对比本身就说明了技术发展的停滞。Guttag 说,“老话说得好,无法度量就无法改进,对吧?”


研究人员逐渐意识到,人工智能的许多子领域的进展都出现了问题。2019 年开展的一项针对搜索引擎中使用的信息检索算法的元分析表明,“最高点……实际上出现在 2009 年。”2019 年的另一项研究再现了 7 个神经网络推荐系统,这类系统主要用于流媒体服务。研究发现,有六种算法的性能没有超过多年前开发的简单许多的非神经算法(这些早期的技术当时都经过了调优),揭示了该领域的“进展幻象”。


今年 3 月,来自康奈尔大学的计算机科学家 Kevin Musgrave 在 arXiv 网站上发表了一篇论文,他研究了损失函数,这是这类算法的一部分,从数学上明确了算法的目标。Musgrave 在一项涉及图像检索的任务中,基于同样的标准对其中的 12 种方法进行了比较,结果发现,与开发人员的说法相反,准确性自 2006 年以来就再没有提高。Musgrave 说:“这一直以来都是炒作。”


机器学习算法的性能增强可以来自其架构、损失函数或优化策略(如何使用反馈进行改进)的根本性变化。来自卡耐基梅隆大学的计算机科学家 Zico Kolter 表示,对上述任何一种技术进行细微的调整都可以提高性能。Kolter 的研究内容是经过训练后能够对黑客的“对抗性攻击”免疫的图像识别模型。一种被称为投影梯度下降(PGD)的早期对抗性训练方法(该方法会同时在真假样例上进行简单的训练),似乎已经被更复杂的方法所超越。但在今年 2 月 arXiv 发表的一篇论文中,Kolter 和他的同事们发现,当使用一个简单的技巧来对它们进行增强时,所有方法的效果都差不多



在经过适度调整后,旧的图像检索算法和新算法的性能一样好,这表明,实际的创新很少。


“这非常令人惊讶,这一点我们以前没有发现,”Kolter 的博士生 Leslie Rice 说。而 Kolter 表示,他的发现表明,像 PGD 这样的创新很难做到,而且很少有实质性的改进。“很明显,PGD 实际上就是一种正确的算法,”他说,“这显而易见,而人们希望找到更为复杂的解决方案。”


其他主要算法的进步似乎也经受住了时间的考验。1997 年,一种被称为长短时记忆(LSTM)的架构在语言翻译方面取得了重大突破。在经过适当的训练后,LSTM的性能可以与20年后开发的更先进的架构相媲美。另一个机器学习的突破出现在 2014 年的生成对抗网络(GAN)中,举例来说,它可以将网络以生成-判别循环的方式进行配对,以提高它们生成图像的能力。据2018年的一篇论文报道,只要计算能力足够,原始的 GAN 方法就可以与后续几年的方法相媲美。


Kolter 说,与调整现有算法相比,研究人员更愿意去创造一种新的算法,并对其进行调整,直到达到最先进的水平。他指出,调整现有算法可能显得不那么新颖,使得“发表论文的难度大大增加”。


Guttag 说,算法的发明者不希望与他人的算法进行彻底的性能比较,结果却发现他们的突破性进展并不是他们所认为的那样。“比较太仔细是有风险的。”同时,那也是一项艰苦的工作:人工智能研究人员使用不同的数据集、调优方法、性能指标和基线。“完全的横向对比是不现实的。”


一些夸大性能的说法可以归因于该领域的爆炸性增长,该领域的论文数量超过了有经验的审稿人。Blalock 说,“这似乎是成长的烦恼”。他敦促审稿人,要坚持与基准进行更好地比较,并表示,更好的工具将有所帮助。今年早些时候,Blalock 的合著者、麻省理工学院研究员 Jose Gonzalez Ortiz 发布了一款名为 ShrinkBench 的软件,它可以让人们更轻松地比较剪枝算法。


研究人员指出,即使新方法在本质上并不比旧方法更好,但他们所实现的调整也可以应用到之前的算法上。每隔一段时间,就会有一个新的算法出现。“这几乎就像一个风险投资组合,”Blalock 说,“其中一些业务并没有真正发挥作用,但有些却非常成功。”


查看英文原文:


https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real


2020-06-11 11:228638
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 287.0 次阅读, 收获喜欢 1303 次。

关注

评论 1 条评论

发布
用户头像
大多数AI仍旧是基于既定逻辑的判断,虽然也有很多可以在交互过程中“学习”,但是仍旧很难将所“学”的转化为既定逻辑的补充。神经网络需要在特定边界内有自我完善的能力才能够成为真正的AI。
2020-06-13 00:34
回复
没有更多了
发现更多内容

技术选型课程小结

梅子黄时雨

极客大学架构师训练营

统一物品编码破解追溯“断链”困局

CECBC

阿里四面你都知道吗?

root

Java 程序员 互联网 阿里 简历

Struct embedding in Go

Interstate5

time.Time dynamodb apigateway Go 语言

啃碎并发(七):深入分析Synchronized原理

猿灯塔

Java

开发者必备——API设计问题

Noneplus

redis系列之——分布式锁

诸葛小猿

Java redis 分布式 分布式锁

typora设置图片自动上传,实现快速发文章

诸葛小猿

Typora PicGo gitee 上传图片

架构师训练营第六周总结

Melo

极客大学架构师训练营

ArrayList源码阅读

慌张而黑糖

ArrayList 源码阅读

数据库分片

Axe

CORS 和 CSRF 修炼宝典

Geek_z9ygea

大前端 Web CORS CSRF

人生就是体会矛盾的过程

封不羁

成长 感悟

毕业三年了,我开始明白为什么说三年是一个坎

鄙人薛某

程序员 程序人生 职场回顾

golang内存对齐

PONPON

go内存对齐 Go 语言

华为云FusionInsight MRS通过信通院大数据能力评估 单集群突破2万+规模

数据湖洞见

大数据 FusionInsight MRS 华为云

这样的二维码,你见过吗?

诸葛小猿

Java Python 后端 二维码 myqr

为了把握新基建风口,科技公司都在紧密筹备这件事...

极客时间企业版

分布式缓存与消息队列

紫极

聊聊Spring的IOC以及JVM的类加载

小隐乐乐

kubernetes集群安装(二进制)

小小文

Kubernetes 容器

如何学习Visual Studio Code

博文视点Broadview

学习 读书笔记 vscode 能力提升 编辑器

信创舆情一线--5省发布区块链发展计划

统小信uos

区块链 舆情

数据分析师成长体系漫谈-数仓模型设计

analysis-lion

学习 数据仓库 数据分析 随笔杂谈

架构师训练营-作业5

紫极

Newbe.Claptrap 框架入门,第一步 —— 创建项目,实现简易购物车

newbe36524

Docker Reactive ASP.NET Core

Scala中如何优雅地实现break操作

吴慧民

scala

Hadoop大数据存算分离下,如何解决新旧存储共存?

XSKY星辰天合

依旧乐观的李彦宏,十年寻光的百度AI

脑极体

鲲鹏说:高考之路你们走,高考阅卷我来守

脑极体

如何通过DDD构建一辆汽车

冯文辉

领域驱动设计 DDD

研究了50篇论文后,他发现AI领域的某些进步其实就是炒作_AI&大模型_Matthew Hutson_InfoQ精选文章