写点什么

AlphaCode 刷题“卷”走程序员? 谷歌编程大牛中肯评价:经常生成无害但也无用的代码

  • 2022-03-17
  • 本文字数:3426 字

    阅读完需:约 11 分钟

AlphaCode刷题“卷”走程序员?谷歌编程大牛中肯评价:经常生成无害但也无用的代码

胜负难料的博弈:当 DeepMind “AlphaCode”对阵人类程序员。


最先进的 AI 成果,到底能不能解决现实世界中的编程问题?DeepMind 决定找出答案、以全新的视角看待编程工作,同时探索 AI 的能力边界。


除了这个核心问题以外,这番尝试同样让我们在“什么可以自动化”、“什么不能自动化”以及对当前数据集中错误的理解方面获益匪浅。


虽然 AI 提供的解决方案并不比人类程序员更好,但这背后隐藏的深远意义也许才是最值得我们探究的巨大宝藏。


[🔬一点趣闻] 你一定要看看 AlphaCode 在这场编程竞赛中的表现:


以下为 AlphaCode 工作原理的精彩可视化影像(点击「play」按钮播放)https://t.co/oLJA0zvB9H pic.twitter.com/P0Jh2BepNT


— DagsHub (@TheRealDAGsHub) 2022年2月15日


“前途可期的竞争对手”


总部位于伦敦的 DeepMind,属于谷歌母集团 Alphabet 旗下的一家 AI 子公司。凭借着在国际象棋和围棋领域的“超人类”表现,他们已经在 AI 研究中取得载入史册的战绩。不久之前,他们又证明 AI 模型在预测蛋白质折叠结构方面也能比人类做得更好。


今年 2 月,DeepMind 宣布他们开发出了一套名为 AlphaCode 的系统,打算作为 AI 世界的代表竞逐编程比赛。它将参加编程竞赛网站 CodeForces 举办的十场编程比赛,与单场至少 5000 名人类程序员一决高下。


结果如何?DeepMind 在一篇博文中提到,AlphaCode“在竞赛选手里处于中游水平”,“这标志着 AI 代码生态系统首次在真实编程竞赛中具备一定的竞争力。”


DeepMind 还指出,不少企业在招聘中也会引用竞赛中的题目,使用类似的问题筛选进入面试轮的求职者。


这篇博文还援引 CodeForces 网站创始人 Mike Mirzayanov 的发言称,AlphaCode 的表现超出他的预期。他还补充道,“我刚开始也持怀疑态度,因为即使是最简单的竞赛问题也不只是要求实现算法,更要求参赛者能够发明算法(这也是最困难的部分)。”“AlphaCode 确实成为一位前途可期的竞争对手,我急切想要看到它在一路成长后能达到怎样的高度!”


DeepMind 研究人员们在一篇论文中承认,AlphaCode 的出色表现离不开海量算力的支持。高性能计算领域常用的 petaFLOP 单位也称千万亿次,代表每秒执行 1 千万亿次浮点运算。而以 24 小时为周期按这个速率不间断运行,那么一天之内完成的浮点运算量将高达 86400 千万亿次。


“而我们的模型在采样与训练方面共投入了几百天,对应的算力消耗可想而知。”


论文脚注还补充道,负责运行这项任务的谷歌数据中心“购买了等同于电力消耗量的可再生能源。”

AlphaCode 是怎么编程的?


研究人员在一篇长达 73 页的论文中解释了自己的成果(尚未发表、也未完成同行评议)。作者们写道,这套系统首先利用公共 GitHub 存储库中的代码进行“预训练”,具体方式类似于早期 AI 驱动型代码建议工具 Copilot。(为了避免 Copilot 方法引发的一些争议,AlphaCode 特意过滤了训练数据集,专门选择许可公开发布的代码。)


之后,研究人员又使用一套包含竞争性编程问题、答案以及测试用例的小型数据集对系统开展进一步“调优”,其中不少素材就是从 CodeForces 平台上直接抓取的。


结果就是,目前网上发布的编程竞赛问题和答案数据集中存在问题。在已经通过测试用例的程序中,至少有 30%其实并不正确。


于是乎,研究人员们建立了一套包含更多测试用例的数据集,希望更严格地控制产出正确性。他们认为这将大大减少能通过测试,但实际上并不正确的程序数据 —— 最终,这一比例从 30%下降到仅 4%。


DeepMind 在博文中指出,为了做好参与编程挑战赛的准备,“我们针对每个问题创建了大量 C++与 Python 程序。”“之后,我们把这些答案过滤、聚类并重排为一套包含 10 个备选程序的小型集合,专门用于外部评估。”


DeepMind 的博文提到,“必须承认,现有 AI 系统的能力还不足以在这些比赛中出色解决各项问题。大规模 transformer 模型虽然展现出了生成良好代码的可能性”,但仍然需要配合“大规模采样与过滤”。


博文解释道,研究人员的发现证明了深度学习的潜力,看起来这项技术有望完成需要批判性思维的任务 —— 具体到这次试验,就是以代码形式为给定问题给出解决方案。DeepMind 在博文中将这套系统描述为公司“破解智能”这一重大使命的重要一步,公司网站则把这项使命描述为“开发出更通用、能力更强的问题解决系统”,也就是传说中的“通用人工智能”。


博文最后补充道,“我们希望这样的结果能够给竞争激烈的编程社区带来启发。”

人类程序员的反应


DeepMind 的博文还引用了谷歌软件工程师、“世界级”杰出程序员 Petr Mitrichev 的评论。


AlphaCode 在编程领域取得的进展给他留下了深刻印象。Mitrichev 点评道,“解决竞争性编程问题是个极为艰难的挑战,这要求参赛选手拥有良好的编码技能与创造性的问题解决能力。”


Mitrichev 还对 AlphaCode 生成的六个解决方案做出评论,指出提交内容中包含一些“无害、但也无用”的代码片段。


在其中一项提交中,AlphaCode 声明了一个名为 x 的整数类型变量,但之后却一次也没用过。在另一项图遍历提交中,AlphaCode 上来就按图内深度对所有相邻顶点进行了一轮排序,最后证明这个操作也完全没必要。还有一个需要计算密集型“暴力”解决的问题,AlphaCode 写下太多额外代码,导致其解决方案的计算用时高达人类选手的 32 倍。


Mitrichev 写道,事实上,AlphaCode 就是直接实现了一套大规模暴力解决方案,几乎没有使用任何调优技巧。


而且这套 AI 系统也跟人类程序员一样,会遇上解决不了的问题。Mitrichev 从一项提交中看出,如果实在找不到解决方案,AlphaCode“表现得就像个绝望的人类程序员。”它开始重复问题中的示例场景,“徒劳地想把示例转化成问题的答案。”


“人有时候也会这么做,但答案怎么可能就在题干里呢?从这个角度看,AI 跟人还挺像的。”AlphaCode 在这场比赛中的表现平平无奇、乏善可陈。 https://t.co/WMq7oHNZ5s


— Hacker News (@newsycombinator) 2022年2月6日


那么,AlphaCode 的比赛成绩究竟如何?根据 CodeForce 计算得出的程序员评分(使用与棋手排名相同的标准 Elo 评分系统),AlphaCode 的最终成绩为 1238 分。


但更有趣的是,我们可以用这个分数跟过去六个月以来参与 CodeForce 竞赛的所有程序员进行对比。研究人员在论文中指出,AlphaCode 的评分“在所有用户中排名前 28%。”



但也有人对这样的结果一笑置之。


蒙特利尔麦吉尔大学 AI 研究员、兼职教授 Dzmitry Bahdanau 在推文中提到,CodeForce 中的大部分参与者都是高中生或者大学生;而且考虑到预训练 AI 系统背后的超强算力支持,“作答时间”这个关键指标对 AI 选手的影响其实很小。


不过最重要的是,AlphaCode 的作答过程涉及对大量 AI 生成代码进行过滤,从中找到真正能够解决问题的部分。所以换个角度看,这意味着“AlphaCode 生成的绝大多数程序都是错的。”


所以,尽管这确实是个很有希望的探索方向,但 Bahdanau 并不觉得 AlphaCode 算得上是编程里程碑:“它达不到举世无双的棋手 AlphaGo,或者颠覆了整个科学领域的 AlphaFold 那样的高度。我们还有很多工作要做。

AI 不会抢走你的开发饭碗

AI 不会夺走你的开发职位。 https://t.co/DCIkvqRfdL

— TNW (@thenextweb) 2022年2月14日


但 AlphaCode 的横空出世,总不会毫无影响吧?在论文最末尾,AlphaCode 的研究人员们写下两句话,认为这种代码生成能力“有望在系统内实现可递归编写与自我改进功能,意味着系统可以通过自我迭代变得越来越先进”。好可怕——此言一出,种种反乌托邦场景已经浮现在我们的脑海当中。


他们还在论文中提到另一个恐怖的可能性:“人类程序员的供应量可能持续增加,但需求也许将逐渐减少。


好在历史上的不少先例给我们吃下了定心丸,论文认为“以往某些自动化编程实例(例如编译器和 IDE)只是把程序员推向更高的抽象层级,同时降低了编程工作的准入门槛。”这其实是好事。


但少数比较警觉的程序员已经开始关注 AlphaCode 的动向。最近,Hacker News 上的一名编程学生就表示自己出现了“AlphaCode 焦虑症”,“现在我觉得自己就像在跟时间赛跑,特别害怕自己为之付出一切的职业突然就彻底消失了。”


面对 CodeForces 发表的一篇宣称“未来已来”的博文时,一位忧心忡忡的程序员甚至举起了倒退的大旗,坚称“人类的自动化探索应该有其限度。”这位程序员还尖锐地补充道,“DeepMind 那帮负责开发 AlphaCode 的程序员肯定“以为自己是不可替代的;错,他们将是第一批被取代的家伙。”


以上这些人明显是觉得 AlphaCode 的表现太强了,但也有人自信满满、觉得这套 AI 系统成绩太差。第一位评论者的态度就非常明确,“这 AI 也太菜了。”


原文链接:


https://thenewstack.io/when-deepminds-alphacode-competed-against-human-programmers/

2022-03-17 14:003367
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 528.0 次阅读, 收获喜欢 1975 次。

关注

评论 2 条评论

发布
用户头像
让人工智能写代码就是一个笑话,至少目前的三五十年是的。
2022-03-21 09:36
回复
不好说
2022-03-21 21:24
回复
没有更多了
发现更多内容

Python 生成 QR 二维码

HoneyMoose

Java面试必看!阿里(嵩山版)分布式核心原理笔记来了

Java架构追梦

Java 阿里巴巴 架构 面试 架构分布式

如何批量下载YouTube视频到本地

科技猫

软件 音视频 经验分享 资源分享 工具分享

EGG Network公链技术创新,EFTalk打造高效全能公链

币圈那点事

区块链

冲击大厂!阿里P9纯手打Java面试小抄(21版)在GitHub上已获80万star

Java 程序员 面试

电子门锁没电的解决办法

孙叫兽

生活 程序人生 电子锁

干货 | 万字详解整个数据仓库设计体系

五分钟学大数据

大数据 数据仓库 28天写作 3月日更

一个合格的CloudNative应用:程序当开源软件编写,应用配置外置

华为云开发者联盟

云原生 华为云 Cloud Native CCE CSE

Java 和 Python 关于 % 的那些坑

与你一起学算法

Java Python

2021最新总结网易/腾讯/CVTE/字节面经分享(附答案解析)

比伯

Java 编程 架构 面试 程序人生

论文免费开源:NB-IoT智慧路灯监控系统

不脱发的程序猿

28天写作 论文 3月日更 NB-IoT智慧路灯 大学生毕业

【LeetCode】设计停车系统Java题解

Albert

算法 LeetCode 28天写作 3月日更

「面试高频」秒杀架构的设计套路,你值得拥有

我爱娃哈哈😍

架构设计 架构设计实战 秒杀架构

区块链电子发票平台,区块链电子发票优势

13530558032

GO训练营第10周——日志&指标&链路追踪

Glowry

寻找被遗忘的勇气(十九)

Changing Lin

3月日更

一文搞懂三级管和场效应管驱动电路设计及使用

不脱发的程序猿

28天写作 电路设计 三极管 3月日更 场效应管

跟我学ModelArts丨探索ModelArts平台个性化联邦学习API

华为云开发者联盟

AI 联邦学习 API 华为云 modelarts

LeetCode题解:213. 打家劫舍 II,动态规划(不缓存偷盗状态),JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

智慧党建信息管理平台系统建设

13530558032

快点来学吧!Android性能优化面试题集锦,深度解析,值得收藏

欢喜学安卓

android 程序员 面试 移动开发

【前端面试题】关于一些js的一些面试题(金融行业),我和面试官扯了三个小时

孙叫兽

JavaScript 大前端 金融 笔试题

在线数据迁移,数字化时代的必修课 —— 京东云数据迁移实践

京东科技开发者

数据库 数据迁移

安卓嵌入式底层开发!整理出这份8万字Android性能优化实战解析,已开源

欢喜学安卓

android 程序员 面试 移动开发

拍乐云推出“实时标注”,助力少儿编程、在线金融等行业场景实现高效互动

拍乐云Pano

音视频 在线教育 互动白板 实时标注 在线金融

MySQL的锁

一个大红包

3月日更

收藏!Linux常用命令合集

roseduan

Linux

2021 年要了解的 34 种 JavaScript 简写优化技术

LeanCloud

JavaScript 面试 大前端

使用“零信任”,不惧“内部威胁”!

龙归科技

管理 数据完整性 零信任 内部威胁

2B营销路径: 9大步骤自我拆解

boshi

营销数字化 七日更

源中瑞智慧社区解决方案,社区服务平台

13530558032

AlphaCode刷题“卷”走程序员?谷歌编程大牛中肯评价:经常生成无害但也无用的代码_AI&大模型_David Cassel_InfoQ精选文章