QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

对抗样本:人类对抗人工智能的希望?

  • 2017-01-16
  • 本文字数:2184 字

    阅读完需:约 7 分钟

人工智能可怕的攻势

不管你是否准备好,这两年,人工智能可以说是以秋风扫落叶之势,向人类发起了攻城略池的各项挑战。

2016 年,AlphaGo 初试牛刀,以 4:1 对阵韩国围棋高手李世石,引发了全球对人工智能的关注。2017 年年初,人工智能“Master”用连胜 60 局的战绩横扫了世界围棋界各路顶尖高手,一周时间的最后,Alpha Go(阿尔法狗) 脱下“Master”的马甲,宣布暂时闭关。他的最后一个对手、世界冠军古力留下两个字:绝望。

正如在 1997 年,IBM 的深蓝超级计算机击败国际象棋世界冠军卡斯帕罗夫那样,它已成为人工智能发展的里程碑事件。再到前不久,加拿大阿尔伯特大学开发的人工智能扑克系统 DeepStack 在一对一的无限下注德州扑克战胜了世界最强的人类德州扑克玩家。这一年来,人工智能的快速发展引发了世界一片惊呼,市场关注度空前高涨。

深度神经网络是目前人工智能领域最热门的路线之一。AlphaGo 和 Master 的核心技术就是深度神经网络。这个月的《最强大脑》第四季中人机大战特别吸晴的百度智能 AI 小度,也是以深度神经网络为核心。

想象一下一台十分好学上进的超级计算机,不知疲倦地和各个领域的宗师切磋对抗:深蓝、疯石、沃森、ZEN、仙王座……地学习各种人类的阴谋诡计,学成之后,它究竟会做些什么?早晚有一天这些家伙们会联合起来!

在可怕的人工智能面前,人类是不是就束手无策了?

不一定。人类手中可能还有一根救命稻草:“对抗样本”。

对抗样本

2015 年,三位科学家 Nguyen A、Yosinski J、Clune J 发表了一篇论文:《 Deep neural networks are easily fooled: High confidence predictions for unrecognizable images 》,在论文中,研究者构造了一类“对抗样本”,就是人为设计的图像,发现很容易骗过人工智能。机器视觉在这些样本上会产生戏剧性的错误,如下图。

左图被神经网络以 60% 的置信度将它识别为“熊猫”,然后给它人为叠加上中图所示微小的扰动(实际叠加权重只有 0.7%),得到右图。在人类看来,几乎没有什么变化,但人工智能却以 99.3% 的置信度识别为“长臂猿”。

研究者指出,只要对图片做出一些人类无法察觉的修改,人工智能就会被“愚弄”;还可以设计出某些人类无法识别的图片,人工智能却“确信”它识别出的东西。

左图被人工智能识别为一只狗,但右图却识别为一只鸵鸟。右图就是“对抗样本”的一个例子。

上述八张图片,在人类眼里是毫无意义的图片,但却被人工智能分别识别为知更鸟、猎豹、犰狳、小熊猫、蜈蚣、孔雀、菠萝蜜和气泡。置信度均接近 100%。

这些奇特的错误并不限于某个特定的神经网络,能骗过一个网络的图片,也能骗过另一个;它们也不限于图片识别,甚至不限于神经网络本身——研究者所尝试过的所有机器学习模型,都出现了这样的问题。Ian Goodfellow 指出,这种问题,不仅深度神经网络构建的的系统不能避免,更槽糕的是,其他各种机器学习算法也都无法避免。

来自不同团队的研究者已经确保了他们的愚弄图片不止在一个系统里整蛊成功。Google 的 Christian Szegedy 和他的同事们,在一篇论文《Explaining and Harnessing Adversarial Examples》写道:
“一个为某一模型生成的样本,通常也会被其他模型错误归类,即使它们有着完全不同的架构。”或者使用的是完全不同的数据集。“这意味着这些神经网络对校车长什么样有着某种共识,”Jeff Clune 表示,“但它们的共识与人类辨认校车的标准大相径庭。这一点让很多人大吃一惊。”

而到目前为止,人工智能这个错误,研究者还没有特别有效的修正办法。

人类最后的希望

对抗样本本来是个系统漏洞,但它却有可能成为人类对抗人工智能最后的希望,如果未来有一天,我们不得不与人工智能对决的话。为什么?因为对抗样本有三个特点:

  • 对抗样本并不限于一个具体的神经网络,因此制造对抗样本也不需要获得该模型的源代码之类的东西。只要模型是被训练来执行相同的任务的,它们就会被同样的对抗样本欺骗,哪怕这些模型有不同的架构、使用了不同的训练样本。因此,人类只要设计一个模型,创造出相应的对抗样本,就能用这些样本攻击那些同样任务的人工智能。
  • 对抗样本很难用常规的办法解决。有研究组尝试了各种各样传统手段,包括多个模型取平均值、同一图像多次判断取平均值、带噪音训练、生成模型等等,都不能解决对抗样本问题。有针对性的专门训练可以让模型的抵抗力更强,但也无法真正消灭盲区。
  • 人类不会被这些样本欺骗。当然,人类也会在意想不到的地方跌倒——心理学已经提供了浩如烟海的视错觉和其他错觉例子。这些错觉可以认为是人类专属的“对抗样本”。但是面对神经网络的对抗样本,和面对人类的对抗样本,二者并不重合。我们都会犯错,但犯的错误不一样。

因此,未来人类如果和人工智能之间爆发战争,对抗样本的漏洞也许会帮助人类战胜人工智能。

我们有理由相信,这段时间吸晴的 AlphaGo、Master、小度等等,它们也会受困于精心设计的对抗样本——当人类无法正面战胜人工智能的时候,可能必须要开辟新的战线,决一死战:设法引导人工智能步入心智陷阱,从而战胜人工智能。但问题是,人类如何找出对方的盲区,如何引导对方失误,自己要做出多少牺牲,是否有可能制造出某种对抗样本,令对方陷入更大的心智陷阱,乃至死机?


感谢朱昊冰对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-01-16 18:002449
用户头像

发布了 375 篇内容, 共 194.8 次阅读, 收获喜欢 947 次。

关注

评论

发布
暂无评论
发现更多内容

百度商业大规模微服务分布式监控系统-凤睛

百度开发者中心

产品 最佳实践 方法论 经验分享 监控系统

第一次看房

escray

生活记录 8月日更

[灵魂拷问]MySQL面试高频100问(工程师方向)

编程菌

Java 编程 程序员 面试 计算机

三年开发,跳槽腾讯三面终获Offer,定级T2-1(面试题+经验总结)

编程菌

Java 编程 程序员 面试 计算机

模块五作业

俊杰

架构实战营

上游思维:如何定义成功?

石云升

读书笔记 8月日更 上游思维

北鲲云计算:为药企研发的飞速发展提供助力

北鲲云

GrowingIO Design 组件库搭建之单元测试

GrowingIO技术专栏

单元测试 Jest Storybook

OceanBase 常见参数和变量究竟有什么本质区别?

OceanBase 数据库

数据库 oceanbase OceanBase 开源 OceanBase 社区版

神策数据微信小程序 SDK 功能介绍

神策技术社区

小程序 微信 代码 神策数据 维护

基于 CODING CD + Nocalhost 在大型应用的 ChatOps 实践

CODING DevOps

DevOps 工具 CI/CD 开发测试 ChatOps

基金这么赚钱!!编程实现基金从采集到分析通用模板!(白酒为例)

Python研究者

8月日更

Android SDK 的 H5 打通方案演进

神策技术社区

大前端 后端 神策数据 shujv

三分钟了解大数据技术发展史

张浩_house

人工智能 机器学习 大数据

OCR开发者福音:PDF提取Excel文件算法开源啦

百度开发者中心

开源 最佳实践 开发者 方法论 OCR

iOS SDK 的 H5 打通方案演进 | 数据采集

神策技术社区

程序员 大前端 后端 数据 方案

博睿数据斩获“飞腾PCS认证集成商”,推动国产化生态建设再进一步!

博睿数据

Python开发篇——RSA加密算法和SHA1计算文件校验码

吴脑的键客

Python

Windows Server 2019 安装提要 (及 VS 2019 Build Tool) - 续

hedzr

DevOps vscode windows server 2019 server core visual studio 2019

阿里技术3面+HR面,奋战两个月,终斩获offer定级阿里P6+

编程菌

Java 编程 程序员 面试 计算机

硬核技术,带你走进3D点云车道线自动识别

澳鹏Appen

自动驾驶 机器学习 训练数据 3D点云 车道线标注

Springboot通过@WebFilter日志双份打印BUG分享

FunTester

性能测试 springboot bug

科技的世界里没有“粉红税”

脑极体

ASM 实现 Hook Lambda 和方法引用

神策技术社区

大前端 后端 asm 代码 神策数据

文化与科技的交织,华为P50 Pro与一曲长城谣

脑极体

从 0 到 1 ,不能忽略的「道」

非著名程序员

产品 产品经理 认知提升 8月日更

技术白皮书:现代企业架构设计

码语者

企业架构

云原生 | 混沌工程工具 ChaosBlade Operator Pod 篇

RadonDB

数据库 混沌工程

ipfs国家认可吗?ipfs挖矿靠谱吗?

IPFS国家认可吗 ipfs挖矿靠谱吗

hadoop 基本原理与应用

神策技术社区

hadoop 程序员 Hadoop全分布式集群

分享 6 个JavaScript学习资源

devpoint

JavaScript GitHub 8月日更

对抗样本:人类对抗人工智能的希望?_语言 & 开发_刘志勇_InfoQ精选文章