如何防范算法漏洞对 AI 系统带来的恶意攻击？

人工智能 (AI) 可以追溯到古代，当时的哲学家们编造出了许多关于人造实体如何被赋予人类智能或意识的寓言、神话和谣言。随着大数据、机器学习、神经网络技术的不断演进，AI技术逐渐从遥远的寓言和神话中走入真实世界。

近几十年来，AI 一直处于技术进步的前沿，它被广泛应用于安防监控、自动驾驶、金融预测、医疗诊断、视频游戏等领域。

一些 AI 成果包括人脸识别、自然语言处理、语音识别、文本生成、语言翻译、药物开发等已经深刻改变了人们对健康、生活、学习和其他方面的看法。毫无疑问，在未来，许多企业将依靠人工智能来提高效率和工作流程。

但是，在 AI 推动生产效率的提升和产业的数字化转型升级的同时，它所带来的技术风险和隐私伦理问题同样值得警惕，黑客也在利用 AI 技术开发软件程序并执行隐形攻击。

更重要的是，AI 技术本身也存在安全漏洞。当前主流的深度神经网络等技术具有的“黑箱属性”，导致 AI 算法存在不可解释性。这也就意味着 AI 技术在算法安全性上存在着不确定因素，可能会在产业应用落地中出现各种安全隐患和风险。

当身处数字化转型升级的各个产业正在享受这一波新的智能化技术红利的时候，AI 安全问题，就如同网络安全、信息安全一样，被提上产业数字化建设的日程表了。

那么，如何部署 AI 技术才会更安全？我们该如何防范利用算法漏洞对 AI 系统进行的恶意攻击？在训练 AI 模型时，如何保障数据的隐私和安全？带着这些问题，我们采访到了瑞莱智慧 RealAI 公司首席执行官田天，请他来与我们聊一聊 AI 安全领域面临的挑战以及应对之策。

以下为访谈实录，经编辑：

InfoQ：目前 AI 领域面临的安全威胁都有哪些？

田天：前几年大家更多关注的是，人工智能如何在场景中应用起来，去提升生活质量以及生产效率等等。但是近年来随着人工智能开始应用在很多高价值关键场景，比如金融、交通等领域，很多安全隐患开始逐步体现出来。我们关注到至少有三方面存在比较重大的安全隐患：

第一，模型算法本身的安全性、可靠性问题。现阶段人工智能的发展很多都是基于深度学习、深度神经网络。随着神经网络模型结构越来越复杂，模型越来越大，参数越来越多。其实反过来讲，神经网络模型也是一个越来越复杂、越来越难以理解的黑盒模型。然而黑盒模型就有可能存在一些难以被发现的错误逻辑，或者说结构性的算法漏洞、算法后门，黑客可以利用这些漏洞发起攻击。

以目前大规模落地的人脸识别系统为例，人脸识别系统依靠海量人脸数据进行特征提取、训练，进而进行识别，整个过程为黑箱模式，缺乏可解释性，黑产分子可利用漏洞进行多种模式的绕过与攻击。例如对抗样本攻击，在人脸照片上添加少量干扰或将对抗补丁打印制作后由真人佩戴，就能欺骗人脸识别系统。除了人脸识别系统，自动驾驶汽车搭载的感知系统也同样能够被攻击，比如障碍物上加装干扰因素，改变表面颜色、修改形状，就可能误导感知算法，让车辆无法感知到障碍物，这些都是算法层的安全漏洞，存在巨大的安全隐患。

第二，数据安全。人工智能的发展离不开大数据，要构造能力更强的人工智能，需要更多、更关键以及更高价值的数据。但是高价值数据往往与个人隐私信息，甚至商业机密信息相绑定。那么在落地 AI 的过程中，就可能在数据应用或者流通环节造成信息泄露。比如近些年愈演愈烈的电信诈骗，源头就来自于个人信息泄露，诈骗分子利用非法渠道获取的隐私数据伪造身份信息实行欺诈。所以，如何在保证发挥人工智能作用的同时，确保数据使用的安全，这是非常关键的问题。

第三，技术的应用可控问题，简单来讲就是 AI 滥用问题。因为人工智能是一个能力非常强的工具，但是工具就具有两面性质，可以被用于造福人类的场景，反过来也可能被不正当的利用。比如最典型的深度合成技术，也就是我们熟知的“AI 换脸”，这项技术能够升级影视制作、广告营销等场景中的内容制作效率和质量，并为一些全新场景提供了技术可能，例如虚拟主播。但这项技术目前却被大规模的滥用，比如通过“AI换脸”技术进行色情视频生成、编造虚假新闻等。一些黑产分子甚至通过使用软件程序低成本地合成带有各种动作的人脸视频，结合注入攻击手段后便可以轻易欺骗线上人脸识别系统，进而从事诈骗行为。我们认为防范 AI 滥用，也是整个人工智能应用环节必须要关注到的安全风险。

InfoQ：现在大家对抗性机器学习的受关注热度比较高，什么是对抗性机器学习，常见的对抗性机器学习的场景有哪些？

田天：对抗性机器学习最典型的是针对深度学习、深度神经网络的对抗，也就是上个问题中算法安全部分我们提到的。深度神经网络其实是非常复杂的模型，而复杂模型本身就是一个黑盒，黑盒的设计者、开发者也不知道模型内部结构、算法的运算逻辑是怎样的。对抗机器学习包含攻击手段与防御手段。攻击端就是利用攻击手段去寻找模型设计过程中存在的缺陷或漏洞，相当于找模型什么时候会出错。防御侧则是在发现隐患或漏洞后，通过对抗训练、外部接入保护措施等方式，来提升整个模型的安全性，保证模型在受到攻击后的安全运行。

其实，在人工智能应用的各个场景中，广泛存在着对抗机器学习的问题。典型的比如图像领域的人脸识别、图像分类以及目标检测，都存在算法安全问题，像上面提到的通过特定的攻击方式能够让模型失效，因此需要通过对抗学习的方式来提升安全性。除此，语音识别、推荐系统，甚至自然语言处理等等，各个场景都存在着对抗。另外按照攻击类型来分，可分为有目标攻击和无目标攻击等不同类型。所以整个对抗机器学习是一个非常大的技术体系，需要进行专门研究。

InfoQ：我们花费大量的人力、物力研发出了一个模型以后，是不是攻击者也要付出很大的代价来攻击它？

田天：对于攻击者来说，如果要做白盒攻击，就需要获得被攻击模型的所有信息，包括网络结构、参数等等，这其实是非常难、成本很高的一件事情。退而求其次，如果去做黑盒攻击，实施起来相对就会容易一些，一类被称为查询攻击的方法是需要去持续请求被攻击模型，获得该模型在特定样本上给出来的反馈结果，另一类被称为迁移攻击的方法，甚至可以不用在实施真正的攻击前去请求被攻击模型。所以攻击技术也在演化，相当于是很多人在尝试去降低攻击的成本，而且随着技术的开源化、工具化，攻击的难度和成本肯定是逐步降低的。

InfoQ：目前对抗性机器学习对于 AI 和机器学习系统造成的主要危害有哪些？

田天：主要危害在于让算法出错，使 AI 系统无法给出正确的结果。以人脸识别为例，比如刷脸闸机，正常情况下，只有存有身份信息获得授权的人员才能通过。但是利用算法漏洞，我作为一个未授权人员通过在面部添加特定干扰，就能让系统出错通过闸机。这相当于产品的基本功能失效了，存在明显的危害。

InfoQ：在自动驾驶领域，比如很多车企之前就曝光因自动驾驶系统失控发生多起安全事故，威胁到驾驶员的人身安全，对于这种现象您怎么看？

田天：自动驾驶的很多安全问题也源自于算法本身的不可靠、鲁棒性差。一方面在于，自动驾驶系统本身的鲁棒性就比较差，在特殊的场景下，或者一些极端情况下很容易出错另外，还有可能被人利用算法漏洞恶意发起攻击，与上面人脸识别的问题类似，攻击者修改目标物体的颜色、形状等，就能让自动驾驶车辆的摄像头，甚至激光雷达失效，目前这类攻击成功率是非常高的。

InfoQ：针对这样的安全隐患，我们有哪些防范措施？

田天：针对这个问题，我们在做两方面的工作。以网络安全作为对比，随着互联网的发展，互联网领域存在很多网络安全隐患，因此出现了一系列工具来增强网络系统的安全性，比如大家比较熟悉的杀毒软件、防火墙。

类似的，我们在做针对 AI 系统的杀毒软件和防火墙。这里的“杀毒软件”是我们推出的业内首个人工智能安全平台 RealSafe，通过内置一系列攻击算法和防御算法，提供从模型安全测试到模型安全加固一站式能力。例如一套人脸识别系统，接入到平台后，可以调用攻击算法模块对系统自动进行模拟攻击，平台会输出安全性评分报告，借此得知系统模型在什么样的情况下容易受到攻击。在发现安全隐患之后，针对每一种漏洞或攻击风险，平台搭载了对应的防御模块，通过对抗训练或者其他方式来增强模型的安全性。

另外，我们也开发标准化的AI安全防火墙。比如现阶段的人脸识别系统存在一系列的模型和算法漏洞，容易受到攻击，我们在现有人脸识别流程中前置防火墙模块，识别请求先过防火墙，防火墙来判断里面输入数据中是否存在攻击。如果没有攻击，正常进入后面的识别环节，如果有攻击就直接拒绝，保证系统不受攻击，更加安全。

InfoQ：您说的 AI 安全平台以及防火墙这样的工具，目前的效果是怎么样的，如果要给这个效果从 1-10 打分，您会打几分？

田天：安全问题进入 AI 时代，最明显的特征就是深度神经网络增强了 AI 的自我学习和升级迭代能力，而这种能力自然也被攻击者所掌握。所以，AI 时代谈安全，其实不仅仅是谈“魔高一尺道高一丈”的问题，更是谈“魔”和“道”谁对谁的感知能力更强，谁更有预见性和主动权的问题。针对这样的新特点，瑞莱智慧人脸识别防火墙 RealGuard 具备两个最主要的优势：一是对人脸识别物理和数字世界的全景式安全态势感知能力，始终力争让“道”走在“魔”的前面，这其中的底气来源于瑞莱智慧依托清华多年来对人工智能安全算法、对构建第三代人工智能的科研攻坚。二是对攻击防御的高准确率，目前，RealGuard 可以针对对抗样本攻击、面部替换攻击、表情操纵攻击等新型人脸识别安全风险，做到全覆盖防御。如果说要对效果进行打分，那我更愿意用产品的客观运行数据说话，RealGuard 目前针对攻击的拒绝率达到 98%以上。

InfoQ：这两款产品目前的应用进展如何，有取得哪些成效？

田天：目前这两款产品已经在金融、政府等领域落地。比如在金融领域，我们与多家国有行、股份制银行合作，提供人脸识别系统的安全检测与加固服务；在政府领域，我们与公安部门合作，提供监控视频智能化方案，基于攻防加固提升监控系统的安全性；包括我们与多家整车厂商合作，提供自动驾驶安全解决方案。

InfoQ：经过多年的发展，您认为人工智能安全的研究发展到了哪个阶段？

田天：现在这个领域已经走出实验室，进入到产业化的阶段。随着近年来安全事件的层出不穷，以及政策监管的重视，市场迫切需要针对 AI 应用的安全产品。其实包括我们在内，国内外近年来也陆续出现一些团队开始从事这一领域，布局商业化的 AI 安全产品，推出相关的软件、系统、硬件等等。尤其今年来看，产业已经开始进入快速发展的落地期，金融、公安等重点领域都开始落地。

InfoQ：您觉得未来 AI 安全将会朝哪个方向发展，有哪些技术值得关注？

田天：第一，AI 对抗攻防技术必须要持续研究。因为攻击和防御是一个持续升级的过程，新的攻击手段会不断地产生，因此也需要不断研究新的防御手段；

第二，对合成技术的安全问题需要加大关注。因为随着技术的不断成熟，合成类内容在清晰度、流畅度、逼真度等各方面都有大幅提升，已经超越了人眼分辨的极限，真假难辨的背后是对社会信任的冲击，危害性在不断增强，因此必须依靠技术手段对这类伪造内容进行判别以及溯源；

第三，需要去发展与人工智能相适应的隐私保护技术，确保人工智能应用过程中，对敏感数据的保护，不泄露数据。并且，这三方面需要去并行发展。

嘉宾简介：

田天，清华大学人工智能博士，机器学习、知识聚合领域专家，现任瑞莱智慧 RealAI 公司首席执行官。在清华大学期间师从人工智能领域泰斗、清华大学人工智能研究院名誉院长张钹院士和清华大学人工智能研究院基础理论研究中心主任朱军教授，期间在贝叶斯机器的理论、模型和应用领域取得了一系列成果，在 NIPS、ICML、AAAI、PAMI 等人工智能领域的顶尖会议期刊上发表数十篇高水平论文，在 AI 领域拥有发明专利数十项。