产业智能化的大江大河，需要 AI 安全这样守护

当前，诸如图像识别、语音识别、自然语言翻译等 AI 技术已经在移动互联网、新型产业甚至众多传统产业领域得到普遍部署和广泛应用。以机器学习、深度学习为核心的第二次人工智能的加速成熟，终于迎来了人工智能技术的高光时刻。

无论是国家、科研机构，还是科技企业和各个产业，也都在以满怀憧憬的热情来推动着 AI 从科研学术成果走向产业落地。

AI 技术的普及速度确实远超历次新技术革命带来的产业速度，其应用的规模和深度也正在像电力、石油、互联网一样，被看作新的生产生活的基础设施。

在备受 AI 技术广阔前景的鼓舞之时，人们也开始意识到 AI 技术本身也是一把双刃剑。

AI 既能推动生产效率的提升和产业的数字化智能化水平的提升，同时又能带来全新的技术风险和隐私伦理问题，成为新型诈骗犯罪、黑产牟利的趁手工具。

更重要的是，AI 技术本身也存在一大隐忧。当前主流的深度神经网络等技术具有的“黑箱属性”，导致 AI 算法存在不可解释性。这也就意味着 AI 技术在算法安全性上存在着不确定因素，可能会在产业应用落地中出现各种安全隐患和风险。

正如随着计算机技术和互联网的诞生，计算机病毒、网络攻击等危害网络安全的技术便如影随形，AI 技术的出现和发展也将始终伴随着 AI 安全的种种问题相伴而行。

AI 技术带给产业的革命性变革的规模、价值越大，那么，其安全问题所导致的严重后果的影响也就越大。

当身处数字化转型升级的各个产业正在享受这一波新的智能化技术红利的时候，AI 安全问题，就如同网络安全、信息安全一样，被提上产业数字化建设的日程表了。

“看不到”的 AI 安全风险

提及 AI 安全问题，很多人第一反应可能是，通过 AI 技术进行人脸造假、AI 仿声、AI 仿写假新闻、图像及视频造假等带来的欺诈、隐私安全问题。

确实，当人们惊叹于 AI 技术几乎快要无所不能的时候，也能很直观地意识到 AI 造假带来的这类安全问题。毕竟 AI 造假既有舆论话题，又与大众息息相关。

但是对于 AI 技术本身所蕴藏的算法安全风险，大众则可能没有非常直观的理解。

而这一 AI 安全风险，则是因为这些算法被当做“成熟”技术，广泛应用在产业的各个生产场景当中，因而造成更为隐蔽但同样后果非常严重的次生安全问题。

首先，AI 算法本身存在安全漏洞。因为各类机器学习的高度复杂，带来的“黑箱问题”使得算法不可解释。这就如同我们乘坐在一架不知道由什么原理制造的发动机驱动的飞船上，看似效果还不错，但是一旦出现问题，发明者也只能从“发动机”外部进行各种“尝试性”修正。

其次，算法的“黑箱问题”会引发各类 AI 系统安全风险，比如恶意机器学习的产生。攻击者可以利用 AI 技术漏洞进行“对抗样本攻击”和“数据污染攻击”等种种手段，使得 AI 系统出现判断失准等问题。

最后，当这些 AI 系统应用于某些安全性要求极高的领域，比如安防监控、工业质检、自动驾驶、金融风控以及医疗诊断上面，一旦 AI 出现判断偏差，将会带来直接的经济财产损失，甚至是人身安全与健康风险等严重后果。

原本要应用于提升生产效率和安全性的 AI 技术，却有可能走向自身的反面。AI 算法安全问题必须引起这些积极投入智能化的产业决策者的重视，同样这一问题也需要得到来自 AI 技术研究者的积极回应。

建造 AI 算法安全的长城

在 2018 年，信通院发布的《人工智能安全白皮书》就将“算法安全风险”列为 AI 领域的六大安全风险之一，指出 AI 算法当中存在的五种风险：算法黑箱、算法设计缺陷、数据依赖、对抗样本攻击、算法歧视。

针对这些算法安全风险，提供 AI 算法的安全评估检测成为未来的 AI 安全的重要发展方向。

当前，AI 算法模型，由于算法黑箱和算法漏洞的存在，面对攻击者恶意攻击难以被检测。因此，建立可解释、可溯源、鲁棒性强的 AI 模型成为 AI 应用落地的根本任务。

而对抗样本攻击又是造成当前 AI 安全风险中的主要手段 。攻击者可以在判断阶段对样本加入少量噪音，诱导算法识别出现误判，影响判断结果。提升对抗样本攻击的防御手段，提供算法漏洞检测技术，也成为 AI 安全的当务之急。

随着产业智能化落地的加速，AI 算法安全已经成为一个产业现实的需求。当前，像谷歌、IBM 以及国内的一些 AI 开发的公司和团队，也早已展开了相关 AI 安全的研究和应用。

据我们了解，在 AI 安全检测领域，一家背景源自清华大学人工智能研究院的 RealAI，则成为国内第一家专门进行 AI 安全产品商业化的公司。

为解决 AI 模型安全检测问题，RealAI 在去年 5 月与清华大学人工智能研究院联合推出一款名为“RealSafe”的对抗攻防工具箱，并于近日就攻防能力和使用方式进行了全面升级。

升级后的 RealSafe 平台是目前首个针对算法模型本身安全的检测平台，提供从安全测评到防御加固升级整体解决方案。非技术人员仅需几步即可快速应对对抗样本攻击带来的安全威胁

目前来说，RealSafe 安全平台主要可以实现以下三大功能：

1、AI 算法模型的安全检测。主要包括提供 AI 算法漏洞检测，以及全面、细致的攻击效果评测与比较，给出模型安全评分及详细的测评报告。其方法主要是利用多种主流和自研的算法生成对抗样本进行模拟攻击，通过黑盒查询攻击方法与黑盒迁移攻击方法，来实现 AI 算法模型的检测评估。

2、对抗样本体验。这一功能并不难理解。想要成为 AI 安全技术的领先者，也必然了解和精通最丰富的对抗样本攻击手段。在去年 10 月举办的 GeekPwn2019 国际安全极客大赛上，RealAI 与清华大学共同组成的 TSAIL 战队获得“CAAD CTF 图像对抗样本挑战赛”以及“CAAD 隐身挑战赛”两项比赛的冠军。其中，RealAI 团队所使用的图像对抗样本，可以轻易攻破目前主流的人脸识别系统，或者直接骗过目标检测系统而实现“隐身”。

通过对抗样本和样本噪声清洗后的对比体验，RealSafe 可以将 AI 对抗样本攻防体验在线直观地呈现给客户和大众，从而提高人们的 AI 安全风险意识。

3、通用防御解决方案。目前 RealSafe 已经能够提供五种去除对抗噪声的通用防御方法，可实现对输入数据的自动去噪，破坏攻击者恶意添加的对抗噪声。用户可以根据自身的 AI 模型的评测类型，选择相应的防御解决方案。据了解，部分第三方的人脸比对 API 通过使用 RealSafe 平台的防御方案加固后，安全性可提高 40%以上。

对于 AI 算法安全评测以及防御应用，RealSafe 平台并不是给出一套复杂的算法模型和开发工具，让企业客户再去部署开发，而是采用了流程化、模块化、零编码的功能设置，用户只需提供相应的数据即可在线完成评估，极大降低了算法评测的技术难度。

同时，为了降低用户理解难度，RealSafe 还提供了可视化和量化的评测结果，可以实现对抗样本攻击下的表现评分和防御处理后的评分变化以及模型效果的变化展示。

在 RealSafe 已经完成的这一安全检测平台之上，可以实现哪些产业领域的 AI 安全保障呢？

为 AI 产业落地保驾护航

正如技术发展呈现的“矛与盾”的复杂关系，AI 安全也同样呈现出一种持续攻防的过程。新的攻击手段出来，也必然要求有新的防御方法去应对。

随着 AI 技术不断地成熟，以及在工业、金融、安防、交通、医疗教育等领域的实际应用，这场 AI 安全的攻防赛就会以一种更加复杂和多变的竞对状态呈现出来。

目前，大量的 AI 安全风险已经出现，而且很多以常人难以直观理解的方式出现在 AI 的应用场景当中。

比如，在人脸检测和识别场景，攻击者只要对面部的某些部位做出一点修改（比如佩带带有对抗样本图案的眼镜），就可以成功逃脱 AI 系统的识别，从而实现“伪装”和“隐身”。而目前人脸比对识别被广泛应用在于身份认证、手机解锁、金融远程开户、酒店入住登记等等场景，一旦人脸比对识别被恶意攻破，将会对个人信息安全、财产造成难以估计的损失；

在自动驾驶领域，如果在交通指示牌或其他车辆上贴上或涂上一些小标记，也可能导致自动驾驶车辆产生错误判断，可能会导致严重的交通事故。

而对于安防领域，攻击者对于人脸识别系统的对抗攻击，也会产生相应的监控漏洞和失误，从而带来相应的安全风险。

目前，RealSafe 已经应用在工业、安防等多场景的安全检测当中。其中最新落地的一个案例，可以很好地说明 AI 安全风险检测的重要作用。

某电网的输电塔的监控系统，由于输电塔的高安全性防护要求，防止吊车、塔吊、烟火破坏输电线路，需要对输电塔内外进行全天候的实时监控。而这一实时监控系统已经交由某一目标检测的 AI 算法来提供保障。

RealSafe 发现只要对其 AI 算法进行一定的对抗样本攻击，就会造成监控算法的失效，从而无法识别非常明显的烟火情形。为此，RealSafe 提供了完整的 AI 算法检测和 AI 安全防火墙的搭建，从而最大限度地保证了监控系统的有效性。

像这些隐蔽的 AI 安全风险，普通人可能难以理解，但正是这些风险漏洞，成为那些技术黑客、黑产们每天都在潜心研究的薄弱环节。更不要说，直接利用 AI 技术的强大造假能力和低成本复制能力，展开诸如人脸造假、语音克隆、笔迹\邮件伪造等引发的诈骗活动。

而这些 AI 算法漏洞产生的安全风险和 AI 算法滥用带来的欺诈风险，成为 RealAI 及其 RealSafe 平台持续努力要攻克的安全难题。

作为国内外最早关注 AI 安全领域的团队，借助对于 AI 算法攻防技术的多年研究，RealAI 提前占据了在 AI 安全领域的先发优势。目前，RealAI 在攻击方面的多项相关技术成果已经发表在国际顶级的学术刊物上，形成了业内较高的竞争壁垒。未来，RealAI 也表示，会通过举办一些 AI 安全的攻防比赛，吸引更多 AI 人才参与到 AI 安全领域，基于 RealSafe 的平台发现更多的安全隐患和防御手段，形成更为完善的 AI 安全生态。

RealAI 团队也意识到，保持 RealSafe 平台的技术优势，也必须同产业场景真实的 AI 安全需求联系起来。目前，RealAI 已经在工业设备质检、金融精准营销、信贷风控、反欺诈等业务场景开展了多项业务。通过 AI 模型应用对这些产业业务本身带来效益提升外，同时也将能够更好地来发现业务本身可能存在的安全风险漏洞，反过来可以更好地支持算法模型优化。

如果将产业智能化升级看作一条蓄势向前的河流，那么，AI 算法的丰富拓展了产业智能化场景的广度，其成熟和升级决定了产业智能化的深度，而 AI 算法的安全可靠，则决定了产业智能化的长度。

如果在 AI 的产业场景应用中，一旦存在着致命的安全风险或者其他法律、道德风险，那么将直接造成某一项 AI 技术停滞或者 AI 在产业规模化应用的延迟。

AI 安全的重要性再无须赘述了，而加强 AI 算法安全意识，提升产业应用场景下的 AI 算法安全防护能力，则已经是当下非常重要而紧迫的要求了。

幸而，以 RealAI 为代表的这些顶尖 AI 团队早已开始了这一 AI 安全领域的征程，RealSafe 平台也正在以标准化的、低学习门槛、低成本应用的方式来实现 AI 算法检测的产品化服务。

这些仅仅是 AI 安全市场先行者走出的一小步。而这场无止境的 AI 安全较量中，也必将在未来各个产业智能化的大江大河中，成长为一块丰沃之地。

本文转载自脑极体公众号。

原文链接：https://mp.weixin.qq.com/s/VggMjosO3iO_9fKm0fC74w