写点什么

国内首个 AI 安全大赛圆满收官!AI 安全风险已非未来挑战,而是眼前威胁

  • 2022-09-18
    北京
  • 本文字数:2312 字

    阅读完需:约 8 分钟

国内首个AI安全大赛圆满收官!AI安全风险已非未来挑战,而是眼前威胁

9 月 16 日,以“共筑 AI 安全 安享智能未来”为主题的 AISC 首届人工智能安全大赛圆满落幕。中科院院士、清华大学人工智能研究院名誉院长张钹,北京市科学技术委员会、中关村科技园区管理委员会党组成员、副主任张宇蕾,北京市经济和信息化委员会党组成员、副主任潘锋,工业和信息化部网络安全管理局数据安全处四级调研员张洪为活动致辞。


本次大赛由国家工业信息安全发展研究中心、清华大学人工智能研究院和北京瑞莱智慧科技有限公司等单位联合主办,系首个全国性人工智能安全赛事,旨在推动人工智能攻防技术创新、实战演练、场景挖掘和人才培养。

 

同期举办的主题论坛,邀请到多位院士专家、行业领袖、政企代表出席,共同探讨如何在未来智能的全新战场,打赢技术攻防之战。与会专家们表示,重视人工智能安全体系建设,既是当务之急,也是长远考虑,需加快促进人工智能安全领域关键技术研究与攻防实践。

AI 安全风险已非未来挑战,而是眼前威胁

 

试想一下,有人将一张“神奇的贴纸”放置在面部,就可以使人脸识别门禁系统误认为是你,从而轻而易举打开大门;同样是这张“神奇的贴纸”,把它放置在眼镜上,就可以 1 秒解锁你的手机人脸识别,探取你的隐私如入无人之境。这并非科幻大片的想象,而是首届人工智能安全大赛颁奖典礼现场展示的真实攻防场景。


人工智能和其他通用目的技术一样,在高歌猛进的同时,也带来了新的风险和隐患。主办方北京瑞莱智慧科技有限公司首席执行官田天认为,人工智能技术风险发生的范围正随着应用场景的日趋广泛而逐步扩大,风险发生的可能性也随着其应用频次的增长而持续提高。在他看来,人工智能当前的安全风险主要可以从“人”与“系统”这两个视角来剖析。


大赛工作人员演示对抗样本攻击人脸识别门禁系统

从人的视角来评估 AI 的安全问题,首当其冲就是技术的两面性问题,存在 AI 滥用甚至“武器化”的问题。具体到人工智能的应用中来看,最为典型的代表就是深度伪造技术,它的负向应用风险持续加剧且已产生实质危害。


而现场的人脸识别破解演示,所揭示的正是系统的风险,它来自于深度学习算法本身的脆弱性。以深度学习算法为核心的第二代人工智能是个“黑盒子”,具有不可解释性,意味着系统存在结构性的漏洞,可能受到不可预知的风险,典型的就比如现场演示的“神奇贴纸”,其实就是“对抗样本攻击”,通过在输入数据中添加扰动,使得系统作出错误判断。

 

这一漏洞在自动驾驶感知系统同样存在,瑞莱智慧演示了用对抗样本攻击自动驾驶汽车。正常情况下,在识别到路障、指示牌、行人等目标后,自动驾驶车辆就会立即停车,但在目标物体上添加干扰图案后,车辆的感知系统就会出错,径直撞上去。

 

在人工智能的全生命周期,不仅存在算法层面的安全性问题,算力作为人工智能发展的重要基础设施,也面临着诸多风险,推动人工智能算力基础设施安全发展具有重要意义。活动期间,由国家工业信息安全发展研究中心牵头,联合华为技术有限公司和北京瑞莱智慧科技有限公司共同撰写的《人工智能算力基础设施安全发展白皮书》正式发布。



《人工智能算力基础设施安全发展白皮书》正式发布


白皮书围绕人工智能算力基础设施安全发展的意义、内涵与体系架构、安全管理现状、发展建议等方面展开深入研究。白皮书指出,人工智能算力基础设施不同于传统的算力基础设施,既是“基础设施”又是“人工智能算力”也是“公共设施”,具有基建属性、技术属性、公共属性三重属性。相应地,推动人工智能算力基础设施安全发展应从强化自身安全、保障运行安全、助力安全合规三个方面发力,通过强化自身的可靠性、可用性与稳定性,保障算法运行时的机密性与完整性,提升用户的安全管控力、认可度与合规性等八个领域筑牢人工智能安全防线,打造可信、可用、好用的人工智能算力底座,营造安全、健康、合规发展的人工智能产业生态。


以赛促研、以赛育人,守护未来智能安全

 

安全的本质在于对抗升级,构建安全需要一个持续攻防演进的过程。田天表示,大赛聚焦人工智能真实应用场景中的典型漏洞及风险,以赛促建、以赛促研,通过考核参赛队伍的漏洞发现、漏洞挖掘等能力,探索新型安全需求场景,推动AI攻防技术创新,为强化人工智能治理体系与安全评估能力建设提供支撑。

 


瑞莱智慧首席执行官 田天

 

结合具体赛题来看,自动驾驶安全赛题和人脸识别安全赛题从攻击视角出发,通过让选手攻击目标模型挖掘算法漏洞,旨在发现更加稳定的攻击算法,以更好的实现准确评估模型的安全性。深度伪造安全赛题则通过分析伪造音视频的相似性,来溯源不同伪造内容是否来自同一种或同一类生物特征生成软件,以促进对深度伪造检测技术的发展,具有重要的现实意义。

 

构建人工智能的安全生态,一方面需要技术的持续演进,一方面也需要专项技术人才的建设与培养。田天表示,由于人工智能安全研究目前仍属于新兴领域,专项人才较少,缺乏系统性的研究队伍,本次大赛通过实战演练的方式,全方位验证和提升选手实战能力,为培育一批高水平、高层次的人工智能安全新型人才团队提供了“快速通道”。

 

自七月开启报名以来,大赛共吸引来自全国范围内 70 多所高等高校、科研院所、企业机构的超过 400 支团队,共计 600 余名选手的踊跃参与。经过三个月的激烈角逐,最终,上海交通大学联合战队“AreYouFake”与北京交通大学战队“BJTU-ADaM”分别摘得深度伪造安全与自动驾驶安全赛道桂冠,北京理工大学战队“DeepDream”与建信金科战队“Tian Quan&LianYi”共同位列人脸识别赛道第一名。

 

本次大赛供了技术交锋和思维碰撞的平台,通过竞赛的方式挖掘攻击与防御技术新思路,同时链接产业侧真实安全需求,为进一步强化人工智能安全攻防研究提供基础,也为推动人工智能安全标准及能力建设提供了重要支撑,助力我国人工智能产业的整体发展。

2022-09-18 18:303722
用户头像
李冬梅 加V:busulishang4668

发布了 1059 篇内容, 共 676.1 次阅读, 收获喜欢 1220 次。

关注

评论

发布
暂无评论
发现更多内容

深入解析JVM-Java对象头组成

janyxe

Java JVM Java内存布局 Java对象头 Java对象组成

【PIMF】OpenHarmony啃论文俱乐部——“六脉神剑”详解

离北况归

OpenHarmony Openharmony啃论文俱乐部 六脉神剑

AirServer2022苹果mac电脑投屏软件工具

茶色酒

AirServer

13W字!2021最新发布互联网大厂高频面试技术点!

爱好编程进阶

Java 面试 后端开发

2020年Mybatis常见面试题总结(附答案)

爱好编程进阶

Java 面试 后端开发

2020年最具影响力的4种编程语言 平均薪资20K+

爱好编程进阶

Java 面试 后端开发

残酷春天里的中国科技(二):和全球供应链一起“仰卧起坐”

脑极体

设计消息队列存储消息数据的 MySQL 表格

孙强

架构师实战营

Linux驱动开发-内核定时器

DS小龙哥

4月月更

7步搞懂分布式全内容,我不信面试官还敢“怼

爱好编程进阶

Java 面试 后端开发

Android C++系列:C++最佳实践4多重继承与虚继承

轻口味

c++ android 4月月更

下单流程解耦新方案-你知道Spring事件监听机制吗

越长大越悲伤

事件驱动 SpringBoot 2 实战

@Autowired注解 -【Spring底层原理

爱好编程进阶

Java 面试 后端开发

王者荣耀商城异地多活架构设计

Fingal

架构实战营

8 应用服务器性能优化

爱好编程进阶

Java 面试 后端开发

EasyRecovery15数据恢复软件

茶色酒

EasyRecovery15

15 高可用网站的软件质量保证

爱好编程进阶

Java 面试 后端开发

学生管理系统详细架构设计文档

哈喽

「架构实战营」

Tuxera NTFS Mac2022磁盘读写工具

茶色酒

Tuxera NTFS Mac2022

HttpClient使用详解与实战一:普通的GET和POST请求

乌龟哥哥

4月月更

为什么选择学习 Sanic 框架

宇宙之一粟

4月月更 sanic

10个经典场景带你玩转SQL优化

爱好编程进阶

Java 面试 后端开发

[Day17]-[动态规划]打家劫舍

方勇(gopher)

LeetCode 数据结构和算法

一文了解异步编程基础

宇宙之一粟

Python 异步编程 4月月更

残酷春天里的中国科技(三):持续缠绕的科技封锁线

脑极体

2021春招最新分享:Java一线大厂高岗面试题解析合集(六大专题

爱好编程进阶

Java 面试 后端开发

20年最新金九银十面试必备,教你一份文档吊打面试官,拿到offer

爱好编程进阶

Java 面试 后端开发

如何从 Java 的 List 中删除第一个元素

HoneyMoose

Dio —— Flutter 网络请求之王者

岛上码农

flutter 移动端开发 4月月更 跨平台开发 安卓 ios

关于OpenHarmony3.1,想随便聊一点

坚果

OpenHarmony 4月月更

2021字节面经纯分享:面试真题+Java成长笔记

爱好编程进阶

Java 面试 后端开发

国内首个AI安全大赛圆满收官!AI安全风险已非未来挑战,而是眼前威胁_文化 & 方法_李冬梅_InfoQ精选文章