产品战略专家梁宁确认出席AICon北京站,分享AI时代下的商业逻辑与产品需求 了解详情
写点什么

国内首个 AI 安全大赛圆满收官!AI 安全风险已非未来挑战,而是眼前威胁

  • 2022-09-18
    北京
  • 本文字数:2312 字

    阅读完需:约 8 分钟

国内首个AI安全大赛圆满收官!AI安全风险已非未来挑战,而是眼前威胁

9 月 16 日,以“共筑 AI 安全 安享智能未来”为主题的 AISC 首届人工智能安全大赛圆满落幕。中科院院士、清华大学人工智能研究院名誉院长张钹,北京市科学技术委员会、中关村科技园区管理委员会党组成员、副主任张宇蕾,北京市经济和信息化委员会党组成员、副主任潘锋,工业和信息化部网络安全管理局数据安全处四级调研员张洪为活动致辞。


本次大赛由国家工业信息安全发展研究中心、清华大学人工智能研究院和北京瑞莱智慧科技有限公司等单位联合主办,系首个全国性人工智能安全赛事,旨在推动人工智能攻防技术创新、实战演练、场景挖掘和人才培养。

 

同期举办的主题论坛,邀请到多位院士专家、行业领袖、政企代表出席,共同探讨如何在未来智能的全新战场,打赢技术攻防之战。与会专家们表示,重视人工智能安全体系建设,既是当务之急,也是长远考虑,需加快促进人工智能安全领域关键技术研究与攻防实践。

AI 安全风险已非未来挑战,而是眼前威胁

 

试想一下,有人将一张“神奇的贴纸”放置在面部,就可以使人脸识别门禁系统误认为是你,从而轻而易举打开大门;同样是这张“神奇的贴纸”,把它放置在眼镜上,就可以 1 秒解锁你的手机人脸识别,探取你的隐私如入无人之境。这并非科幻大片的想象,而是首届人工智能安全大赛颁奖典礼现场展示的真实攻防场景。


人工智能和其他通用目的技术一样,在高歌猛进的同时,也带来了新的风险和隐患。主办方北京瑞莱智慧科技有限公司首席执行官田天认为,人工智能技术风险发生的范围正随着应用场景的日趋广泛而逐步扩大,风险发生的可能性也随着其应用频次的增长而持续提高。在他看来,人工智能当前的安全风险主要可以从“人”与“系统”这两个视角来剖析。


大赛工作人员演示对抗样本攻击人脸识别门禁系统

从人的视角来评估 AI 的安全问题,首当其冲就是技术的两面性问题,存在 AI 滥用甚至“武器化”的问题。具体到人工智能的应用中来看,最为典型的代表就是深度伪造技术,它的负向应用风险持续加剧且已产生实质危害。


而现场的人脸识别破解演示,所揭示的正是系统的风险,它来自于深度学习算法本身的脆弱性。以深度学习算法为核心的第二代人工智能是个“黑盒子”,具有不可解释性,意味着系统存在结构性的漏洞,可能受到不可预知的风险,典型的就比如现场演示的“神奇贴纸”,其实就是“对抗样本攻击”,通过在输入数据中添加扰动,使得系统作出错误判断。

 

这一漏洞在自动驾驶感知系统同样存在,瑞莱智慧演示了用对抗样本攻击自动驾驶汽车。正常情况下,在识别到路障、指示牌、行人等目标后,自动驾驶车辆就会立即停车,但在目标物体上添加干扰图案后,车辆的感知系统就会出错,径直撞上去。

 

在人工智能的全生命周期,不仅存在算法层面的安全性问题,算力作为人工智能发展的重要基础设施,也面临着诸多风险,推动人工智能算力基础设施安全发展具有重要意义。活动期间,由国家工业信息安全发展研究中心牵头,联合华为技术有限公司和北京瑞莱智慧科技有限公司共同撰写的《人工智能算力基础设施安全发展白皮书》正式发布。



《人工智能算力基础设施安全发展白皮书》正式发布


白皮书围绕人工智能算力基础设施安全发展的意义、内涵与体系架构、安全管理现状、发展建议等方面展开深入研究。白皮书指出,人工智能算力基础设施不同于传统的算力基础设施,既是“基础设施”又是“人工智能算力”也是“公共设施”,具有基建属性、技术属性、公共属性三重属性。相应地,推动人工智能算力基础设施安全发展应从强化自身安全、保障运行安全、助力安全合规三个方面发力,通过强化自身的可靠性、可用性与稳定性,保障算法运行时的机密性与完整性,提升用户的安全管控力、认可度与合规性等八个领域筑牢人工智能安全防线,打造可信、可用、好用的人工智能算力底座,营造安全、健康、合规发展的人工智能产业生态。


以赛促研、以赛育人,守护未来智能安全

 

安全的本质在于对抗升级,构建安全需要一个持续攻防演进的过程。田天表示,大赛聚焦人工智能真实应用场景中的典型漏洞及风险,以赛促建、以赛促研,通过考核参赛队伍的漏洞发现、漏洞挖掘等能力,探索新型安全需求场景,推动AI攻防技术创新,为强化人工智能治理体系与安全评估能力建设提供支撑。

 


瑞莱智慧首席执行官 田天

 

结合具体赛题来看,自动驾驶安全赛题和人脸识别安全赛题从攻击视角出发,通过让选手攻击目标模型挖掘算法漏洞,旨在发现更加稳定的攻击算法,以更好的实现准确评估模型的安全性。深度伪造安全赛题则通过分析伪造音视频的相似性,来溯源不同伪造内容是否来自同一种或同一类生物特征生成软件,以促进对深度伪造检测技术的发展,具有重要的现实意义。

 

构建人工智能的安全生态,一方面需要技术的持续演进,一方面也需要专项技术人才的建设与培养。田天表示,由于人工智能安全研究目前仍属于新兴领域,专项人才较少,缺乏系统性的研究队伍,本次大赛通过实战演练的方式,全方位验证和提升选手实战能力,为培育一批高水平、高层次的人工智能安全新型人才团队提供了“快速通道”。

 

自七月开启报名以来,大赛共吸引来自全国范围内 70 多所高等高校、科研院所、企业机构的超过 400 支团队,共计 600 余名选手的踊跃参与。经过三个月的激烈角逐,最终,上海交通大学联合战队“AreYouFake”与北京交通大学战队“BJTU-ADaM”分别摘得深度伪造安全与自动驾驶安全赛道桂冠,北京理工大学战队“DeepDream”与建信金科战队“Tian Quan&LianYi”共同位列人脸识别赛道第一名。

 

本次大赛供了技术交锋和思维碰撞的平台,通过竞赛的方式挖掘攻击与防御技术新思路,同时链接产业侧真实安全需求,为进一步强化人工智能安全攻防研究提供基础,也为推动人工智能安全标准及能力建设提供了重要支撑,助力我国人工智能产业的整体发展。

2022-09-18 18:303582
用户头像
李冬梅 加V:busulishang4668

发布了 946 篇内容, 共 538.2 次阅读, 收获喜欢 1105 次。

关注

评论

发布
暂无评论
发现更多内容

一文总结ACE代码框架

OpenHarmony开发者

OpenHarmony

关于 Serverless 应用架构对企业价值的一些思考

Serverless Devs

Serverless 奇点已来,下一个十年将驶向何方?

Serverless Devs

软件测试/测试开发 | AppCrawler 自动遍历测试工具实践(一)

测试人

软件测试 自动化测试 测试开发 自动遍历 AppCrawler

无监控,不运维!深入浅出介绍ChengYing监控设计和使用

袋鼠云数栈

学术加油站|机器学习应用在数据库调优领域的前沿工作解读

OceanBase 数据库

数据库 oceanbase

编程的终结;展望2023年AI系统方向;AI的下一个阶段

OneFlow

人工智能 深度学习

文末领资料 | 研发效能领域的三个年度关键词

思码逸研发效能

研发管理 研发效能

大咖说·对话开源|与Tapdata论道数据技术开放生态

大咖说

开源

信用卡APP评测系列:科技赋能信用卡APP创新升级,助力客户体验提升

易观分析

金融 信用卡

Diffie-Hellman密钥协商算法探究

百度Geek说

数据安全 企业号 1 月 PK 榜

火山引擎 DataLeap 通过中国信通院测评,数据管理能力获官方认可!

字节跳动数据平台

大数据 数据治理

行业分析| 交通综合执法对讲系统

anyRTC开发者

指挥调度 快对讲 语音对讲 视频对讲 综合执法

使用 NineData 高效编写 SQL

NineData

数据库 sql 数据库开发 数据管理工具 NineData

Java高手速成 | 高质量代码编写最佳实践

TiAmo

编程好习惯 设计原则 Java’

HDI压合设计准则作业规范

华秋PCB

PCB PCB设计 HDI

【Redis 技术探索】「数据迁移实战」手把手教你如何实现在线 + 离线模式进行迁移 Redis 数据实战指南(数据检查对比)

洛神灬殇

redis 1月日更 数据对比 Redis-full-check

《金融电子化》:隐私计算赋能银行助贷业务自主风控 | 华夏银行×洞见科技

洞见科技

隐私计算 风控

ISV生态合作伙伴体系多领域赋能,开拓市场赛道

元年技术洞察

数据中台 数据 数字化转型 ISV 方舟平台

华为云Stack新版发布:构筑行业云底座,共创行业新价值

华为云开发者联盟

云计算 后端 华为云 企业号 1 月 PK 榜

【等保小知识】等保四级是最高级别吗?等保四级适用于哪些领域?

行云管家

等保 等保测评 等保四级

视频实时自然美颜, 无惧素颜上镜

HarmonyOS SDK

HMS Core

为什么网络I/O会被阻塞

华为云开发者联盟

后端 开发 华为云 企业号 1 月 PK 榜

赞赞赞!融云收获行业媒体「组团打 Call」

融云 RongCloud

react源码中的hooks

flyzz177

React

甩掉容量规划炸弹:用 AHPA 实现 Kubernetes 智能弹性伸缩

阿里巴巴中间件

阿里云 Kubernetes 云原生 AHPA

牛啊!长这么大还是头一次见24W字的SpringBoot从入门到实战文档

程序知音

Java spring 微服务 springboot 后端技术

TDengine 公布 2022 年度中国时序数据应用创新奖,33 个科技企业创新应用脱颖而出

TDengine

数据库 tdengine 时序数据库

【等保小知识】等保3.0就是等保三级吗?

行云管家

等保 等保2.0 等保3.0

Git操作不规范,战友提刀来相见!

王中阳Go

golang git 深度思考 高效工作 学习方法

云图说 | Workflow:流水线工具,助您高效完成AI开发

华为云开发者联盟

人工智能 华为云 AI开发 企业号 1 月 PK 榜

国内首个AI安全大赛圆满收官!AI安全风险已非未来挑战,而是眼前威胁_文化 & 方法_李冬梅_InfoQ精选文章