写点什么

国内首个 AI 安全大赛圆满收官!AI 安全风险已非未来挑战,而是眼前威胁

  • 2022-09-18
    北京
  • 本文字数:2312 字

    阅读完需:约 8 分钟

国内首个AI安全大赛圆满收官!AI安全风险已非未来挑战,而是眼前威胁

9 月 16 日,以“共筑 AI 安全 安享智能未来”为主题的 AISC 首届人工智能安全大赛圆满落幕。中科院院士、清华大学人工智能研究院名誉院长张钹,北京市科学技术委员会、中关村科技园区管理委员会党组成员、副主任张宇蕾,北京市经济和信息化委员会党组成员、副主任潘锋,工业和信息化部网络安全管理局数据安全处四级调研员张洪为活动致辞。


本次大赛由国家工业信息安全发展研究中心、清华大学人工智能研究院和北京瑞莱智慧科技有限公司等单位联合主办,系首个全国性人工智能安全赛事,旨在推动人工智能攻防技术创新、实战演练、场景挖掘和人才培养。

 

同期举办的主题论坛,邀请到多位院士专家、行业领袖、政企代表出席,共同探讨如何在未来智能的全新战场,打赢技术攻防之战。与会专家们表示,重视人工智能安全体系建设,既是当务之急,也是长远考虑,需加快促进人工智能安全领域关键技术研究与攻防实践。

AI 安全风险已非未来挑战,而是眼前威胁

 

试想一下,有人将一张“神奇的贴纸”放置在面部,就可以使人脸识别门禁系统误认为是你,从而轻而易举打开大门;同样是这张“神奇的贴纸”,把它放置在眼镜上,就可以 1 秒解锁你的手机人脸识别,探取你的隐私如入无人之境。这并非科幻大片的想象,而是首届人工智能安全大赛颁奖典礼现场展示的真实攻防场景。


人工智能和其他通用目的技术一样,在高歌猛进的同时,也带来了新的风险和隐患。主办方北京瑞莱智慧科技有限公司首席执行官田天认为,人工智能技术风险发生的范围正随着应用场景的日趋广泛而逐步扩大,风险发生的可能性也随着其应用频次的增长而持续提高。在他看来,人工智能当前的安全风险主要可以从“人”与“系统”这两个视角来剖析。


大赛工作人员演示对抗样本攻击人脸识别门禁系统

从人的视角来评估 AI 的安全问题,首当其冲就是技术的两面性问题,存在 AI 滥用甚至“武器化”的问题。具体到人工智能的应用中来看,最为典型的代表就是深度伪造技术,它的负向应用风险持续加剧且已产生实质危害。


而现场的人脸识别破解演示,所揭示的正是系统的风险,它来自于深度学习算法本身的脆弱性。以深度学习算法为核心的第二代人工智能是个“黑盒子”,具有不可解释性,意味着系统存在结构性的漏洞,可能受到不可预知的风险,典型的就比如现场演示的“神奇贴纸”,其实就是“对抗样本攻击”,通过在输入数据中添加扰动,使得系统作出错误判断。

 

这一漏洞在自动驾驶感知系统同样存在,瑞莱智慧演示了用对抗样本攻击自动驾驶汽车。正常情况下,在识别到路障、指示牌、行人等目标后,自动驾驶车辆就会立即停车,但在目标物体上添加干扰图案后,车辆的感知系统就会出错,径直撞上去。

 

在人工智能的全生命周期,不仅存在算法层面的安全性问题,算力作为人工智能发展的重要基础设施,也面临着诸多风险,推动人工智能算力基础设施安全发展具有重要意义。活动期间,由国家工业信息安全发展研究中心牵头,联合华为技术有限公司和北京瑞莱智慧科技有限公司共同撰写的《人工智能算力基础设施安全发展白皮书》正式发布。



《人工智能算力基础设施安全发展白皮书》正式发布


白皮书围绕人工智能算力基础设施安全发展的意义、内涵与体系架构、安全管理现状、发展建议等方面展开深入研究。白皮书指出,人工智能算力基础设施不同于传统的算力基础设施,既是“基础设施”又是“人工智能算力”也是“公共设施”,具有基建属性、技术属性、公共属性三重属性。相应地,推动人工智能算力基础设施安全发展应从强化自身安全、保障运行安全、助力安全合规三个方面发力,通过强化自身的可靠性、可用性与稳定性,保障算法运行时的机密性与完整性,提升用户的安全管控力、认可度与合规性等八个领域筑牢人工智能安全防线,打造可信、可用、好用的人工智能算力底座,营造安全、健康、合规发展的人工智能产业生态。


以赛促研、以赛育人,守护未来智能安全

 

安全的本质在于对抗升级,构建安全需要一个持续攻防演进的过程。田天表示,大赛聚焦人工智能真实应用场景中的典型漏洞及风险,以赛促建、以赛促研,通过考核参赛队伍的漏洞发现、漏洞挖掘等能力,探索新型安全需求场景,推动AI攻防技术创新,为强化人工智能治理体系与安全评估能力建设提供支撑。

 


瑞莱智慧首席执行官 田天

 

结合具体赛题来看,自动驾驶安全赛题和人脸识别安全赛题从攻击视角出发,通过让选手攻击目标模型挖掘算法漏洞,旨在发现更加稳定的攻击算法,以更好的实现准确评估模型的安全性。深度伪造安全赛题则通过分析伪造音视频的相似性,来溯源不同伪造内容是否来自同一种或同一类生物特征生成软件,以促进对深度伪造检测技术的发展,具有重要的现实意义。

 

构建人工智能的安全生态,一方面需要技术的持续演进,一方面也需要专项技术人才的建设与培养。田天表示,由于人工智能安全研究目前仍属于新兴领域,专项人才较少,缺乏系统性的研究队伍,本次大赛通过实战演练的方式,全方位验证和提升选手实战能力,为培育一批高水平、高层次的人工智能安全新型人才团队提供了“快速通道”。

 

自七月开启报名以来,大赛共吸引来自全国范围内 70 多所高等高校、科研院所、企业机构的超过 400 支团队,共计 600 余名选手的踊跃参与。经过三个月的激烈角逐,最终,上海交通大学联合战队“AreYouFake”与北京交通大学战队“BJTU-ADaM”分别摘得深度伪造安全与自动驾驶安全赛道桂冠,北京理工大学战队“DeepDream”与建信金科战队“Tian Quan&LianYi”共同位列人脸识别赛道第一名。

 

本次大赛供了技术交锋和思维碰撞的平台,通过竞赛的方式挖掘攻击与防御技术新思路,同时链接产业侧真实安全需求,为进一步强化人工智能安全攻防研究提供基础,也为推动人工智能安全标准及能力建设提供了重要支撑,助力我国人工智能产业的整体发展。

2022-09-18 18:303573
用户头像
李冬梅 加V:busulishang4668

发布了 930 篇内容, 共 524.1 次阅读, 收获喜欢 1096 次。

关注

评论

发布
暂无评论
发现更多内容

Mint Blockchain 正式宣布推出 Mint Forest 3.0!

NFT Research

blockchain #Web3

一篇读懂 C 指针

mazhen

c c++ Linux

获取API接口数据的最佳实践详解

Noah

软件测试学习笔记丨Selenium配置浏览器启动状态options

测试人

软件测试

【JVM】类加载子系统(类加载器、双亲委派)

不在线第一只蜗牛

JVM

百度赵世奇:文心智能体平台加速跑通商业闭环

Geek_2d6073

以人机协同的方法轻松构建RAG模型

澳鹏Appen

大模型 LLM 大语言模型 rag 检索增强生成

阿里巴巴店铺商品API返回值中的商品分类与筛选条件

技术冰糖葫芦

API 优先 pinduoduo API

资产代币化的崛起:揭开万亿级市场机遇的探索

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 钱包开发 代币开发

2025北京消费电子技术博览会

AIOTE智博会

消费电子展 消费电子展会 消费电子博览会 消费电子展览会

Amphion 推出开源 TTS 模型 MaskGCT,5 秒克隆声音;神秘文生图模型「小熊猫」登顶竞技场丨 RTE 开发者日报

声网

三维度深度分析:TDengine 数据订阅 vs InfluxDB 数据订阅

TDengine

数据库 tdengine 时序数据库

ppt计时器软件哪个好?掌握这2个技巧,轻松搞定PPT计时!

职场工具箱

职场 PPT 办公软件 AI生成PPT

日志管理系统的系统目标是什么?

ServiceDesk_Plus

日志分析 日志管理

Solana生态亮点、代币经济学、竞争定位全览

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 钱包开发 代币开发

试用期被裁是有补偿的!一定要记得领取~

王磊

智能门锁展|2025年深圳国际锁具产业博览会

秋硕展览

开源Embedding模型,有效提升中文语义理解与召回

合合技术团队

开源 文档 大模型

与Zilliz、Google等探讨中美AI应用与落地,XTransfer受邀参与分享沙龙

XTransfer技术

店铺商品尽在掌握:阿里巴巴API返回值说明

技术冰糖葫芦

API 接口 API 测试 API 协议 API 优先

多租户系统的核心概念模型

EquatorCoco

多租户

现代化可观测性平台(1)

俞凡

架构 云原生 可观测性

TikTok运营干货:快速起号教程

Ogcloud

tiktok运营 tiktok直播专线 TikTok养号 tiktok起号 tiktok运营干货

云桌面怎么收费

青椒云云电脑

云桌面

Vitalik 新文丨以太坊可能的未来:The Splurge

TechubNews

京东商品评价API的获取和应用

科普小能手

API 接口 API 测试 淘宝API接口 淘宝评论API 淘宝商品API

2025中国(广州)国际喷码标识技术设备展会

秋硕展览

开发者视角:探索技术无垠,肩负时代重任

Noah

鸿蒙智行再迎OTA升级,车载小艺化身私人用车顾问、百科导师

Geek_2d6073

捷途旅行者:79171台销量——方盒子SUV的全能伙伴

科技热闻

TikTok Shop多账户运营怎么防关联?

Ogcloud

海外云手机 tiktok云手机 tiktok运营 tiktok矩阵 tiktok防关联

国内首个AI安全大赛圆满收官!AI安全风险已非未来挑战,而是眼前威胁_文化 & 方法_李冬梅_InfoQ精选文章