写点什么

国内首个大模型攻防赛启动,蚂蚁集团参与国际标准、可信度报告等多项成果发布

  • 2024-09-06
    北京
  • 本文字数:2443 字

    阅读完需:约 8 分钟

国内首个大模型攻防赛启动,蚂蚁集团参与国际标准、可信度报告等多项成果发布

9 月 6 日上午,在 2024Inclusion·外滩大会“以 AI 守护 AI,大模型时代的攻守之道”论坛上,WDTA 世界数字技术院正式发布国际标准《大模型供应链安全要求》。该标准由云安全联盟(CSA)大中华区、蚂蚁集团、微软、谷歌、Meta、PrivateAI 等数十家国内外单位的专家共同编制。这是业内首个大模型供应链安全国际标准,标志着全球 AI 治理的国际合作又迈出了坚实的一步。


针对此次发布的标准,云安全联盟(CSA)大中华区主席李雨航表示大模型系统的运行依赖于分布在全球相互联系的供应链生态系统。全球人工智能大模型的广泛应用带来了前所未有的机遇,同时也暴露出供应链安全的巨大挑战。WDTA 发布该标准为大模型的全生命周期安全提供了系统性管理框架,解决了供应链中的安全挑战,支持全球人工智能技术的安全和可持续发展,提升了行业的整体可信度。


信息显示,《大模型供应链安全要求》是 WDTA 人工智能安全、可信、负责任(AI STR)系列标准之一。该标准给出了大语言模型的供应链安全保护框架,从数据准备、大模型开发到部署运维各个环节涉及的供应链相关安全风险和供应活动管理给出了要求,并给出了常见的供应链安全风险、典型安全案例等相关信息。通过这一标准,可有效识别和评估大模型系统生命周期中面临的供应链潜在安全风险,如数据泄露、模型篡改及供应商不合规等问题,确保供应链的完整性、可用性、保密性,从而提升大模型系统的安全性。


据了解,这一标准不仅为大模型供应链中的供需双方提供了系统性的安全管理框架,也为第三方机构和权威部门的安全审查和合规管理提供了可靠依据,进一步增强了大模型系统的整体安全可信发展。


世界数字技术院(WDTA)成立于 2023 年 4 月,是在日内瓦注册的国际非政府组织。该组织致力于在全球范围内推进数字技术,促进国际合作。AI STR 计划是 WDTA 的核心倡议,旨在确保人工智能系统的安全性、可信性和责任性,微软、谷歌、Anthropic、蚂蚁集团、百度等均为其成员单位。今年 4 月联合国科技大会上,WDTA 发布了由 OpenAI、蚂蚁集团、科大讯飞、谷歌等数十家单位参编的两项大模型安全国际标准,均为 AI STR 系列标准。


在全球人工智能发展和治理广受关注的今天,如何平衡 AI 的发展与安全,已成为国际社会面临的共同话题。我国也在积极推动人工智能治理体系优化完善,推出了《全球人工智能治理倡议》《国家新一代人工智能标准体系建设指南》等一系列政策。本次论坛上,与会嘉宾各自分享了观点与展望,致力推动形成全球人工智能安全治理共识和创新合作。


全国网络安全标准化技术委员会委员/WG7 副组长闵京华表示,AI 治理的根本目的在于保障 AI 的价值实现与风险的平衡。实现这一目的,从政策法规、技术标准到安全产品及服务等各个层面都需要行业共同努力协作。技术标准作为其中不可或缺的环节,凝聚了不同组织的专家共识,可确保人工智能系统是安全、可信赖和对所有人都有益的。


AI 安全也是科技企业需解决的重要社会责任议题。蚂蚁集团机器智能部总经理、安全实验室首席科学家王维强表示,蚂蚁集团长期关注 AI 安全,一方面积极参与技术标准规范建设,另一方面在研发大模型技术中时刻关注风险评估结果,实施并提升大模型的安全性、可靠性、可控性技术。蚂蚁集团是较早布局可信 AI 技术的科技企业之一,其自主研发的大模型安全一体化解决方案“蚁天鉴”,相关检测和防御产品已开放给 20 余家外部机构和企业使用。


全球 AI 攻防挑战赛报名启动


除了标准发布,论坛现场宣布了国内首个大模型攻防主题的科技赛事—“全球 AI 攻防挑战赛”正式启动。该赛事聚焦 AI 大模型产业实践,设计了攻、防双向赛道,邀请各路白帽黑客、技术人才分别进行针对文生图大模型“数据投毒”的攻防实战演练,以及金融场景大模型生成内容的防伪检测竞赛,角逐百万元科技奖金。


本次大赛由中国图象图形学学会、蚂蚁集团、云安全联盟(CSA)大中华区联合主办,广泛联合清华大学、上海交通大学、浙江大学等 C9 高校及多家产学研组织共同发起,上海人工智能实验室作为技术合作单位。大赛旨在通过技术竞赛的形式,凝聚学界、行业力量,直面并解决大模型应用中潜藏的风险,助力全球 AI 产业健康可持续发展。


中国工程院院士、中国图象图形学学会理事长王耀南在赛事启动环节表示,大模型时代,如何确保 AI 系统的安全可控、如何有效应对供应链中的潜在风险,成为亟待解决的重要问题。图像图形技术作为新一代信息技术领域的关键技术,在大模型等多场景创新应用,推动图像识别与安全技术创新发展。此次 AI 攻防挑战赛,是中国图象图形学学会携手蚂蚁集团等业界知名企业、机构,聚焦大模型 AIGC 赛道共同打造的全球性技术盛宴,从人脸验真到生成式内容检测,期待挖掘出更多创新方案,更进一步保障大模型应用安全和产业安全。


大赛设置了“攻击”与“防守”两大赛道,分别聚焦大模型自身安全和大模型生成内容的防伪检测及大模型滥用风险检测,涵盖机器学习、‌图像处理与计算机视觉‌、数据处理等多个算法领域的考点。


其中,“攻击赛道”聚焦于文生图大模型的实际应用风险问题。参赛选手可通过目标劫持、情景带入、逻辑嵌套等多样化的动态攻击诱导技术,诱发大模型输出风险图像,以此激活大模型的潜在弱点和漏洞,增强大模型生图的安全免疫能力。“防守赛道”则聚焦于 AI 核身中的金融场景凭证篡改检测,以应对日益严峻的 Deepfake 深度伪造及 AIGC 假证风险。大赛提供百万级凭证篡改数据训练集,参赛选手需要研发和训练模型,并利用对应的测试集评估模型有效性,给出数据伪造概率值。


为保证大赛公平公正,同时更好地指导选手,大赛评委团由多位学术界与工业界专家共同组成。中国工程院院士、中国图象图形学学会理事长王耀南,云安联盟(CSA)大中华区主席李雨航担任本次大赛的指导委员会专家,来自清华大学、上海交通大学、上海人工智能实验室、中国图象图形学学会等单位的近 30 位知名学者将参与大赛的组织及评审工作。


本次大赛于 9 月 6 日正式启动报名,11 月初完成赛事评审。即日起,选手可通过中国图象图形学学会官网、阿里云天池大数据众智平台官网等渠道报名。大赛全程设有近 100 万元奖金池,用以选拔及表彰领域内的优秀人才。

2024-09-06 15:409850

评论

发布
暂无评论
发现更多内容

Web3和低代码开发:下一代Web应用开发的合作与创新

加入高科技仿生人

前端 Web 低代码

【换模型更简单】如何用 Serverless 一键部署 Stable Diffusion?

Serverless Devs

云计算 Serverless AIGC

iTubeGo YouTube Downloader 快速下载视频~

真大的脸盆

Mac 视频下载 网页视频下载 Mac 软件 下载视频

让算力不再成为瓶颈,小红书机器学习异构硬件推理优化之道

小红书技术REDtech

机器学习 架构 异构计算

保密+完整+可用+安全,规避代码安全「马奇诺防线」,构建软件供应链整体安全

极狐GitLab

高可用 DevSecOps geo 代码安全 软件供应链安全

行业分析| 快对讲-融合会议的应用

anyRTC开发者

音视频 视频会议 快对讲 融合会议 电话会议

实践「容器镜像扫描」,Get 云原生应用的正确打开方式

极狐GitLab

Docker DevOps 云原生 DevSecOps 容器镜像

基于HTML5智慧产业园三维可视化运维平台

2D3D前端可视化开发

物联网 数字孪生 三维可视化 工业组态 智慧产业园区

ChatGPT到来个人如何应对

程序员半支烟

人工智能 职业成长

操作系统国产化步入深水区,小程序技术助力生态搭建

FinClip

OpenCloudOS 如何基于 eBPF 实现容器级别的TCP 连接监控?

OpenCloudOS

Linux

软件测试丨Python学习笔记之内置库科学计算、日期与时间处理

测试人

Python 软件测试 测试开发

ChatGPT:DevSecOps 落地实践的最后一公里

极狐GitLab

DevOps 云原生 Code Review DevSecOps ChatGPT

低代码开发——进最热的赛道,啃最硬的骨头

引迈信息

前端 低代码 快速开发 JNPF

国产游戏引擎,竟然用来搞民航

Openlab_cosmoplat

人工智能 开源

2023年中国国民家庭阅读白皮书

易观分析

家庭 阅读

Golden Gate (GGX) 启动公测,下一代创新DeFi和跨链 dApps 征程开始

股市老人

如何一行代码实现 OpenAI 可观测,大幅提升使用体验

观测云

云计算 可观测 观测云 ChatGPT 可观测性用观测云

腾讯安全携手行业伙伴,详解攻击面管理(ASM)技术的“拓客”潜力

极客天地

腾讯云首发多款领先新品,TDSQL全新特性助力国产化替代提速

科技热闻

一文看懂数据云平台的“可观测性”技术实践

科技热闻

SRE方法论之拥抱风险

不思jo

#运维

Vue3迎来升级,全面助力企业数字化转型

引迈信息

inBuilder低代码平台开发者分享课丨提交PR的正确姿势

inBuilder低代码平台

架构实战-毕业设计

程序员小张

「架构实战营」

量化交易系统开发——现货策略

薇電13242772558

量化策略

国内首个大模型攻防赛启动,蚂蚁集团参与国际标准、可信度报告等多项成果发布_云安全_蚂蚁集团_InfoQ精选文章