QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

京东信息安全部 AI 安全负责人 Sunny Duan 确认出席 QCon 北京

  • 2025-03-28
    北京
  • 本文字数:1834 字

    阅读完需:约 6 分钟

京东信息安全部 AI 安全负责人Sunny Duan确认出席QCon北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将在北京召开,大会以 “智能融合,引领未来” 为主题,将汇聚各领域的技术先行者以及创新实践者,为行业发展拨云见日。


京东信息安全部 AI 安全负责人 Sunny Duan 已确认出席并发表题为《大模型安全挑战与实践:构建 AI 时代的安全防线》的主题分享。人工智能快速发展,为了促进生成式人工智能健康发展和规范应用,监管也发布了《生成式人工智能服务管理暂行办法》要求生成式人工智能服务不能输出违法违规内容,而且大模型数据泄露、提示词注入攻击将对用户及公司带来严重损失,大模型安全备受瞩目,本议题会介绍京东已落地的安全方案。同时大模型对传统安全来说带来了新的挑战和机会,京东构建了大模型开发平台+底座模型的方式在威胁情报、钓鱼邮件等多个场景进行了探索和实践,提效效果显著。


Sunny Duan 是京东信息安全部 AI 安全负责人,拥有 10 年以上信息安全相关经验,在京东主要负责大模型安全、大模型在安全场景的落地以及 TEE 能力建设推广工作,参与多项安全领域规范制定。人工智能快速发展,京东内部推出自建大模型并鼓励大模型应用赋能业务,负责主导大模型安全能力建设,防止大模式生成违法违规内容、数据泄露、提示词注入风险,同时在大模型应用于多个安全场景进行探索,包括威胁情报、钓鱼邮件识别等,在京东内部已正式上线运营。他在本次会议的详细演讲内容如下:


演讲提纲

1. 大模型安全风险

  • 常见的大模型安全风险及案例:

  • 数据泄漏风险:使用内外部大模型造成的数据泄漏风险

  • 提示词注入:通过提示词注入攻击,成功说服 AI 代理转移资金,赢得 5 万美元

  • 输出违规内容:大模型应用若产生违规内容,将面临暂停和下线服务的风险

  • 数据投毒:仅需花费 60 美元,就能毒害 0.01% 的 LAION-400M 或 COYO-700M 数据集,引入 100 个中毒样本可能导致大模型生成恶意输出

  • 供应链漏洞:开源模型和数据投毒可能导致系统安全问题,某公司员工利用 Hugging Face 平台的漏洞导致模型训练一个月结果不可用

  • 模型窃取:通过“套壳”和“模仿学习”方式窃取开源和闭源模型

  • 恶意应用:利用 Deepfake 技术进行多人视频诈骗

  • Agent 安全风险:智能体植入后门,诱发不安全任务规划或动作

  • 模型拒绝服务:海绵样本攻击占用大量计算资源,导致服务器时延增加

2. 大模型安全解决方案及实践

  • 思路:基于 AI 对抗 AI 构建 4 道防线(外)+ 2 个对齐(内)

  • 基于 AI 对抗 AI 的思路构建基于“训练数据安全、上线前安全测评、用户 Prompt 识别、生成内容识别”四道安全防线,对内容安全、业务安全、信息安全(数据安全、提示词注入)风险进行实时监测。

  • 训练阶段对齐:跷跷板问题

  • 微调阶段对齐:错题纠正问题

  • 推理阶段对齐:带病运行问题

  • 安全对齐的长期挑战

3. 大模型对安全的驱动及带来的挑战:大模型的出现加剧了攻防不对等

  • 传统信息安全痛点:

  • 攻防不对等(能力、效率、规模等)

  • 防御能力不精准(怕误拦--〉不敢拦)

  • 告警极多,人员极少 (处理不过来--〉风险漏出)

4. 大模型在信息安全场景实践

  • 打造垂域安全大模型

  • 安全大模型整体架构:包括应用场景、智能体、安全大模型、算力平台以及安全数据

  • 大模型在钓鱼邮件检测实践

  • 大模型在威胁情报检测实践


您认为,这样的技术在实践过程中有哪些痛点?

  • 如何权衡大模型生成内容检测和用户体验及安全问题很突出

  • 不同的应用场景对内容安全的容忍度不一样,如何调整策略

  • 通用大模型泛化能力无法满足信息安全的高精准要求


演讲亮点

  • 全面了解大模型安全风险及在京东可落地方案

  • 大模型在信息安全场景的落地实践提出了底座模型+平台的架构,解决传统安全人员算法不专业问题,让大家更关注安全场景探索


听众收益

  • 基于京东复杂的业务场景构建的大模型安全能力思路可在大部分场景复用

  • 通过大模型在钓鱼邮件、威胁情报场景的落地实践给大家更多的思路和参考


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 680 元,详情可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-03-28 21:402

评论

发布
暂无评论
发现更多内容

大带宽服务器如何提高业务性能?

Geek_f19a80

服务器

精彩预告 | OpenHarmony即将亮相MTSC 2023

OpenHarmony开发者

特权账号管理的重中之重

尚思卓越

网络安全 账号管理

去中心化DAPP交易所开发

区块链技术

智能会计,解锁业财融合难题

用友BIP

业财融合

如期而至!WHLUG报名开启,11月26日(周日)不见不散!

nn-30

安全 打包 内核 打包工具 内核安全

【FAQ】推送服务常见问题及解答

HarmonyOS SDK

HMS Core

【鸿蒙生态千帆起】HarmonyOS系统级地图与位置服务,赋能广大开发者

HarmonyOS开发者

HarmonyOS

Buff 叠满!YonGPT让文旅企业成功出圈!

用友BIP

数智文旅

策略模式在数据接收和发送场景的应用

阿里技术

策略模式 数据接收 发送场景

数据分层:打造数据资产管家

得物技术

架构 运维

情感语音识别技术在人机交互中的应用与展望

数据堂

情感语音识别:技术发展与跨文化应用

数据堂

Walrus 入门教程:如何创建模板以沉淀可复用的团队最佳实践

SEAL安全

阿里云 模板 Github' Walrus 企业号11月PK榜

应对数据爆炸时代,揭秘向量数据库如何成为AI开发者的新宠,各数据库差异对比

汀丶人工智能

人工智能 Milvus 向量数据库 搜索系统 语义搜索

制造业全面预算挑战:构建碳预算体系助力企业数智化转型

用友BIP

企业数智化

营销数智化 解析第5期:营销政策、便捷交易、资产账户、数智决策、竞拍竞价

用友BIP

数智营销

京东信息安全部 AI 安全负责人Sunny Duan确认出席QCon北京_AI&大模型_QCon全球软件开发大会_InfoQ精选文章