京东信息安全部 AI 安全负责人 Sunny Duan 确认出席 QCon 北京

2025 年 4 月 10 - 12 日，QCon 全球软件开发大会将在北京召开，大会以 “智能融合，引领未来” 为主题，将汇聚各领域的技术先行者以及创新实践者，为行业发展拨云见日。

京东信息安全部 AI 安全负责人 Sunny Duan 已确认出席并发表题为《大模型安全挑战与实践：构建 AI 时代的安全防线》的主题分享。人工智能快速发展，为了促进生成式人工智能健康发展和规范应用，监管也发布了《生成式人工智能服务管理暂行办法》要求生成式人工智能服务不能输出违法违规内容，而且大模型数据泄露、提示词注入攻击将对用户及公司带来严重损失，大模型安全备受瞩目，本议题会介绍京东已落地的安全方案。同时大模型对传统安全来说带来了新的挑战和机会，京东构建了大模型开发平台+底座模型的方式在威胁情报、钓鱼邮件等多个场景进行了探索和实践，提效效果显著。

Sunny Duan 是京东信息安全部 AI 安全负责人，拥有 10 年以上信息安全相关经验，在京东主要负责大模型安全、大模型在安全场景的落地以及 TEE 能力建设推广工作，参与多项安全领域规范制定。人工智能快速发展，京东内部推出自建大模型并鼓励大模型应用赋能业务，负责主导大模型安全能力建设，防止大模式生成违法违规内容、数据泄露、提示词注入风险，同时在大模型应用于多个安全场景进行探索，包括威胁情报、钓鱼邮件识别等，在京东内部已正式上线运营。他在本次会议的详细演讲内容如下：

演讲提纲

1. 大模型安全风险

• 常见的大模型安全风险及案例：

• 数据泄漏风险：使用内外部大模型造成的数据泄漏风险

• 提示词注入：通过提示词注入攻击，成功说服 AI 代理转移资金，赢得 5 万美元

• 输出违规内容：大模型应用若产生违规内容，将面临暂停和下线服务的风险

• 数据投毒：仅需花费 60 美元，就能毒害 0.01% 的 LAION-400M 或 COYO-700M 数据集，引入 100 个中毒样本可能导致大模型生成恶意输出

• 供应链漏洞：开源模型和数据投毒可能导致系统安全问题，某公司员工利用 Hugging Face 平台的漏洞导致模型训练一个月结果不可用

• 模型窃取：通过“套壳”和“模仿学习”方式窃取开源和闭源模型

• 恶意应用：利用 Deepfake 技术进行多人视频诈骗

• Agent 安全风险：智能体植入后门，诱发不安全任务规划或动作

• 模型拒绝服务：海绵样本攻击占用大量计算资源，导致服务器时延增加

2. 大模型安全解决方案及实践

• 思路：基于 AI 对抗 AI 构建 4 道防线（外）+ 2 个对齐（内）

• 基于 AI 对抗 AI 的思路构建基于“训练数据安全、上线前安全测评、用户 Prompt 识别、生成内容识别”四道安全防线，对内容安全、业务安全、信息安全（数据安全、提示词注入）风险进行实时监测。

• 训练阶段对齐：跷跷板问题

• 微调阶段对齐：错题纠正问题

• 推理阶段对齐：带病运行问题

• 安全对齐的长期挑战

3. 大模型对安全的驱动及带来的挑战：大模型的出现加剧了攻防不对等

• 传统信息安全痛点：

• 攻防不对等（能力、效率、规模等）

• 防御能力不精准（怕误拦--〉不敢拦）

• 告警极多，人员极少 （处理不过来--〉风险漏出）

4. 大模型在信息安全场景实践

• 打造垂域安全大模型

• 安全大模型整体架构：包括应用场景、智能体、安全大模型、算力平台以及安全数据

• 大模型在钓鱼邮件检测实践

• 大模型在威胁情报检测实践

您认为，这样的技术在实践过程中有哪些痛点？

• 如何权衡大模型生成内容检测和用户体验及安全问题很突出

• 不同的应用场景对内容安全的容忍度不一样，如何调整策略

• 通用大模型泛化能力无法满足信息安全的高精准要求

演讲亮点

• 全面了解大模型安全风险及在京东可落地方案

• 大模型在信息安全场景的落地实践提出了底座模型+平台的架构，解决传统安全人员算法不专业问题，让大家更关注安全场景探索

听众收益

• 基于京东复杂的业务场景构建的大模型安全能力思路可在大部分场景复用

• 通过大模型在钓鱼邮件、威胁情报场景的落地实践给大家更多的思路和参考

除此之外，本次大会还策划了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施、不被 AI 取代的工程师、大模型赋能 AIOps、云成本优化、Lakehouse 架构演进、越挫越勇的大前端等专题，届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 680 元，详情可扫码或联系票务经理 18514549229 咨询。

为确保大会顺利举行，现诚邀志愿者加入，时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间：4 月 9 日 13:00-4 月 12 日 18:00，地点：北京万达嘉华酒店，报名链接：https://www.infoq.cn/form/?id=2088