百度 CTO 王海峰拆解 iRAG，称文心大模型仍在持续训练中

11 月 12 日，在以“应用来了”为主题的百度世界 2024 上，百度首席技术官王海峰在会上宣布文心一言的用户规模已经达到 4.3 亿。此外，王海峰还解读了文心大模型最新技术及应用，如检索增强的文生图、无代码产品秒哒、文心快码等。

大模型搜索增强

据王海峰介绍，在检索增强方面，百度研发了“理解-检索-生成”协同优化的检索增强技术，提升了大模型技术及应用效果；面向不同应用场景的生图需求，进一步研发了检索增强的文生图技术 iRAG，既可以生成精确的图片，也可以进行泛化生图。

那么，大模型是如何做到这一点的呢？

首先，基于大模型对用户的需求进行分析理解，自动规划精确或泛化方案，比如对哪些实体进行增强；接着在增强阶段，对需要增强的实体，检索并选择相应的参考图。最后在生成阶段，自研了多模可控生图大模型，一方面，通过局部注意力计算，在保持实体特征不变的情况下，实现了图像的高泛化生成，比如根据牛顿的肖像生成绘本风格的牛顿；另一方面，通过整体注意力计算，进行高精确的图像生成，比如生成图中的汽车跟原图片保持完全一致。在实际应用中，这个方法也支持用户上传参考图，应用户期望进行生成。

王海峰还笃定地透露，文心大模型仍在持续训练中，更强大的新版本值得期待。

多智能体应用

早在去年 10 月，百度就发布了智能体机制，并研制了系统 2。其核心是思考模型，包括理解、规划、反思和进化，能够做到可靠执行、自我进化，并在一定程度上将思考过程白盒化，从而让机器像人一样思考和行动，自主完成复杂任务，同时在环境中持续学习、自主进化。

人类社会中，一个人掌握的知识和技能终归是有限的。为了完成更加复杂的任务或项目，需要团队协作。同样，智能体为了完成复杂任务，也需要多智能体的协作，比如中心化、去中心化和流水线等模式。多智能体的协作可以有效增强智能系统的整体效能，提升解决复杂问题的能力。

王海峰分享了多智能体在代码场景里的应用——秒哒和文心快码。秒哒采用了智能体的中心化模式，其中的代码智能体通过场景知识的增强，提升了复杂代码生成的质量与稳定性，高效实现用户需要的功能。智能代码助手文心快码升级至 3.0 版本，现场王海峰进一步演示了文心快码完成系统的功能开发、代码测试和问题修复等能力。在开发全流程中，多个智能体流水线协同，大幅提升了程序员的工作质量和效率。

面向产业需求，百度打造了文心大模型矩阵，包括 ERNIE 4.0 Turbo 等旗舰大模型、ERNIE Speed 等轻量模型，以及基于基础模型生产的系列思考模型和场景模型，满足不同应用的需要。而在这背后，文心大模型和飞桨深度学习平台联合优化、持续创新，提升了模型效果、训练效率和推理性能，支撑了文心大模型的广泛应用。

王海峰现场还披露，飞桨文心开发者数量已达 1808 万，服务了 43 万家企业，创建了 101 万个模型。

科技和体育的大模型应用

随着人工智能技术加速进步，AI 在千行百业的应用也越来越深入。在教育科普领域，中国科学技术馆与百度达成战略合作，双方将利用人工智能技术为科普教育注入新活力，赋能智慧科技场馆建设。中国科学技术馆馆长郭哲与王海峰还在现场发布了“科技馆智能体”，助力科普服务触手可及。

王海峰介绍，在体育领域，大模型等人工智能技术辅助国家队备战训练，为运动员夺金争银提供科技支撑。智能跳水辅助训练系统采用云、边、端一体化技术，全自动识别、跟踪、采集、分析每一个跳水动作。基于文心大模型，系统还可以对动作实时打分、精准量化分析，制定训练计划，对运动员身体数据进行科学评估和全面管理。

据悉，早在 2019 年，百度就和中国国家跳水队开展技术合作，研发智能跳水辅助训练系统，为运动员科学训练提供技术支撑。系统采用云、边、端一体化技术，全自动识别、跟踪、采集、分析每一个跳水动作。从运动员起跳到入水这 1.8 秒的时间，录制高速视频，实时反馈到教练手中的平板上，对运动员的姿势、动作等进行针对性的指导。基于文心大模型，系统还可以对动作实时打分、精准量化分析，制定训练计划，对运动员身体数据进行全面管理和科学评估，助力科学高效训练。

大会现场，全红婵、陈芋汐、曹缘与百度首席技术官王海峰进行了互动，分享了使用百度 AI 技术的亲身体验。全红婵坦言，巴黎周期自己长高、长重了，做动作的感觉和之前不一样，这套系统可以多角度还原动作，同时也能和之前的动作做对比，看看差别在哪，这样可以把动作完成得更好。她直呼这套系统“真是太全面了。”

陈芋汐也直言：“除了跳水训练外，日常学习、生活中，也会用文心一言，各种问题都可以问它，出去玩还会用它做攻略！”

三位运动员中资历最深的曹缘讲述了他与这套 AI 系统的渊源，他谈道：“我从五年前就开始用 AI 技术训练，能感受到我们的科技力量越来越强大，有了 AI 就像有了‘最强大脑’。”

据悉，除了跳水，文心大模型体育解决方案已经拓展到游泳、攀岩、体操等 6 支国家队的日常训练中。王海峰表示百度将继续积极推动 AI 普惠，研发基于 AI 技术的传统武术、太极拳、八段锦等的智能指导，以科技助力健康中国、体育强国。