腾讯专家视角：开放剧情扮演 Agent 的挑战与思考

开放剧情角色扮演游戏，给用户提供超脱于现实世界的高拟真娱乐体验，已经占据了单机电子游戏中越来越重要的地位。然而该类产品仍然受制于有限的游戏内容的产能与个性化程度。随着大语言模型及多智能体技术的颠覆式创新，为每位用户提供个性化的开放剧情扮演体验具备了可能性。在 8 月 18 日 -19 日的 AICon 上海站上，腾讯 PCG 大模型中台 Agent 技术负责人陈浩蓝将发表《多智能体技术在开放剧情扮演玩法中的探索》精彩演讲。

本文是陈浩蓝的会前采访文章，期待对你有所启发。此外，大会还将涉及更多关于大模型在搜索、广告、推荐领域的探索等热门话题。感兴趣的亲们，不妨点击原文链接，查看大会的详细日程安排，期待与您在 AICon 上海站相遇！

InfoQ：您介绍中提到，您目前负责 QQ 浏览器内多个亿级用户场景的 NLP 技术落地，现在的大模型是不是对于大部分的这些应用的冲击还是挺大的？还是说使用原来的技术方案也可以，但是最终还是要重新做？

陈浩蓝： 我只能就比较熟悉的互联网行业讨论。目前来看，现在的大模型对大部分互联网应用的冲击不大，但是对从业人员的职业规划有一定冲击（笑）。

首先看对现存的互联网应用改变不大。互联网现在最主要的应用是连接，即时通信应用连接人和人；内容平台，连接人和创作者；O2O 平台，连接人和服务。在这些类型的应用里，生成式 AI 扮演的作用是提升连接的效率。比如在社交类 APP 里，已经有一些产品在做社交替身、社交红娘的尝试，降低“ I ”人之间沟通的门槛。在内容平台和 O2O 平台，生成式 AI 的强大语义理解能力，能做更好的内容理解与个性化匹配；

另外基于 AIGC 的内容、广告富媒体素材的生成能力，也使得投放或自然分发的效率更高了。再以 QQ 浏览器举例，这是腾讯开发的工具 APP，提供网页浏览能力，也有对互联网上各种文件 / 文档的打开能力。最近上线了 AI 阅读助手的能力，能对用户授权的文档进行 AI 速读和交互式问答，提升用户获取信息的效率。

在这些场景大模型都提供了更好的体验，但我认为是对既有互联网服务的一个体验优化，对连接效率的提升，但在用户看来，这仍然是他们熟悉的产品。

当然这个界限比较模糊，比如 AI 搜索，同样是生成式搜索，New Bing 大家可能认为是 AI 增强后的搜索引擎；而 Perplexity 就是搜索增强后的问答 AI 应用。

另外也有少量 AI 原生的应用，比如各类沉浸式智能体平台，也开始摸索出了很明确的 PMF，这些倒不能说是冲击，只是出现的全新的服务和机会。对于从业人员来说，相信大家都能感受到，新的产品形态和技术，伴随而来的也有新的职业机会和焦虑感。

InfoQ：开放剧情游戏，从字面上看，可能是大家可以自定义剧情？类似之前有电视剧自己可以定制结尾，这样的需求，在游戏中是否足够大？现在有没有典型的开放剧情的游戏代表呢？

陈浩蓝： 是的，和字面意思一样，是希望能响应根据用户的选择，开放式、无结尾地一直延续剧情。当然需要说明的是，这里的响应不是完全由用户控制，而是更希望遵循剧情的创作规律，从而给用户全局更好的剧情体验。比如在剧情中会遵循经典三幕剧的结构，剧情中的人物有 ta 的角色弧光，通过拉扯来给用户提供更好的体验。这就像魂系游戏里，制作团队的目的是让玩家开心，但把玩家”按在地上摩擦“的也是他们。

说到这类需求在游戏中大不大，我觉得需求的分布和产品对需求的满足能力是互为因果的。首先说我的观点是“大”。归纳地看，受限于开放剧情对内容生产的巨大开销，目前还没有真正的开放世界游戏（但是否存在真实的开放世界呢），但像 GTA、荒野大镖客、艾尔登法环这类有限开放世界和具有丰富分支剧情的游戏，表现出了很高的用户吸引力。演绎地看，游戏是人类的乌托邦的话，大家应该都希望它是一个更开放和永续的存在。

有了生成式 AI 之后，除了之前比较有名的斯坦福小镇论文，工业界有不少产品也尝试了开放式剧情，并且尝试加入一些游戏化玩法。比如海外的 Janitor、国内出海的 Crushon、国内我们关注到星野、冒泡鸭也有类似的尝试。我感觉同行们也都在探索。

InfoQ：现在的技术进展情况如何？有查到 MiAO 公司提出了一种名为 LARP（Language Agent for Role Play）的框架，该框架将开放世界游戏与语言智能体相融合，利用模块化方法进行记忆处理、决策以及从互动中不断学习。当前的技术框架主要包括那几个方面？

陈浩蓝： 我简单学习过 LARP 这个工作，这个是 23 年的工作，有很好的想法，这个框架能让 NPC Agent 从开放世界的游戏环境里自动学习到经验，并通过检索的方式迭代提升后续的决策效率。这个很好地模拟了强化学习中 Agent 通过和环境交互，学习更好的策略的方式。后续也有比如 nvidia 的 voyager、或者创业公司深度赋智的 MetaGPT，也用了类似的思路，来通过仅 Agent 的方式迭代策略。

这类解决方案和我们想讨论的问题有两点关键的不同。首先这类工作在游戏角色扮演中，主要处理的问题仍然是让角色如何更好地遵循游戏规则和剧情；这是很有意思的工作，但更进一步的，我们希望讨论的范畴包括开放式剧情的生成，以及在这样的剧情下，如何让玩家和智能体能够在剧情中扮演各自的角色进行体验。

另一点差异是实现方案上，由于单纯 Agent 的框架的关键限制是不对大模型（通常是 GPT）做对齐精调，因此需要有更为精巧复杂的机制，使得信息被提炼成合适形式的字段，并通过 RAG 等手段，保证字段能比合理地拼到 Prompt 里，来模拟模型参数迭代的过程。

但如果使用开源 / 腾讯自研 LLM，这件事可以通过下游精调能更简单地实现。且由于在线上应用场景中，成本和响应时间都是必须要考虑的因素，所以我们也不会使用复杂 Agent 架构里常用到的串行多次推理，会尽可能用少次数的模型推理来拟合想要的效果。

InfoQ：当前的技术框架在实际落地的时候有哪些难点呢？目前有哪些解决思路？

陈浩蓝：Agent 框架的设定，我认为是对物理社会的一个模仿，这样能保证物理世界能够提供足够多的垂类样本，来训练我们各个模块的模型。我们当前的多 Agent 剧情扮演框架，是对现实世界的影视剧的一个模仿，其中包含设定 Agent、编剧 Agent、导演 Agent、旁白 Agent、NPC Agent、动作指导 Agent 和用户助手（类似原神中的派蒙）Agent。

当然，这些 Agent 都是共同调用我们基于混元大模型精调的角色扮演语言模型，我们为每个 Agent 定制了专门的训练任务以增强自研模型对 Agent Prompt 的敏感程度。这个中间有一些调度的机制，比如设定的调度可以跟着剧本粒度走、编剧的调度可以跟着章节剧情粒度、然后导演和 NPC 则需要在用户的交互中频繁被调用。这里没法展开更多细节，让我们把更多交流留在 AIcon 上海站当天。

InfoQ：当前的技术框架在实际落地的时候有哪些难点呢？目前有哪些解决思路？

陈浩蓝： 主要有以下几方面：

a. 生成剧情的精彩程度：根据上文生成一段故事是大模型的天生技能，但是生成一段符合起承转合的特性，又有戏剧性和创意的剧情，难度高；

b. 导演、旁白和 NPC 对剧情的遵守能力；

c. 在多 Agent 场景下，整体耗时的保障；

我们的针对三类问题，都有一些针对性的调研和解决尝试，取得了阶段性的结果。非常期待和大家分享。

InfoQ：未来发展方向中，大模型智能体在开放剧情扮演玩法中的潜在创新点是什么？

陈浩蓝： 至于潜在创新点，我认为是从用户的反馈中自动迭代出整幕剧的更优体验。通过先验的人工评估，我们很好明确哪些体验是差的，比如角色 OOC、剧情平淡、逻辑问题。但什么体验是好的，用户只会给出一些非常隐式的反馈。

对于推荐系统这种搜索空间小的问题，现在基于用户的短期反馈已经能有比较成熟的方案了，当然长期的反馈仍然是难的。

而对于多 Agent 的大语言模型体验，由于觉得和语言的可选空间巨大，如何将用户的后验反馈持续迭代到整幕剧的各个模块，玩一万遍后整个剧组就更加专业，这是一个令人兴奋的事情。

嘉宾介绍：

陈浩蓝，腾讯 PCG 大模型中台 Agent 技术负责人，腾讯 NLP 技术专家，负责 QQ 浏览器内多个亿级用户场景的 NLP 技术落地，在 KDD、ACL、WWW、CIKM 等多个学术会议发表论文十余篇。

活动推荐：

8 月 18-19 日，AICon 全球人工智能开发与应用大会将在上海举办。来自字节跳动、华为、阿里巴巴、微软亚洲研究院、智源研究院、上海人工智能实验室、蔚来汽车、小红书、零一万物等头部企业及研究机构的 60+ 资深专家，将带来 AI 和大模型超全落地场景与最佳实践分享，帮助与会者提升技术视野、获得有价值的实践指导。大会火热报名中，详情可联系票务经理 13269078023 咨询。