平安壹钱包：大模型如何帮助风控运营实现效率翻倍

嘉宾 | 王永合，平安壹钱包大数据研发部算法负责人

编辑 | 高玉娴  

在金融科技的浪潮中，账户风险管理一直是金融机构关注的焦点。传统的人工驱动流程在处理复杂的欺诈案件时，不仅耗时且容易出错。随着大模型技术的兴起，企业有机会通过智能化手段，提高风险感知和风控决策的能力，从而降低人工失误率，提升运营效率。

在即将于 8 月 16 日 -17 日举办的 FCon 全球金融科技大会上，平安壹钱包大数据研发部算法负责人王永合将深入探讨如何利用大模型技术，实现账户风险管理的数字化转型，以及这一转型如何为金融机构带来实质性的价值。

为了帮助大家提前了解该演讲议题亮点，更好地理解其背后相关背景和内容，InfoQ 对王永合老师进行了预热采访，探讨了支付机构的业务特殊性和对应的风控诉求，以及大模型技术如何帮助平安壹钱包风控运营人员实现效率翻倍。

FCon 全球金融科技大会还将聚焦 AIGC+ 营销运营、AIGC+ 研发等场景，邀请来自银行、证券、保险的专家分享最佳实践。更多演讲议题已上线，点击链接可查看目前的专题安排：https://fcon.infoq.cn/2024/shanghai/

以下内容为对话整理，经 InfoQ 作不修改原意的编辑：

InfoQ：作为支付机构，平安壹钱包的业务和银行、证券、保险等这些金融行业相比有哪些差异或者特点？

王永合： 作为支付机构，相比金融行业业务形态会更加多元化的。比如，除了跟金融相关的理财，还有包括购物、生活缴费、日常支付以及积分兑换等，覆盖五大金融增值及消费场景的综合支付服务。相比之下，银行、证券和保险等传统金融机构通常提供更广泛的金融服务，如存款、贷款、投资、保险保障等。

除了传统的金融场景如理财、信贷、普惠金融等场景之外，还有积分、商城、宠物、加油等非金场景，在不同的生态中我们都会推出各种创新的产品来满足市场的支付需求。比如，我们跟中石油合作推出了"小安加油"，以及针对扶贫项目推出的"平安爱心卡"等。此外，还有创新支付产品，涵盖支付、会员营销、积分兑换及导航的全方位“数字化营销服务”。

同时我们也在整合集团去做跨界合作的支付生态构建，平安壹钱包通过跨界合作，为平安集团旗下各公司及外部众多金融机构提供坚实的支付及账户服务，打造数字化支付解决方案，丰富支付产品种类和功能。

InfoQ：聚焦这些金融和非金融的支付业务，我们对于风险管控的核心诉求有哪些？过去主要采取了哪些技术手段满足这些需求？

王永合： 因为支付业务涉及的场景比较复杂，因此风险因素也更多，所以我们对风控的核心诉求主要集中在全面管控，具体包括以下两个方面：

1) 风险的事先预测、实时处置和事后预警监控: 壹钱包致力于构建一个风险闭环管理系统，实现对风险的全面管控。这涉及到使用先进的技术手段，如大数据分析和机器学习，来预测潜在风险，实时处理突发事件，并对风险事件进行事后评估和监控。

2) 保护用户交易资金安全: 壹钱包始终将用户的资金安全放在首位，通过融合线上线下的海量数据，综合用户及商户画像特征，采用机器学习、深度学习、知识图谱等技术手段，建立精准的风控策略和模型。

从技术手段上来说，我们也主要构建了两个平台：

一是风险监控平台，我们有完备的数据流转架构，基于该平台，我们会通过数据分析、借助机器学习模型对现有案件的风险特征进行重要性分析，然后基于分析结果生成经验总结，并根据重要的风险特征生成风控规则，然后上线进行测试，拦截风险交易。

二是风险运营平台，在风控运营方面，我们希望能够借助数字化方式辅助运营，实时对风险案件进行诊断和管控。在该平台，我们近期也引入了大模型尝试进行业务赋能，实现业务流程的闭环和数据链路的闭环。

 InfoQ：您主导从 0 到 1 建设了平安壹钱包的智能风控运营平台，可以展开介绍一下这个平台建设的背景吗？

王永合： 如前面所说，支付场景涉及的风险案件错综复杂，传统的风控运营基本全由人工进行主导，主要包括案件的基本信息核查，电话照会客户确认风险点，比如，某笔转账是否是本人发起，是否授权了壹钱包登录，必要的时候还需要用户提供身份信息辅助判断。与此同时，运营人员还要根据排查结果实施管控策略，撰写案件小结。该链路的流程繁琐、专业性强、对抗性高，主要依靠运营人员的自身经验。

于是，我们一直在思考能不能引入一些新的技术让流程变得更加智能和高效。近两年大模型火了之后，我们就开始尝试在风控运营的主线流程中引入大模型来消除这些问题。

比如说在“基本信息核查”阶段引入“案件风险点诊断”工具，它可以帮助运营人员从海量、异构的用户信息中更高效地找到风险点；

比如在“电话照会”阶段引入“电话照会剧本生成”工具，它可以根据案件诊断情况生成一个剧本（包含风险待查信息、排查思路、注意事项等），让运营人员在电话照会过程中目的更加明确；

再比如在“在实施管控和撰写小结”阶段引入“管控建议及案件小结生成”工具，它可以评估之前的电话结果，针对性地输出诊断建议和管控建议，然后自动生成小结内容。

通过这一系列工具，使得我们从原本由经验主导的运营模式转为基于大模型的数字化运营模式，通过数据去驱动和流转，整个过程变得更加智能和高效。具体而言，过去一个风控人员一天大概只能完成 30 多个案件评估，借助这一平台每天完成的数量达到了 100 多个，效率翻倍。除此之外，准确率也有所提升。

InfoQ：这样一个风控体系和路径的建设背后基于的是什么设计逻辑（哪些性能是最重要的）？

王永合： 首先是平台建设，包括流程编排平台的应用，将各种异构数据源、工具源、信息源组件化，便于智能体进行调用。

其次是业务应用，将 workflow agent 的建设交给运营进行主导，摆脱传统的“向产品提需求 -> 需求评审 -> 需求排期 -> 前后端开发联调 -> 上线验收”的冗长流程，通过低代码的形式进行低成本的业务尝试。

比如说传统风控运营模式下，从产品需求到上线验收整个过程可能要 2 个月时间，那么最终拿到的数据是否有价值，这是要打问号的。很多时候，业务人员提出的需求是试探性的，但一个尝试性的想法 2 月才能落地，结果还不一定很好，这对业务创新也会存在打击性。

而通过流程编排，主要目的就是降低业务尝试成本，他们可以自己搭建一个智能体工作流，可能半天时间就可以使用和验证，如果方法可行就继续尝试，如果不可行就放弃。

除此之外，值得注意的是，大模型是需要迭代的。按照传统机器学习的做法，就是对数据打标签然后离线训练再上线，从而不断优化模型效果。在这方面，我们也详细设计了大模型迭代数据闭环，引入大模型的初衷是“能力增强 + 业务提效”，而运营在使用过程中又会间接对大模型生成的结果进行“打标”，即便最开始的模型效果不是特别好，通过持续优化地带，它也会慢慢逼近预期，实现模型辅助运营，运营强化模型的数据闭环。

InfoQ：整个建设的过程顺利吗？

王永合： 事实上，这个平台最初也并不是专门为风控业务做服务的，我们想建的是一个通用平台。比如在介入风控之前，我们已经在别的业务场景构建大模型平台。最开始主要是 APP 内的聊天机器人，通过大模型取代原有的基于深度学习的意图识别，因为传统的方式的回答还是比较生硬的，大模型在这方面有很大的改进。由于风控是金融非常核心的环节，所以我们在其它场景优先进行了探索和尝试，这也是确保技术在风控领域能够顺利的重要前提。

当然，在整个建设过程中，我们也遇到了一些挑战。比如，技术选型上由理论向实际的妥协，一开始我们倾向于使用更加智能的 AutoAgent 框架，理论上这个框架可以基于强大的 LLM 底座 + 多专家协同 + 丰富的 Tools -> 模拟风控运营专家处理案件。

举例来说，AutoAgent 框架会设定若干个智能体角色，如任务规划者、观察者等等，观察者会不断反思任务完成情况，并督促任务规划者将复杂的任务拆分成一个个小的任务，然后一步步完成一个大任务。最开始，我们认为基于这一模式，即便是非常复杂的风控场景也可以一步到位。

但实际投产之后我们发现效果并没有那么理想。这里面会存在一些幻觉的问题，该框架对于大模型的要求较高，对于专家、Tools 的定义需清晰明确，且调用过程中稳定性较差，决策上的误差可能随着链式调用逐步放大。比如某个环节出错，最终可能导致非常严重的后果。

此外，风控运营更关注模型的下限而非上限，AutoAgent 的上限的确很高，前提是它能够按照理想的状态运行下去，但同时它的下限也更低，如果中间某个环节出错就再也回不来了。

因此我们也对技术选型进行了一些调整，将大模型工具定位为辅助风控运营的角色，作为人机结合的形式推出。专向由运营主导进行流程编排的 Workflow Agent，通过流程编排的形式多次调用大模型，对局部数据进行分析，在对整体结果进行概括，依靠大模型快速整合简单的风险点，将更多的精力聚焦在复杂问题的挖掘上。

总结来说，在这个过程中，我们看中了大模型的两大能力：一是大模型天然对于异构数据源有很好的兼容性,，可以通过提示词工程进行数据分析和特征抓取,，总结潜在的风险点；第二，容易出错和对抗性强的关键是运营人员需要对风险案件有深入理解，排查案件时有清晰地思路，这些是大模型可以进行辅助的, 通过 RAG 技术，大模型可以结合知识库，给出运营人员专业的建议和思路。

这是传统 AI 技术难以支持的，传统深度学习模型对数据格式一致性要求非常高，比如某个案件多一个字段，或者新收集的一套数据，但凡它的字段格式跟之前有出入就加不到传统模型中去训练，而模型但凡没有学习过这些新的特征数据，它就用不了。

InfoQ：风控作为金融的核心场景，技术的可解释性非常重要，这也是大模型被认为难以在风控场景落地的原因，平安壹钱包如何看待和解决这个问题？

王永合： 可解释性上，大模型有着天然的优势，比如通过 RAG 技术，大模型可以将召回的知识作为“引用材料”列出，使得结论更有说服力；通过 Workflow Agent 技术，大模型可以将每一步执行的过程输出, 增加使用的透明度。

我们非常关注大模型的数据链路，确保大模型的结果是会得到反馈的，根据“负反馈”内容，我们会不断调整知识库、提示词或 Workflow，逐步提示大模型的稳定性和可靠性。

但是，由于大模型本身是一种概率模型，因此幻觉问题只能缓解，却始终无法避免，因此我们现阶段的目标不是取代运营，而是提效运营，减少日常工作中 80% 简单的事务，将精力聚焦于困难点上。

我们对大模型的定位是拟人化。将大模型打造成一个风控运营小助手，通过知识库 +workflow 等方式，帮助大模型基于现有的数据近似达到风控运营专家的高度，或是解决风控运营专家日常工作中的一部分基础工作。

InfoQ：通过大模型平台的建设和应用，具体给平安壹钱包的业务带来了哪些效益和成果提升？

王永合： 举例来说：对于风控运营来说，原本每个运营人员只能处理 30 左右的案件，借助大模型后，人均处理案件数量为 100+ 并且，引入大模型后， 风控运营的数据更加规范化，在风险监控、特征总结和新人培训等场景也带来了不同程度的提升。

风控业务知识大模型平台应用的一个业务领域，目前至少有 5 个业务条线已经接入了大模型，包括企微运营、数据管理、宠物场景、大学生场景、NL2SQL、Code Review、智能营销等等， 业务愿意使用这项技术低成本的进行尝试，探索更多的可能性。

业务部门的反馈还是很好的，以新人培训为例，过去老带新非常低效，并且很多专家的经验是难以直接复制的，对老人的教学能力要求非常高。现在基于各方面的数据，就可以基于现有的案件信息沉淀，为新人直接提供辅助。比如他们输入某个案件信息后，就可以在案例库中找线索，找存疑的风险点，进而辅助新人能力提升。

InfoQ：经过几个月的实际使用，目前这个风控运营平台的哪些方面是您认为还有突破空间的？

王永合： 我们非常关注数据的流转和持续的积累，但是目前对大模型的标注结果需要人工介入一一排查。比如对于某个风控案件，当运营判断大模型召回思路写的不好，就要删掉重写，这样以来后台会对这条数据判定为不达标，并据此再进行迭代和数据流转，判断运营为什么会打这个标签，进而增强知识库，完善提示词，帮助大模型达成更优的效果。但是目前来看这一环节效率比较低，并且是事后排查，这对于整个数据闭环和数据反哺具有比较大的挑战。

此外，在智能风险诊断场景，目前无法自动化感知新的风险点，依赖运营主动创建 workflow 并进行定期的维护，实时性不高，也不够智能。

InfoQ：对此，平安壹钱包未来还有哪些相应的规划？下一步会重点攻坚什么项目？

王永合： 运营质检方面，还有很多值得尝试的点，比如说对标注内容的自动化质检：根据运营的反馈，自动化生成改进建议，减少人工排查的负担；对风险案件进行聚类，并由大模型做进一步的总结概括，提取风险工具；智能陪练场景：根据历史案件生成虚拟的案件信息，供运营寻找风控点，并通过文字的形式模拟电话照会场景，辅助风控运营培训。

在风险监控方面, 我们也希望能够引入大模型, 辅助数据分析师进行风险特征总结和风控规则开发

活动推荐

8 月 16-17 日，FCon 全球金融科技大会将在上海举办。本届大会由中国信通院铸基计划作为官方合作机构，致力于展示金融数字化在“十四五”期间的关键进展，以及近一年多来金融领域的 AI 大模型落地实践。大会邀请了来自工商银行、交通银行、华夏银行、北京银行、广发银行、中信银行、平安证券、华泰证券、度小满、蚂蚁集团等金融机构及金融科技公司的资深专家，现身说法分享其在金融科技应用实践中的经验与深入洞察。大会火热报名中，详情可联系票务经理 17310043226 咨询。