AI 大模型落地金融：如何应对五大挑战？

随着 AI 的发展进入深水区，大模型的应用已不再局限于理论探讨，而是逐步渗透到各行业的核心业务之中，尤其是在金融科技领域。

如今，AI 和大模型不仅在提升运营效率、优化客户体验方面发挥了关键作用，还推动了创新型金融服务的不断涌现。然而，如何有效推进 AI 和大模型在金融科技行业的应用与实践，充分释放其潜能，依然是行业内外关注的焦点。

日前，围绕“推进 AI 和大模型在金融科技行业的应用与实践”这一主题，InfoQ 与嘉银科技技术中心人工智能经理姜睿思探讨了 AI 技术在实际业务场景中的落地挑战与解决方案。

在 8 月 16-17 日将于上海举办的 FCon 全球金融科技大会上，姜睿思老师将在「金融大模型应用实践和效益闭环」专题论坛中与大家进行深入的交流和分享。此外，大会还将聚焦 AIGC+ 营销运营、AIGC+ 研发等场景，邀请来自银行、证券、保险的专家分享最佳实践。更多演讲议题已上线，点击链接可查看目前的专题安排：https://fcon.infoq.cn/2024/shanghai/

以下内容为对话整理，经 InfoQ 作不修改原意的编辑：

InfoQ：嘉银科技目前在 AI 领域有哪些主要的应用场景和产品？以及在 AI 方面的整体布局是怎样的？目前的主要投入方向有哪些？

姜睿思：嘉银科技在 AI 领域的应用场景广泛，产品多样，整体布局全面，且投入方向明确。我们还将继续秉持创新引领发展的理念，不断深化在 AI 领域的应用和探索。

我们在 AI 领域的主要应用场景和产品主要有以下几类：

• 智能风控：我们利用 AI 技术构建了精准的风控模型，能够实时监测交易行为，有效识别潜在风险，提升公司的风险管理能力。

• 个性化推荐：通过 AI 算法对用户数据进行细致分析，实现个性化推荐系统的优化。这不仅提升了用户体验，还有效提高了营销转化率和客户满意度。

• 智能客服：我们引入了基于 AI 的智能客服系统，能够自动识别用户问题并提供准确答案，大大缩短了客户等待时间，提升了服务效率。这一系统已广泛应用于我们的客户服务流程中，受到了用户的一致好评。

• 自动化流程：借助 AI 技术，我们对业务流程进行了优化和自动化改造。通过智能化手段减少人工干预，提高了业务流程的执行效率和准确性。例如，利用 AI 能力自动审核申请材料，大幅提高了审批效率。

此外，我们还自研了多款 AI 相关产品，如智能外呼系统、智能运维系统，机器学习平台 等，这些产品 / 系统都在各自领域发挥着重要作用。

AI 布局方向上，主要以赋能金融科技业务和提升运营效率为核心目标。通过构建多维度的 AI 产品矩阵，我们致力于赋能金融机构实现数字化建设和运营效率提升。

从技术选择的层面，主要是自然语言处理（NLP）、机器学习和数据挖掘等。我们持续加大在 AI 领域的研发投入，包括人才引进、算法研发、产品优化等方面。通过不断提升自身的技术实力，我们希望能够为金融科技行业带来更多创新的解决方案。

InfoQ：嘉银科技在 AI 技术的选择和研发方面有哪些策略和方法？

姜睿思：技术选择策略主要有以下考虑维度：

• 紧跟行业趋势：我们密切关注 AI 技术的最新发展，如大模型技术、自然语言处理等，确保公司选用的技术处于行业前沿。

• 注重技术实用性：在选择 AI 技术时，我们强调技术的实用性和业务场景的契合度。例如，我们依托先进的即时信息检索技术、多知识点问题解答能力和多模态文档解析能力，以突破传统知识库在自然语言问答方面的局限性。

• 考虑技术整合性：我们倾向于选择能够与其他系统和技术平台无缝整合的 AI 技术，以便实现更高效的数据交互和业务流程。

研发方面，我们坚持自主研发，通过构建专业的研发团队，不断推出具有自主知识产权的 AI 产品和解决方案。例如，我们自研的“灵犀”AI Agent 和“棱镜”AI 质检平台，都是基于自主研发的技术。

第二，我们的 AI 系统具备持续学习的能力，可以不断汲取并学习业务知识。随着知识库内相关企业知识的更新完善，问题解答的精度也在持续提升。

第三，我们充分利用多维度数据，如音频、文本等，通过自研算法进行数据挖掘，为业务提供精准决策支持。

第四，在研发过程中，我们始终遵循相关的法律法规，确保用户数据的隐私和安全。同时，我们也通过自研技术打造“白泽”安全系统，实现全面主机监控和高效攻击溯源，保障系统安全。

总的来说，在 AI 技术的选择和研发方面，我们会注重紧跟行业趋势、实用性、整合性以及自主研发等多个方面。我们将继续秉持这些策略和方法，不断推动 AI 技术在公司业务中的应用和发展。

InfoQ：有遇到技术决策不如预期的情况吗？

姜睿思：现在行业内基本没有太多经验可以借鉴，因此试错是一个不可避免的过程。由于项目需要结合我们的业务场景和数据的特殊性，而这些数据往往比较敏感，因此我们在一开始并不完全清楚最终能实现什么样的效果。

同时，我们也持续关注新技术，比如 RAG 和 Agent 出来也没有很久。在以往的项目中，如果遇到类似的新技术或更底层的技术，我们会进行评估和判断，如果这些技术具备通用性或有可能提升项目效果，我们就会进行尝试。因此，虽然我们现在的工作量比以前多了，且确定性也降低了，但我们也只有通过不断试验和探索，去逐步推进项目的发展。

InfoQ：您能否分享一些具体案例，说明大模型如何在金融知识密集型和作业密集型场景中发挥作用，解决了哪些痛点？

姜睿思：在金融知识密集型场景中，大模型的应用主要体现在复杂数据分析和决策支持上。以数据分析为例，利用 AI 大模型能力进行数据分析，大模型能够理解自然语言提出的问题，并自动生成相应的 SQL 查询语句，从而帮助用户快速获取数据分析结果。

这类应用大幅提高了数据分析效率传统上需要专业人员手动编写 SQL 语句的过程不仅耗时，而且容易出错。而通过大模型，非技术人员也可以通过自然语言与系统交互，轻松获取数据分析结果，降低了技术门槛，让更多人能够参与到数据分析工作中。

在作业密集型场景中，大模型也发挥了重要作用。例如，在智能客服领域，传统的人工客服由于成本高且效率有限，难以应对大量的客户咨询。通过将大模型应用于智能客服系统，能够自动回答常见问题并处理投诉，显著降低了人工成本。例如，基于 AI 大模型的智能客服系统每天可以处理超过一万次的咨询，不仅提高了效率，还提升了客户满意度。

InfoQ：在推动 AI 和 大模型项目的过程中，您遇到过哪些主要挑战？这些挑战是如何解决的？

姜睿思：主要有五大方面的挑战。首先是数据质量和数量的问题。在训练大模型时，我们发现可用的高质量数据有限，而且数据存在不一致和噪声问题。为了解决这些问题，我们进行了数据清洗和预处理，消除了噪声和不一致数据。此外，我们采用了数据增强技术，通过变换和合成生成新的训练样本，增加了数据量。同时，我们与合作伙伴共享数据，扩大了数据集的规模，并确保数据隐私和安全。

其次是模型复杂性和计算资源的需求。大模型通常需要大量的计算资源和存储空间，这对我们的基础设施提出了挑战。为此，我们投资升级了硬件基础设施，包括高性能计算集群和大容量存储设备。此外，我们采用了分布式训练和模型压缩技术，优化了资源利用，减少了模型训练时间和存储空间需求。

第三个挑战是模型的可解释性和合规性。随着模型复杂性的增加，解释模型决策变得更具挑战性，同时需要确保模型符合相关法规要求。为了解决这一问题，我们引入了可解释性 AI（XAI）技术，提供更清晰的模型决策解释，并与法律和政策团队紧密合作，确保模型的应用符合所有相关法规，如 GDPR 等。

在技术和业务团队的协同方面，确保两者之间的有效沟通和协作 也是一个挑战。为此，我们建立了跨部门的协作机制，包括定期的项目进度会议和需求讨论会。此外，通过培训和研讨会，我们增强了团队成员对 AI 和大模型技术的理解和应用能力，促进了技术与业务的紧密结合。

最后，模型的部署和监控也是一个复杂的过程。为了确保训练好的模型能够顺利部署到生产环境并稳定运行，我们采用了容器化和微服务架构，简化了模型的部署和管理。同时，我们建立了完善的监控和告警系统，确保模型在生产环境中的性能和稳定性。

InfoQ：在大模型训练和优化方面，有没有哪些创新的方法和经验可以分享？

姜睿思：在大模型训练和优化的创新技术方面，主要可以总结以下几点：

一. 模型训练优化：

1. 混合精度训练：通过使用半精度浮点数（FP16）进行训练，能够显著降低计算负担和内存使用，同时保持模型的精度和性能。

2. DeepSpeed 分布式训练：利用 DeepSpeed 等分布式训练框架，提高了大模型的训练效率和可扩展性，支持更大规模的模型训练。

3. 参数有效性学习：通过专注于训练过程中对参数的有效性进行优化，减少了模型参数的冗余，从而提升训练速度和模型性能。

4. 模型量化：在不显著影响模型精度的前提下，通过将模型参数从浮点数减少到定点数，降低了模型的计算和存储成本。

二. 模型推理优化：

1. 数据级别优化：

• 输入压缩：通过提示词裁剪（Prompt Pruning）、提示词总结（Prompt Summary）、基于提示词的软压缩（Soft Prompt-based Compression），有效减少输入数据的冗余。

• 检索增强生成（retrieval augmented generation， RAG）

2. 模型级别优化：

• 有效结构设计：设计高效的前馈网络（FFN）和注意力机制（Attention），以及探索 Transformer 架构的替代方案，以提高模型的推理效率。

• 模型压缩：包括模型量化、稀疏化、架构优化和知识蒸馏，通过这些技术减少模型的计算复杂度，同时保持其性能。

• 动态推理：根据输入的不同，动态调整模型推理过程，提高推理效率。

3. 系统级别优化：

• 推理引擎：通过图和计算优化、推测解码等技术，提升模型推理的速度和精度。

• 推理服务系统：优化内存管理，实施连续批处理（Batching）和高效调度（Scheduling）技术，以及采用分布式系统，确保模型推理过程的高效性和稳定性。

InfoQ：在金融科技业务中应用大模型，如何确保数据隐私和安全？

姜睿思：确保数据隐私和安全需要采取多层次的措施：首先，我们实施了严格的数据管理策略，包括计算机和网络设备的安全管理、加密存储敏感数据，以及严格控制访问权限，确保只有授权人员能够接触这些数据。

其次，我们建立了强大的数据安全策略，采用标准的加密和数据备份技术，使用高端的数据平台，确保数据在传输和存储过程中的安全性。

在隐私保护方面，我们应用了数据脱敏和加密技术，防止在处理个人数据时泄露敏感信息，确保数据在传输和存储中的机密性。

此外，我们严格遵守相关法律法规，如 GDPR，确保数据的合法收集和使用，并定期审查和更新隐私政策以符合最新的法律要求。

为应对潜在威胁，我们建立了持续的安全监控和审计机制，实时监测和快速响应数据安全事件，并定期评估现有安全措施的有效性。

我们还注重员工的安全意识，通过定期的培训提高他们在数据安全和隐私保护方面的责任感，确保他们了解如何正确处理和保护敏感数据。

最后，在与第三方合作时，我们签订了严格的数据保护协议，并对合作方进行安全审查，确保其符合相关标准。

这些措施共同构成了一个全面的数据安全保护体系，确保在金融科技业务中应用大模型时，用户数据的隐私和安全得到充分保障。

InfoQ：未来是否有进一步的计划或目标，以进一步推动大模型在金融科技业务中的应用？

姜睿思： 我们计划通过持续优化大模型性能、融合新技术、强化数据安全和合规性，拓展个性化服务和智能 Agent 的应用，同时推动跨行业合作与生态系统建设，并加强员工培训和知识共享，进一步推动大模型在金融科技业务中的深入应用和创新发展。

InfoQ：您将在 8 月 16-17 日上海举办的 FCon 大会上分享《大模型在金融知识和作业密集型场景的挑战和实践》，可以先剧透一下您的议题亮点吗？

姜睿思： 一方面，我会介绍大模型的落地场景，分析其在知识密集型领域的应用实例和成效。也会涉及大模型在作业密集型场景中面临的挑战以及我们如何应对这些挑战。

另一方面，我将重点介绍集团内部面向 B 端的主流 AI 产品，如职能单元助手和智能作业辅助工具，分析这些产品的技术实现、市场接受度以及对业务的影响。也会讨论如何通过专家知识与算法的平衡优化大模型的商业应用，构建效益闭环的方法，包括效益评估和持续优化过程。

最后，我会通过具体案例研究展示大模型在金融科技公司中的成功应用，深入探讨这些案例中的逻辑闭环、建设闭环及产出闭环，以更好地理解和运用大模型技术。