度小满 CTO 许冬亮：大模型落地金融行业需解决好三大挑战

8 月 23 日，北大光华-度小满金融科技实验室举办“北大光华-度小满金融大模型技术与应用论坛”，北大光华金融系主任、教授刘晓蕾，度小满 CTO 许冬亮，清华大学人工智能研究院常务副院长孙茂松，北京大学光华管理学院商务统计与经济计量系王汉生教授，哈工大计算学部长聘教授车万翔，中国农业银行研发中心大模型研发负责人耿博，光大信托数据中心总经理祝世虎等行业专家出席研讨会。会上，大模型本身的技术难点、大模型对金融行业影响和应用等问题成为产学研界共同关注的课题。

度小满 CTO 许冬亮

许冬亮表示，大模型让机器具有了常识，懂得了逻辑，学会了创作，让人和机器能以更自然的方式互动，通过与周边工具的结合，大模型已经具有了通用人工智能的雏形。金融行业是高价值行业，数字化基础好，高度依赖数据和技术，是大模型落地应用的高潜场景。对于中小金融机构，在大模型的浪潮里，他们也有机会通过应用创新，来加快自身的数字化和智能化进程，跨越数字化鸿沟。

现阶段，如何在金融领域发挥大模型的能力，他认为还有三个挑战需要解决：

第一个挑战是通用模型能力不能满足金融场景需要。首先是通用大模型本身精度不够，当前大模型原生的幻觉问题、可控性问题和可解释性问题都限制了生成内容的准确性和可控性，而金融又是一个对精准性、可控性要求很高的行业；其次是通用大模型金融知识的缺失；再次是大模型更新迭代困难，金融是高时效的，模型必须能够实时跟踪金融市场的变化和趋势。

第二个挑战是大模型如何高效植入现有业务场景。一个团队既要懂业务场景的 know-how，又要理解大模型的使用方法，而且还需要具备比较强的工程能力，这样才有可能选择出适合应用大模型的场景，高效的将大模型嵌入到实际业务流程。

第三个挑战是大模型应用于金融业中产生的安全合规和隐私保护问题。金融本身是一个高合规要求的行业，大模型又是具有颠覆性的新技术，我们对它的风险还没有完全了解，随着大模型落地的不断推进，如何平衡大模型落地收益和潜在合规风险，会是一个越来越突出的问题。

如何解决大模型在金融行业落地应用的这些难题，许冬亮认为每家机构独立去解决这些问题既是不现实的，也是不经济的，科技公司和金融机构在金融大模型上的合作非常有必要，“科技巨头提供通用大模型，或者技术能力强的金融科技公司提供金融行业大模型，具体的金融机构基于这个行业底层模型，用自己的业务数据去做私域的训练，然后做私有化的部署和应用”。

今年 5 月份，度小满开源了国内首个千亿级中文金融大模型“轩辕”，“轩辕”1.0 在金融域任务评测中全面超越了市场上的主流开源大模型，开源以来已经有上百家金融机构申请试用。

目前，度小满也在积极筹备“轩辕”2.0 版本。相较 1.0 版本，2.0 版本主要将从如下四个维度进行更新：一是底座模型从 Bloom 增改为 LLaMA，因为 LLaMA2 的能力更强，发布之后几乎成为大模型底座的首选；二是通过预训练微调提升模型能力，度小满会加入一些中文数据，保证原有能力不下降的同时大幅提升其对中文的理解能力；三是将原有 LLaMA 支持的训练长度从 4K 变成 8K，这样能够更好地支持中文多轮对话的能力。开源的 LLaMA 本身只是一个基础的语言模型，并不具备对话聊天的能力，度小满将为其赋能聊天功能，未来使用 LLaMA 可以更好的自由交流；四是增强金融理解能力。除了通用的中文语料，度小满将会更多丰富金融场景的语料，使其不仅具有通用的中文能力，而且还具备金融知识的理解能力。未来，度小满将发布基于 LLaMA 的“轩辕”2.0 版本，同时希望其可以更好得赋能金融行业。