AICon 上海站|90%日程已就绪,解锁Al未来! 了解详情
写点什么

百川智能发布金融大模型 Baichuan4-Finance,整体准确率领先 GPT-4o 近 20%

  • 2024-12-24
    北京
  • 本文字数:1796 字

    阅读完需:约 6 分钟

百川智能发布金融大模型 Baichuan4-Finance,整体准确率领先GPT-4o近20%

12 月 23 日,百川智能发布全链路领域增强大模型 Baichuan4-Finance。在高质量金融数据的基础上,通过行业首创的领域自约束训练方案,Baichuan4-Finance 实现了金融能力和通用能力同步提升的效果,极大提高了金融场景的整体可用性。其金融专业能力和场景应用能力大幅领先 GPT-4o,在中国人民大学财政金融学院新近发布的评测体系 FLAME 以及国内主流开源金融评测基准 FinancelQ 上均登上榜首。


Baichuan4-Finance API 现已在百川智能官网正式上线:https://platform.baichuan-ai.com/finPage


整体准确率领先 GPT-4o 近 20%


百川选择了中国人民大学财政金融学院 12 月 17 日发布的金融评测体系 FLAME(Financial Large-Language Model Assessment and Metrics Evaluation)对大模型进行整体测评。


FLAME github 地址:https://github.com/FLAME-ruc/FLAME/tree/main


作为金融领域最新的评测体系,FLAME 兼顾专业性和实用性,由两个方向的评测基准组成。其中,FLAME-Cer 主要面向模型的专业金融能力评测,覆盖了 CPA、CFA、FRM 等 14 类权威金融资格认证;FLAME-Sce 则侧重模型的场景应用能力,包含 10 个一级核心金融业务场景,21 个二级细分金融业务场景,近百个三级金融应用任务。


FLAME-Cer 评测结果显示,Baichuan4-Finance 在银行、保险、基金、证券等多个资格认证领域的准确率均突破了 95%,整体准确率 93.62%,大幅领先 GPT-4o 和 XuanYuan3-70B-Chat,超出 GPT-4o 近 20%。GPT-4o 是金融领域公认的综合实力最强的通用模型之一,而 XuanYuan3-70B-Chat 则是国内首个开源中文金融大模型。



在 FLAME-Sce 评测中,Baichuan4-Finance 一级核心金融业务场景的整体可用率达 84.15%,其金融数据计算、金融知识理论等场景的可用率更是超过 90%,实际应用场景中的表现非常优秀。



不仅如此,在国内主流开源金融评测基准 FinanceIQ 上 Baichuan4-Finance 同样超越了 GPT-4o 和 XuanYuan3-70B,整体准确率达到 79.23%,领先 GPT-4o 近 13%。



模型金融专项能力和通用能力同步提升


如何让模型在提升专业能力的同时不损失通用能力,是当下大模型落地具体场景最大的阻碍。为解决这一问题,百川智能打造了一套全链路领域增强方案,该方案覆盖了高质量数据集构建、模型预训练、微调、强化学习等从模型研发到场景应用的全流程。



在模型训练阶段,通过行业首创的领域自约束训练技术,百川智能实现了模型专项能力和通用能力同步提升的效果,极大提升模型多元场景的可用性。Baichuan4-Finance 正是这一方案的最新成果。


具体而言,Baichuan4-Finance 的金融数据集既包含金融专业教材与学术著作、顶级金融期刊论文、监管机构政策文件、金融法律法规等核心专业金融知识数据,也覆盖了金融专业问答集、企业财报与年度报告、金融类研究分析报告等实践应用类数据,为提升模型金融能力提供了良好的底层支撑。



在此基础上,Baichuan4-Finance 还在领域自约束训练过程中引入了更高精的通用数据,与高质量金融数据一起进行混合训练,最终实现了模型通用能力不下降,金融能力稳定增长的效果。



此外,百川智能在后训练环节也做了大量增强工作,如通过合成数据、指令数据对模型进行有监督的微调;在强化学习策略中,针对数学计算等金融领域特别关注的场景进行样本增强等,进一步提升了模型性能。


攻克了专项能力和泛化能力平衡问题这一模型落地应用的最大阻碍后,Baichuan4-Finance 能够在效率提升、风控合规、客服、决策支持等诸多层面为金融行业带来全方位的价值提升。例如帮助金融从业者处理文档审核、客户咨询、产品营销等大量日常工作,还能依托深厚的金融专业知识和法律法规理解能力,为机构提供精准的风险识别和合规保障。此外,还可以凭借强大的数据分析能力为管理层提供专业的市场洞察和决策建议。


百川客户用友表示,Baichuan4-Finance 凭借其海量的金融专业知识储备,在财税知识问答场景中,准确率较 Baichuan4-Turbo 提升了 20%,较 GPT-4o 提升了 10%,表现尤为亮眼。软通动力表示,其客户在实际应用中既要求大模型具备通用能力,又希望其在金融场景中有所专长。自部署 Baichuan4-Finance 以来,客户满意度提升了 20%。


据悉,目前百川智能客户包括北电数智、完美世界游戏、爱奇艺、360 集团、生学教育、爱学堂等各行业的领军企业,并且与信雅达、用友、软通动力、新致软件、达观数据、华胜天成等多家行业生态伙伴,还与华为、中科曙光等硬件厂商,中国移动、中国电信、中国联通等运营商达成合作。


2024-12-24 11:145568

评论

发布
暂无评论

你可能不知道的iPython使用技巧

wangkx

Python

简谈Python3关键字nonlocal使用场景

wangkx

Python Python基础

领域驱动设计(DDD)实践之路(二):事件驱动与CQRS

vivo互联网技术

DDD 架构设计 CQRS

我们未曾见过的世界,大到无法想象

wangkx

ios 极客 apple 苹果 软件推荐

告诉你如何同时拿到腾讯两个部门的offer?

我是程序员小贱

重点发布!河北行动计划发布!聚焦7大重点任务发展大数据产业

CECBC

区块链技术 落地应用 政策

IT人的身体健康

隆隆

IT人健康

架构优化与业务迭代,你会怎么选?

架构精进之路

软件开发

二叉查找树-增删查和针对重复数据的 Java 实现

多选参数

数据结构 算法 二叉树 数据结构与算法

憋再@官方了,头像加国旗,10行代码给你安排!

wangkx

Python python升级

如何理解Python中的可迭代对象、迭代器和生成器

wangkx

Python python升级

翻译: Effective Go (5)

申屠鹏会

翻译 Go 语言

HashMap、LinkedHashMap 学习笔记

Geek_vidmje

troubleshoot之:分析OutOfMemoryError异常

程序那些事

Java JVM 异常 JIT

Kafka和RocketMQ底层存储之那些你不知道的事

yes

kafka RocketMQ 零拷贝 Mmap

非科班面试阿里,拼多多,银行都问了些啥?

我是程序员小贱

SpringBoot系列(四):SpringBoot特性_外部化配置(properties文件配置)

xcbeyond

Java 微服务 springboot

第10周总结+作业

林毋梦

图解JavaScript——代码实现(new、Object.create()、Object.assign()、flat()等十四种代码原理实现不香吗?)

执鸢者

Java 大前端 代码原理

敏捷软件工程实践书籍

Bob Jiang

敏捷 敏捷书籍 工程实践

神经网络激活函数为什么要使用非线性函数?

wangkx

神经网络 激活函数

简谈Python3中的闭包

wangkx

Python Python基础

队列高级应用之设计一个高性能线程池

架构师修行之路

分布式 线程池 架构设计 架构师

推荐一个替代印象笔记,onenote的神奇笔记!

申屠鹏会

笔记

架构师训练营 - 第 7 周学习总结

红了哟

一口气搞懂「文件系统」,就靠这 20 张图了

小林coding

操作系统 计算机基础 文件管理 文件存储 文件系统

Rust竟然没有异常处理?

袁承兴

rust 异常 java异常处理

大厂需要你的简历有这些内容!

我是程序员小贱

简述Python中变量作用域的规则

wangkx

Python python升级 Python基础

如何做好技术选型

xcbeyond

Java 架构 最佳实践 技术选型

浅谈技术管理者的角色认知与自我管理

Geek_37rwst

团队管理 管理 自我管理 技术管理

百川智能发布金融大模型 Baichuan4-Finance,整体准确率领先GPT-4o近20%_AI&大模型_褚杏娟_InfoQ精选文章