报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

百川智能发布金融大模型 Baichuan4-Finance,整体准确率领先 GPT-4o 近 20%

  • 2024-12-24
    北京
  • 本文字数:1796 字

    阅读完需:约 6 分钟

百川智能发布金融大模型 Baichuan4-Finance,整体准确率领先GPT-4o近20%

12 月 23 日,百川智能发布全链路领域增强大模型 Baichuan4-Finance。在高质量金融数据的基础上,通过行业首创的领域自约束训练方案,Baichuan4-Finance 实现了金融能力和通用能力同步提升的效果,极大提高了金融场景的整体可用性。其金融专业能力和场景应用能力大幅领先 GPT-4o,在中国人民大学财政金融学院新近发布的评测体系 FLAME 以及国内主流开源金融评测基准 FinancelQ 上均登上榜首。


Baichuan4-Finance API 现已在百川智能官网正式上线:https://platform.baichuan-ai.com/finPage


整体准确率领先 GPT-4o 近 20%


百川选择了中国人民大学财政金融学院 12 月 17 日发布的金融评测体系 FLAME(Financial Large-Language Model Assessment and Metrics Evaluation)对大模型进行整体测评。


FLAME github 地址:https://github.com/FLAME-ruc/FLAME/tree/main


作为金融领域最新的评测体系,FLAME 兼顾专业性和实用性,由两个方向的评测基准组成。其中,FLAME-Cer 主要面向模型的专业金融能力评测,覆盖了 CPA、CFA、FRM 等 14 类权威金融资格认证;FLAME-Sce 则侧重模型的场景应用能力,包含 10 个一级核心金融业务场景,21 个二级细分金融业务场景,近百个三级金融应用任务。


FLAME-Cer 评测结果显示,Baichuan4-Finance 在银行、保险、基金、证券等多个资格认证领域的准确率均突破了 95%,整体准确率 93.62%,大幅领先 GPT-4o 和 XuanYuan3-70B-Chat,超出 GPT-4o 近 20%。GPT-4o 是金融领域公认的综合实力最强的通用模型之一,而 XuanYuan3-70B-Chat 则是国内首个开源中文金融大模型。



在 FLAME-Sce 评测中,Baichuan4-Finance 一级核心金融业务场景的整体可用率达 84.15%,其金融数据计算、金融知识理论等场景的可用率更是超过 90%,实际应用场景中的表现非常优秀。



不仅如此,在国内主流开源金融评测基准 FinanceIQ 上 Baichuan4-Finance 同样超越了 GPT-4o 和 XuanYuan3-70B,整体准确率达到 79.23%,领先 GPT-4o 近 13%。



模型金融专项能力和通用能力同步提升


如何让模型在提升专业能力的同时不损失通用能力,是当下大模型落地具体场景最大的阻碍。为解决这一问题,百川智能打造了一套全链路领域增强方案,该方案覆盖了高质量数据集构建、模型预训练、微调、强化学习等从模型研发到场景应用的全流程。



在模型训练阶段,通过行业首创的领域自约束训练技术,百川智能实现了模型专项能力和通用能力同步提升的效果,极大提升模型多元场景的可用性。Baichuan4-Finance 正是这一方案的最新成果。


具体而言,Baichuan4-Finance 的金融数据集既包含金融专业教材与学术著作、顶级金融期刊论文、监管机构政策文件、金融法律法规等核心专业金融知识数据,也覆盖了金融专业问答集、企业财报与年度报告、金融类研究分析报告等实践应用类数据,为提升模型金融能力提供了良好的底层支撑。



在此基础上,Baichuan4-Finance 还在领域自约束训练过程中引入了更高精的通用数据,与高质量金融数据一起进行混合训练,最终实现了模型通用能力不下降,金融能力稳定增长的效果。



此外,百川智能在后训练环节也做了大量增强工作,如通过合成数据、指令数据对模型进行有监督的微调;在强化学习策略中,针对数学计算等金融领域特别关注的场景进行样本增强等,进一步提升了模型性能。


攻克了专项能力和泛化能力平衡问题这一模型落地应用的最大阻碍后,Baichuan4-Finance 能够在效率提升、风控合规、客服、决策支持等诸多层面为金融行业带来全方位的价值提升。例如帮助金融从业者处理文档审核、客户咨询、产品营销等大量日常工作,还能依托深厚的金融专业知识和法律法规理解能力,为机构提供精准的风险识别和合规保障。此外,还可以凭借强大的数据分析能力为管理层提供专业的市场洞察和决策建议。


百川客户用友表示,Baichuan4-Finance 凭借其海量的金融专业知识储备,在财税知识问答场景中,准确率较 Baichuan4-Turbo 提升了 20%,较 GPT-4o 提升了 10%,表现尤为亮眼。软通动力表示,其客户在实际应用中既要求大模型具备通用能力,又希望其在金融场景中有所专长。自部署 Baichuan4-Finance 以来,客户满意度提升了 20%。


据悉,目前百川智能客户包括北电数智、完美世界游戏、爱奇艺、360 集团、生学教育、爱学堂等各行业的领军企业,并且与信雅达、用友、软通动力、新致软件、达观数据、华胜天成等多家行业生态伙伴,还与华为、中科曙光等硬件厂商,中国移动、中国电信、中国联通等运营商达成合作。


2024-12-24 11:145518

评论

发布
暂无评论

知乎3000多人关注!27w+阅读开发者进阶难题,2021安卓开发社招面试解答之性能优化

android 程序员 移动开发

【Flutter 专题】17 图解 ListView 下拉刷新与上拉加载 (二)【NotificationListener】

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 11月日更

SAP云平台里Global Account和Sub Account的关系

汪子熙

Cloud SAP CloudFoundry 11月日更

移动应用遗留系统重构(9)- 路由篇,移动开发者大会

android 程序员 移动开发

移动开发的罗曼蒂克消亡史,android系统开发书籍

android 程序员 移动开发

重置云服务器系统

坚果

云服务器 11月日更

Groovy中的元组

FunTester

测试开发 元组 Groovy FunTester tuple

真的已经讲烂了!想彻底掌握-binder-机制,必须先搞懂这几个关键类

android 程序员 移动开发

移动开发程序员怎么优雅迈过30K+这道坎?成功入职字节跳动

android 程序员 移动开发

程序员别只顾着敲代码了,老板们不喜欢聘请40岁程序员真相原来是

android 程序员 移动开发

移动应用遗留系统重构(7)- 解耦重构演示篇(一),android开发环境的搭建视频

android 程序员 移动开发

《Linux一学就会》第一章第二节:学习环境搭建

侠盗安全

Linux linux运维 云计算架构师 linux电子书

看完此文,你对Gradle的理解又升级了!,万字总结

android 程序员 移动开发

看我一波,Android获取进程名函数,代码优化到极致的操作

android 程序员 移动开发

种草Dribbble:从未见过如此Q弹的Switcher,腾讯架构师深入讲解Android开发

android 程序员 移动开发

程序员你所害怕的中年危机,恰恰是人生的转机!,kotlin高阶函数源码讲解

android 程序员 移动开发

Redis 高可用篇:图解 Redis 哨兵集群原理

码哥字节

redis redis sentinel NoSQL 数据库 11月日更

移动应用遗留系统重构(9)- 路由篇(1),kotlin版权

android 程序员 移动开发

程序员30岁+又怎么了呢?找准定位,kotlin可选参数

android 程序员 移动开发

程序员中年了40岁,公司里熬到中层年薪30w+,最新高频Android面试题目分享

android 程序员 移动开发

【高并发】明明中断了线程,却为何不起作用呢?

冰河

并发编程 多线程 高并发 异步编程 Java Concurrency

百度阿里腾讯头条面试Android高级岗必问!Handler源码解析!

android 程序员 移动开发

破解 Kotlin 协程(1) - 入门篇,35岁以后的Android程序员出路在哪里

android 程序员 移动开发

移动开发的罗曼蒂克消亡史 _ InfoQ,网易云的朋友给我这份339页的Android面经

android 程序员 移动开发

程序员35岁之后该怎样规划自己的职业?,Android开发手册

android 程序员 移动开发

程序员为什么越老贬值的越厉害?,面试官6个灵魂拷问

android 程序员 移动开发

值得收藏的 Eureka 控制台详解

悟空聊架构

Eureka 源码解析 注册中心 悟空聊架构 11月日更

使用Eclipse开发Java应用并部署到SAP云平台SCP上去

汪子熙

Cloud SAP 11月日更 sap开发

真的强!借助阿里技术博主分享的Android面试笔记,我拿到了字节跳动的offer

android 程序员 移动开发

知乎热榜第一破10w阅读-Android不行了?2021程序员的风口又要来了,你还不抓紧机会

android 程序员 移动开发

移动端视频开发通过什么方式实现直播?十分钟带你快速了解

android 程序员 移动开发

百川智能发布金融大模型 Baichuan4-Finance,整体准确率领先GPT-4o近20%_AI&大模型_褚杏娟_InfoQ精选文章