写点什么

大模型如何进入业务?百川智能推出“1+3”产品矩阵,核心模型打差异化

  • 2024-10-31
    北京
  • 本文字数:1651 字

    阅读完需:约 5 分钟

大小:872.80K时长:04:57
大模型如何进入业务?百川智能推出“1+3”产品矩阵,核心模型打差异化

10 月 31 日,百川智能推出一站式大模型商业化解决方案,即 1+3 产品矩阵(全链路优质通用训练数据,Baichuan4-Turbo、Baichuan4-Air 两款模型和全链路领域增强工具链),支持企业将专有数据与百川智能自用的全链路优质训练数据混合,对 Baichuan4-Turbo、Baichuan4-Air 两款模型进行调优和增强,实现行业最高的 96%多场景可用率,并帮助企业以最低成本实现效果最佳的私有化部署。 

如何更好进入业务场景?

 

尽管大模型具备良好的泛化能力,但由于每个企业都有自身独特的专业知识和应用场景,直接应用通用模型无法达到理想效果,必须对模型进行定制化优化使其适应特定领域和场景需求,而优化后模型在多场景下的可用率是评估其价值的关键标准。


此前行业的主流做法是将企业专有数据和通用数据混合定向调优、增强通用模型,但受限于诸多因素,企业很难获得与原模型高度匹配的通用训练数据,因此即便经过调优,模型也有很大概率会失去通用性,变成无法应对多个场景的专用模型。

 

为解决这一关键难题,百川智能将自用的优质预训练数据、SFT 微调数据、强化学习中的通用训练数据,以及自研的超参自动化搜索和调优技术、数据动态自适应配比技术等统一封装,打造了一套全链路优质通用训练数据方案。

 

由于 Baichuan4-Turbo、Baichuan4-Air 均为百川智能自研,所以这些优质通用训练数据与两者的数据分布高度一致,结合超参动态搜索和自适应配比等算法,与企业私有数据混合微调,显著提升了两个模型多场景下的可用率,在金融、教育、医疗等场景下的专业细分任务平均可用率高达 96%,位居行业首位。



推理成本行业同梯队最低?

 

成本是影响企业应用大模型的另一个重要因素。不同场景阶段,企业对模型性能和成本的要求各不相同。为更好满足行业用户的多样化需求,百川智能对两个模型进行了差异化定位。

 

根据百川介绍,Baichuan4-Turbo 的文本生成、知识问答、多语言处理等核心能力相比 Baichuan 4 均有显著提升,只需 2 卡 4090 的算力即可完成部署,在 GPT—4o 同档位效果的模型中部署成本最低,适合企业探索复杂场景;而 Baichuan4-Air 则更适用于已经验证过的较大规模流量场景,其效果与 Baichuan 4 基本持平,但推理成本行业最低,仅为 Baichuan 4 的 1%,百万 Token 只需 0.98 元。

 

此外,两款模型的响应速度也均提升显著,相比 Baichuan 4,Baichuan4-Turbo 首 Token 速度提升 51%、Token 流速提升 73%;Baichuan4-Air 的首 Token 速度提升 77%、Token 流速提升 93%。

 

值得一提的是,作为百川智能的首个 MoE(Mixture of Experts)模型,Baichuan 4-Air 首创了 PRI(Pyramid、Residual、Interval)架构。与标准的 MoE 架构相,Baichuan4-Air 保持了 MLP(多层感知机)和 Attention(注意力机制)的内部结构不变,仅对混合专家 MLP 层的配置方式进行优化,通过合理配置专家数量和激活策略,能够更好地平衡计算负载,减少计算量,提高推理速度。在相同训练数据下,Baichuan4-Air 不仅时效率更高,性能也大幅领先于 GPT4-style、Mixtral-style 结构的 MoE 模型。



 Baichuan4-Air 的时效率对比测试效果图

模型全链路部署工具链

 

企业在部署模型过程中还面临着专业算法人才稀缺,模型调优技术门槛高等阻碍。为此,百川智能打造了简单易用的全链路领域增强工具链。该工具链集成了数据抓取、数据清洗、数据增强、模型训练、模型评测、模型压缩和模型部署等诸多工具,企业可以根据自身需求自由选择相应工具,对模型进行加密部署和训练。

 

此外,百川智能还通过大量适配工作解决了不同硬件的适配问题,目前能够高效适配英伟达 4090/A/H 系列、华为昇腾、寒武纪、高通、MTK、天数等多种主流芯片。

 

根据百川智能客户信雅达的说法,Baichuan4-Turbo 仅需 2 张 4090 就能运行,可以大大降低硬件投入。“部署 Baichuan4-Turbo 以来,我们的客户满意度提升了 15%,运营效率提高了近 30%。”

 

据悉,目前百川智能客户包括北电数智、完美世界游戏、爱奇艺、360 集团、生学教育、爱学堂等,并且与信雅达、用友、软通动力、新致软件、达观数据、华胜天成等多家行业生态伙伴,以及华为、中科曙光等硬件厂商,中国移动、中国电信、中国联通等运营商达成合作。

2024-10-31 15:548724

评论 1 条评论

发布
用户头像
写了等于没写。专门务虚,棒
2024-11-06 09:37 · 山东
回复
没有更多了
发现更多内容

Dubbo 路由规则之标签路由

青年IT男

dubbo

redis在微服务领域的贡献

捉虫大师

redis dubbo RPC 协议 注册中心

Nginx调试必备的几种技能

运维研习社

nginx 运维 实用技巧 5月日更

再不解决延迟不当,小心你的内存被打爆

华为云开发者联盟

线程 延迟 内存 并发 Sleep

掌握学习方法,成为技术大牛

实力程序员

ThreadLocal内存溢出代码演示和原因分析!

王磊

Java 多线程

小傅哥,一个有“副业”的码农!

小傅哥

Java 小傅哥 技术成长 码农副业

☕【JVM 技术之旅】攻克技术盲点之“JVM常量池们“

码界西柚

JVM 5月日更 字符串常量池 静态常量池 运行时常量池

详解 WebRTC 高音质低延时的背后 — AGC(自动增益控制)

阿里云CloudImagine

阿里云 WebRTC 3A算法 音频技术 视频云

Cilium 1.10 重磅发布!】支持 Wireguard, BGP, Egress IP 网关, XDP 负载均衡, 阿里云集成

公众号:云原生Serverless

云原生 cilium cni

python 常用模块详解

若尘

模块 Python编程 5月日更

架构学习笔记:微服务架构与SOA架构

风翱

微服务 SOA 5月日更

【Flutter 专题】120 Flutter & 腾讯移动通讯 TPNS~

阿策小和尚

5月日更 Flutter 小菜 0 基础学习 Flutter Android 小菜鸟

强化基于位置的4种营销策略

郑州埃文科技

IP 营销 ISP

Java设置Filter过滤了CSS等静态文件的问题

空城机

Java 5月日更

Feed流系统重构-架构篇

勇哥java实战分享

架构 RocketMQ 分库分表 ShardingJDBC redisson

密码学系列之:memory-hard函数

程序那些事

加密解密 密码学 程序那些事

腾讯云实名认证流程

三掌柜

5月日更

从寻人到航天,科技与公益的下一个交汇点正在“星辰”中诞生

脑极体

选择排序&插入排序 - DAY 15

Qien Z.

排序算法 插入排序 5月日更

通用连接池帮你解决资源管理难题

万俊峰Kevin

MySQL redis mongodb pool Go 语言

5G掀起工业互联网浪潮,水泥厂智能管理模式收效颇丰

一只数据鲸鱼

数据可视化 工业互联网 智慧工厂 水泥厂 智能工厂

聊聊数据分析

数据社

数据分析 5月日更

访问控制

escray

学习 极客时间 安全 5月日更 安全攻防技能30讲

记一次与写作朋友的线下沙龙

架构精进之路

技术交流 杂记 5月日更

CG行业云渲染服务的演进之路

华为云开发者联盟

公有云 CG 渲染 云渲染 影视动画

☕【JVM 技术之旅】深入JVM原理分析synchronized

码界西柚

synchronized 重量级锁 5月日更 同步锁 ObjectMontior

网络攻防学习笔记 Day25

穿过生命散发芬芳

5月日更 网络攻防

Go 并发编程 — 深度剖析 sync.Pool 源码级原理

奇伢云存储

并发编程 云存储 Go 语言

k8s 集群下微服务 pod 的各种指标信息监控

Damon

微服务 5月日更

字节、美团等客户与华为联合创新DCI智能控制器,共筑互联网基础设施新生态

大模型如何进入业务?百川智能推出“1+3”产品矩阵,核心模型打差异化_AI&大模型_褚杏娟_InfoQ精选文章