AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

大模型如何进入业务?百川智能推出“1+3”产品矩阵,核心模型打差异化

  • 2024-10-31
    北京
  • 本文字数:1651 字

    阅读完需:约 5 分钟

大小:872.80K时长:04:57
大模型如何进入业务?百川智能推出“1+3”产品矩阵,核心模型打差异化

10 月 31 日,百川智能推出一站式大模型商业化解决方案,即 1+3 产品矩阵(全链路优质通用训练数据,Baichuan4-Turbo、Baichuan4-Air 两款模型和全链路领域增强工具链),支持企业将专有数据与百川智能自用的全链路优质训练数据混合,对 Baichuan4-Turbo、Baichuan4-Air 两款模型进行调优和增强,实现行业最高的 96%多场景可用率,并帮助企业以最低成本实现效果最佳的私有化部署。 

如何更好进入业务场景?

 

尽管大模型具备良好的泛化能力,但由于每个企业都有自身独特的专业知识和应用场景,直接应用通用模型无法达到理想效果,必须对模型进行定制化优化使其适应特定领域和场景需求,而优化后模型在多场景下的可用率是评估其价值的关键标准。


此前行业的主流做法是将企业专有数据和通用数据混合定向调优、增强通用模型,但受限于诸多因素,企业很难获得与原模型高度匹配的通用训练数据,因此即便经过调优,模型也有很大概率会失去通用性,变成无法应对多个场景的专用模型。

 

为解决这一关键难题,百川智能将自用的优质预训练数据、SFT 微调数据、强化学习中的通用训练数据,以及自研的超参自动化搜索和调优技术、数据动态自适应配比技术等统一封装,打造了一套全链路优质通用训练数据方案。

 

由于 Baichuan4-Turbo、Baichuan4-Air 均为百川智能自研,所以这些优质通用训练数据与两者的数据分布高度一致,结合超参动态搜索和自适应配比等算法,与企业私有数据混合微调,显著提升了两个模型多场景下的可用率,在金融、教育、医疗等场景下的专业细分任务平均可用率高达 96%,位居行业首位。



推理成本行业同梯队最低?

 

成本是影响企业应用大模型的另一个重要因素。不同场景阶段,企业对模型性能和成本的要求各不相同。为更好满足行业用户的多样化需求,百川智能对两个模型进行了差异化定位。

 

根据百川介绍,Baichuan4-Turbo 的文本生成、知识问答、多语言处理等核心能力相比 Baichuan 4 均有显著提升,只需 2 卡 4090 的算力即可完成部署,在 GPT—4o 同档位效果的模型中部署成本最低,适合企业探索复杂场景;而 Baichuan4-Air 则更适用于已经验证过的较大规模流量场景,其效果与 Baichuan 4 基本持平,但推理成本行业最低,仅为 Baichuan 4 的 1%,百万 Token 只需 0.98 元。

 

此外,两款模型的响应速度也均提升显著,相比 Baichuan 4,Baichuan4-Turbo 首 Token 速度提升 51%、Token 流速提升 73%;Baichuan4-Air 的首 Token 速度提升 77%、Token 流速提升 93%。

 

值得一提的是,作为百川智能的首个 MoE(Mixture of Experts)模型,Baichuan 4-Air 首创了 PRI(Pyramid、Residual、Interval)架构。与标准的 MoE 架构相,Baichuan4-Air 保持了 MLP(多层感知机)和 Attention(注意力机制)的内部结构不变,仅对混合专家 MLP 层的配置方式进行优化,通过合理配置专家数量和激活策略,能够更好地平衡计算负载,减少计算量,提高推理速度。在相同训练数据下,Baichuan4-Air 不仅时效率更高,性能也大幅领先于 GPT4-style、Mixtral-style 结构的 MoE 模型。



 Baichuan4-Air 的时效率对比测试效果图

模型全链路部署工具链

 

企业在部署模型过程中还面临着专业算法人才稀缺,模型调优技术门槛高等阻碍。为此,百川智能打造了简单易用的全链路领域增强工具链。该工具链集成了数据抓取、数据清洗、数据增强、模型训练、模型评测、模型压缩和模型部署等诸多工具,企业可以根据自身需求自由选择相应工具,对模型进行加密部署和训练。

 

此外,百川智能还通过大量适配工作解决了不同硬件的适配问题,目前能够高效适配英伟达 4090/A/H 系列、华为昇腾、寒武纪、高通、MTK、天数等多种主流芯片。

 

根据百川智能客户信雅达的说法,Baichuan4-Turbo 仅需 2 张 4090 就能运行,可以大大降低硬件投入。“部署 Baichuan4-Turbo 以来,我们的客户满意度提升了 15%,运营效率提高了近 30%。”

 

据悉,目前百川智能客户包括北电数智、完美世界游戏、爱奇艺、360 集团、生学教育、爱学堂等,并且与信雅达、用友、软通动力、新致软件、达观数据、华胜天成等多家行业生态伙伴,以及华为、中科曙光等硬件厂商,中国移动、中国电信、中国联通等运营商达成合作。

2024-10-31 15:548807

评论 1 条评论

发布
用户头像
写了等于没写。专门务虚,棒
2024-11-06 09:37 · 山东
回复
没有更多了
发现更多内容

高性能存储SIG月度动态:erofs快照器合入containerd社区,ANCK支持virtio-blk直通

OpenAnolis小助手

操作系统 高性能存储 龙蜥社区 龙蜥社区SIG EROFS

这些搜索技巧你不会?

沉浸式趣谈

《汽车电机MES系统实战指南:打造柔性化智能产线的4大核心模块与3项关键技术突破》​

万界星空科技

mes 制造业工厂 电机MES 汽车电机 汽车电机mes

保姆级离线 TiDB V8+ 解释

TiDB 社区干货传送门

8.x 实践

重塑家庭观影标准,海信激光电视探索X1斩获艾普兰奖

新消费日报

高性能网络SIG双月动态:加速 SMC eBPF 透明替换特性上游化进程,并与上游深度研讨新特性

OpenAnolis小助手

操作系统 龙蜥社区 smc 龙蜥SIG月报

数字化转型投入大、见效慢?中小企业该如何应对?

天津汇柏科技有限公司

数字化转型

多智能体强化学习的算力调度创新,让每一份算力都创造广告价值 | 京东零售技术实践

京东零售技术

荣耀时刻!第二届开放原子大赛-OS Copilot 学习赛获奖名单新鲜出炉

OpenAnolis小助手

开源 操作系统 龙蜥社区 龙蜥赛事

下一代产品的“双向奔赴”  鸿蒙版百度网盘发布多项领先AI能力

极客天地

在京东做技术是种什么体验?| 13位零售人告诉你答案

京东零售技术

电子签借贷真实吗?315报道引发的行业地震!电子签到底冤不冤?

易成研发中心

重识 APO:DeepSeek 掀起可观性领域变革 | 龙蜥生态

OpenAnolis小助手

AI 系统运维 apo 龙蜥生态 DeepSeek

使用DataWorks Notebook实现智能图片标注,给你的图片加个“注释”

阿里云大数据AI技术

大数据 数据分析 ETL 多模态 Dataworks

分布式事务的模式

陈一之

架构 分布式 分布式事务 事务

CST软件如何用天线远场计算Group delay延时

思茂信息

cst CST软件 CST Studio Suite

【2月13日 - 3月14日】TiCDC 新架构试用通道正式开启,全新升级,抢先体验,多重参与奖励等你拿!

TiDB 社区干货传送门

TiDB × AI :DeepSeek 时代你需要什么样的数据基座

PingCAP

AI TiDB DeepSeek

探秘能源行业AI密码:云鼎科技用大模型实现了″四个转变″

Alter

Karmada v1.13 版本发布!新增应用优先级调度能力

华为云开发者联盟

容器 云原生 集群 Karmada

用 tcpdump 分析 Java 客户端的 prepare 行为

TiDB 社区干货传送门

性能调优 故障排查/诊断

Karmada v1.13 版本发布!新增应用优先级调度能力

华为云原生团队

云计算 容器 云原生

“官方网站+公开课程”双赋能,鸿蒙游戏开发者服务焕新升级

最新动态

TiCDC 新架构 v9.0.0 使用实践

TiDB 社区干货传送门

TiCDC新架构

SysOM 可观测体系建设(一):万字长文解读低开销、高精度性能剖析工具livetrace

OpenAnolis小助手

AI 可观测性 SysOM 龙蜥系统运维联盟 livetrace

【Redis技术进阶之路】「原理分析系列开篇」探索事件驱动枚型与数据特久化原理实现(数据持久化的实现AOF)

码界西柚

数据库 redis redis持久化 aof Redis底层原理

今日最新消息!黑龙江网络安全等级保护备案新规定,速看!

黑龙江陆陆信息测评部

深入探究小红书笔记详情页面数据采集接口​

tbapi

小红书笔记详情接口 小红书API

《Operating System Concepts》阅读笔记:p449-p459

codists

操作系统

龙蜥社区第六届理事大会成功举行,共话技术创新与生态合作

OpenAnolis小助手

开源 龙蜥社区 OpenAnolis 龙蜥社区理事大会

龙蜥 2024 年度“最佳合作伙伴”揭晓!申威、AMD 等多家新晋贡献厂商实力登榜

OpenAnolis小助手

操作系统 龙蜥社区 OpenAnolis 龙蜥社区年度优秀贡献者

大模型如何进入业务?百川智能推出“1+3”产品矩阵,核心模型打差异化_AI&大模型_褚杏娟_InfoQ精选文章