AICon 上海站|90%日程已就绪,解锁Al未来! 了解详情
写点什么

百川智能正式发布开源大模型 Baichuan 2

  • 2023-09-06
    北京
  • 本文字数:1587 字

    阅读完需:约 5 分钟

大小:887.88K时长:05:03
百川智能正式发布开源大模型Baichuan 2

9 月 6 日,在北京市科学技术委员会、中关村科技园区管理委员会、北京市海淀区政府的指导下,百川智能召开主题为“百川汇海,开源共赢”的大模型发布会,中科院院士张钹亲临现场并发表致辞。会上,百川智能宣布正式开源微调后的 Baichuan2-7B、Baichuan2-13B、Baichuan2-13B-Chat 与其 4bit 量化版本,并且均为免费可商用。

百川智能此次还开源了模型训练的 Check Point,并宣布将发布 Baichuan 2 技术报告,详细介绍 Baichuan 2 的训练细节,帮助大模型学术机构、开发者和企业用户更深入的了解其训练过程,更好地推动大模型学术研究和社区的技术发展。

Baichuan 2 下载地址:https://github.com/baichuan-inc/Baichuan2 

文理兼备性能优异,超过 LLaMA 2

Baichuan2-7B-Base 和 Baichuan2-13B-Base,均基于 2.6 万亿高质量多语言数据进行训练,在保留了上一代开源模型良好的生成与创作能力,流畅的多轮对话能力以及部署门槛较低等众多特性的基础上,两个模型在数学、代码、安全、逻辑推理、语义理解等能力有显著提升。其中 Baichuan2-13B-Base 相比上一代 13B 模型,数学能力提升 49%,代码能力提升 46%,安全能力提升 37%,逻辑推理能力提升 25%,语义理解能力提升 15%。

本次开源的两个模型在各大评测榜单上的表现优秀,在 MMLU、CMMLU、GSM8K 等几大权威评估基准中,以绝对优势领先 LLaMA2,相比其他同等参数量大模型,表现也十分亮眼,性能大幅度优于 LLaMA2 等同尺寸模型竞品。

 

更值得一提的是,根据 MMLU 等多个权威英文评估基准评分 Baichuan2-7B 以 70 亿的参数在英文主流任务上与 130 亿参数量的 LLaMA2 持平。

7B 参数模型的 Benchmark 成绩

13B 参数模型的 Benchmark 成绩

Baichuan2-7B 和 Baichuan2-13B 不仅对学术研究完全开放,开发者也仅需邮件申请获得官方商用许可后,即可以免费商用。

国内首创全程开源模型训练 Check Point,助力学术研究

大模型训练包含海量高质量数据获取、大规模训练集群稳定训练、模型算法调优等多个环节。每个环节都需要大量人才、算力等资源的投入,从零到一完整训练一个模型的高昂成本,阻碍了学术界对大模型训练的深入研究。

本着协作和持续改进的精神,百川智能本次开源了模型训练从 220B 到 2640B 全过程的 Check Ponit。这对于科研机构研究大模型训练过程、模型继续训练和模型的价值观对齐等极具价值,将极大推动国内大模型的科研进展,开源训练模型过程对国内开源生态尚属首次。

技术报告揭示训练细节,繁荣开源生态

当前大部分开源模型在开源过程中只是对外公开自身的模型权重,很少提及训练细节,企业、研究机构、开发者们只能在开源模型的基础上做有限的微调,很难进行深入研究。

秉持更开放、更透明的理念,为帮助从业者深入了解 Baichuan 2 的训练过程和相关经验,更好地推动大模型社区的技术发展。百川智能在发布会上宣布,公开 Baichuan 2 的技术报告。技术报告将详细介绍 Baichuan 2 训练的全过程,包括数据处理、模型结构优化、Scaling law、过程指标等。报告链接:

https://baichuan-paper.oss-cn-beijing.aliyuncs.com/Baichuan2-technical-report.pdf 


百川智能自成立之初,就将通过开源方式助力中国大模型生态繁荣作为公司的重要发展方向。成立不到四个月,便相继发布了 Baichuan-7B、Baichuan-13B 两款开源免费可商用的中文大模型,以及一款搜索增强大模型 Baichuan-53B,两款开源大模型在多个权威评测榜单均名列前茅,目前下载量超过 500 万次。

 

不仅如此,在今年创立的大模型公司中,百川智能是唯一一家通过《生成式人工智能服务管理暂行办法》备案,可以正式面向公众提供服务的企业。凭借行业领先的基础大模型研发和创新能力,此次开源的两款 Baichuan 2 大模型,得到了上下游企业的积极响应,腾讯云、阿里云、火山方舟、华为、联发科等众多知名企业均参加了本次发布会并与百川智能达成了合作。

未来,百川智能将在开源大模型领域持续深耕,将更多的技术能力、前沿创新开放出来,与更多的合作伙伴们共同助力中国大模型生态蓬勃发展。

2023-09-06 17:555223
用户头像
赵钰莹 极客邦科技 总编辑

发布了 893 篇内容, 共 669.1 次阅读, 收获喜欢 2690 次。

关注

评论

发布
暂无评论
发现更多内容

40 + 专家齐聚共谋数据未来,StarRocks Summit 2023 议程公布!更多精彩议题等你探索...

StarRocks

数据库 OLAP StarRocks

如何选择安全又可靠的文件数据同步软件?

镭速

数据实时同步

中企出海 | 中建材、红狮、华润、华新都在做的事儿!

用友BIP

中企出海

1.从零开始学Windows批处理编程系列之基础介绍

全栈工程师修炼指南

编程 windows 批处理 运维学习之路

EasyDL平台的强大开发力量

百度开发者中心

大模型 #人工智能

ElasticSearch深度解析入门篇:高效搜索解决方案的介绍与实战案例讲解,带你避坑

汀丶人工智能

Elastic Search 搜索系统

如何选择最适合你的香港服务器服务?五大优势你不可不知

一只扑棱蛾子

香港服务器

用友BIP数智干部管理——数管干部 人才强企

用友BIP

数智干部管理

CAEE2023 | 造物云×华为云共建电子电路智慧云工厂,引领产业创新发展浪潮

极客天地

Hadoop RPC简介

数新网络官方账号

大数据 hadoop hadoop rpc

多模态对比语言图像预训练CLIP:打破语言与视觉的界限

汀丶人工智能

人工智能 自然语言处理 计算机视觉 GPT 多模态大模型

独家特性 | 腾讯云大数据ES:一站式索引全托管,自治索引大揭秘!

腾讯云大数据

Hazelcast IMDG 概览

数新网络官方账号

数据库 #数据库

行云创新加入深圳市人工智能行业协会

行云创新

AI编程 人工智能协会 行云创新加入人工智能协会 云原生+AI 云端IDE+大模型

微服务之负载均衡使用场景

互联网工科生

负载均衡 微服务

HDFS架构介绍

数新网络官方账号

大数据 hdfs 架构-

华为云GaussDB城市沙龙活动走进安徽,助力金融行业数字化转型

华为云开发者联盟

数据库 后端 华为云 华为云GaussDB 华为云开发者联盟

权重修改与预训练模型的应用

百度开发者中心

人工智能 大模型

“敏捷教练进阶课程”12月2-3日 · A-CSM认证在线周末班【分时段模块化教学】CST导师亲授

ShineScrum

百度AICA首席AI架构师培养计划第七期毕业,大模型深入产业见成果

飞桨PaddlePaddle

架构师 大模型 AICA

酷克数据出席永洪科技用户大会 携手驱动商业智能升级

酷克数据HashData

企业通关必备,iPaaS应该这样搭建

RestCloud

应用集成 ipaas 应用与数据集成

超2000个大模型应用,支持文心4.0!AI Studio星河大模型社区升级上新

飞桨PaddlePaddle

飞桨 AI Studio 星河社区 文心大模型4.0

星环科技分布式向量数据库Transwarp Hippo正式发布,拓展大语言模型时间和空间维度

星环科技

企业内部外网向内网传输文件如何实现高效安全?

镭速

内外网数据交换 内部外网隔离

Databend 开源周报第 117 期

Databend

聊聊 Rust 变量,你学会了吗?

树上有只程序猿

rust

大模型训练中的AI合成数据应用

百度开发者中心

大模型 人工智能「 LLM

百川智能正式发布开源大模型Baichuan 2_生成式 AI_赵钰莹_InfoQ精选文章