写点什么

李开复 4 个多月后“放大招”:对标 OpenAI、谷歌,发布“全球最强”开源大模型

  • 2023-11-06
    北京
  • 本文字数:2664 字

    阅读完需:约 9 分钟

李开复4个多月后“放大招”:对标OpenAI、谷歌,发布“全球最强”开源大模型

今天,由李开复打造的 AI 大模型创业公司“零一万物”发布了一系列开源大模型:Yi-34B 和 Yi-6B。

 

Yi-34B 是一个双语(英语和中文)基础模型,经过 340 亿个参数训练,明显小于 Falcon-180B 和 Meta LlaMa2-70B 等其他开放模型。在发布会中,李开复称其数据采集、算法研究、团队配置均为世界第一梯队,对标 OpenAI、谷歌一线大厂,并抱有成为世界第一的初衷和决心。同时,他表示 Yi-34B 是“全球最强开源模型”,其通用能力、知识推理、阅读理解等多指标均处于全球榜单首位。

 

零一万物团队也进行了一系列打榜测试,具体成绩包括:

 

  • Hugging Face 英文测试榜单,以 70.72 分数位列全球第一;

  • 以小博大,作为国产大模型碾压 Llama-2 70B 和 Falcon-180B 等一众大模型(参数量仅为后两者的 1/2、1/5);

  • C-Eval 中文能力排行榜位居第一,超越了全球所有开源模型;

  • MMLU、BBH 等八大综合能力表现全部胜出,Yi-34B 在通用能力、知识推理、阅读理解等多项指标评比中“击败全球玩家”;

  • ......

 



然而,在发布中,也有一点需要指出,那就是 Yi 系列模型在 GSM8k 和 MBPP 的数学以及代码测评方面表现不如 GPT 模型出色。这是因为团队希望在预训练阶段希望先尽可能保留模型的通用能力,所以训练数据中没有加入过多数学和代码数据。后续他们计划在开源系列中推出专注于代码和数学领域的继续训练模型。

 

200K 上下文窗口,能处理 40 万字文本

 

值得注意的是,此次开源的 Yi-34B 模型,将发布全球最长、可支持 200K 超长上下文窗口(context window)版本,可以处理约 40 万汉字超长文本输入。这意味着 Yi-34B 不仅能提供更丰富的语义信息,理解超过 1000 页的 PDF 文档,还让很多依赖于向量数据库构建外部知识库的场景,都可以用上下文窗口来进行替代。

 

相比之下,OpenAI 的 GPT-4 上下文窗口只有 32K,文字处理量约 2.5 万字。今年三月,硅谷知名 AI 2.0 创业公司 Anthropic 的 Claude2-100K 将上下文窗口扩展到了 100K 规模,零一万物直接加倍,并且是第一家将超长上下文窗口在开源社区开放的大模型公司。

 

在语言模型中,上下文窗口是大模型综合运算能力的金指标之一,对于理解和生成与特定上下文相关的文本至关重要,拥有更长窗口的语言模型可以处理更丰富的知识库信息,生成更连贯、准确的文本。

 

此外,在文档摘要、基于文档的问答等下游任务中,长上下文的能力发挥着关键作用,行业应用场景广阔。在法律、财务、传媒、档案整理等诸多垂直场景里,更准确、更连贯、速度更快的长文本窗口功能,可以成为人们更可靠的 AI 助理,让生产力得到大幅提升。然而,受限于计算复杂度、数据完备度等问题,上下文窗口规模扩充从计算、内存和通信的角度存在各种挑战,因此大多数发布的大型语言模型仅支持几千 tokens 的上下文长度。为了解决这个限制,零一万物技术团队实施了一系列优化,包括:计算通信重叠、序列并行、通信压缩等。通过这些能力增强,实现了在大规模模型训练中近 100 倍的能力提升。

 

实现 40%训练成本下降

 

AI Infra(AI Infrastructure  人工智能基础架构技术)主要涵盖大模型训练和部署提供各种底层技术设施,包括处理器、操作系统、存储系统、网络基础设施、云计算平台等等,是模型训练背后极其关键的“保障技术”,这是大模型行业至今较少受到关注的硬技术领域。

 

李开复曾经表示,“做过大模型 Infra 的人比做算法的人才更稀缺”,而超强的 Infra 能力是大模型研发的核心护城河之一。在芯片、GPU 等算力资源紧缺的当下,安全和稳定成为大模型训练的生命线。零一万物的 Infra 技术通过“高精度”系统、弹性训和接力训等全栈式解决方案,确保训练高效、安全地进行。

 

凭借其强大的 AI Infra 支撑,零一万物团队表示,Yi-34B 模型训练成本实测下降 40%,实际训练完成达标时间与预测的时间误差不到一小时,进一步模拟上到千亿规模训练成本可下降多达 50%。截至目前,零一万物 Infra 能力实现故障预测准确率超过 90%,故障提前发现率达到 99.9%,不需要人工参与的故障自愈率超过 95%,有力保障了模型训练的顺畅进行。

 

零一万物背后

 

今年 7 月,李开复博士正式官宣并上线了其筹组的“AI 2.0”新公司:零一万物。此前李开复曾表示,AI 大语言模型是中国不能错过的历史机遇,零一万物就是在今年 3 月下旬,由他亲自带队孵化的新品牌。

 

在接受外媒采访时,他谈到了创办零一万物的动机:“我认为需求是创新之母,中国显然存在巨大的需求,”“与其他国际地区不同,中国无法访问 OpenAI 和谷歌,因为这两家公司没有在中国提供他们的产品。因此,我认为有很多人正在努力为市场创造解决方案。这是刚需。”

 

众所周知,构建大模型是一项耗资巨大的事业。为了维持现金密集型业务,零一万物从一开始就制定了商业化计划。虽然该公司将继续开源其一些模型,但其目标是构建最先进的专有模型,作为各种商业产品的基础。

 

李开复表示,他们非常清楚这些大型语言模型需要大量计算,花费巨大。“我们筹集到了大量资金,其中大部分都花在了 GPU 上。”与中国其他 LLM 玩家一样,零一万物也需要积极储备 GPU 以应对美国制裁。在发布会中,李开复表示零一万物现在的供应至少足以满足未来 12-18 个月的需求。

 

美国的制裁也让中国企业注重优化计算能力,李开复表示:“借助一支非常高质量的基础设施团队,每 1000 个 GPU,我们也许能够从中挤出 2000 个 GPU 的工作负载。”

 

从一些报道中,我们可以了解到,零一万物员工规模已超过 100 人,半数是来自国内外大厂的 LLM 专家。其中,零一万物技术副总裁及 AI Alignment 负责人是 Google Bard/Assistant 早期核心成员,主导或参与了从 Bert、LaMDA 到大模型在多轮对话、个人助理、AI Agent 等多个方向的研究和工程落地;首席架构师曾在 Google Brain 与 Jeff Dean、Samy Bengio 等合作,为 TensorFlow 的核心创始成员之一。

 

零一万物的商业化之路很大程度上取决于其为其昂贵的 AI 模型找到适合的产品市场的能力。“中国在大模型方面并不领先于美国,但毫无疑问,中国可以构建比美国开发商更好的应用程序,这主要是因为过去 12 年左右建立的非凡的移动互联网生态系统,”李开复说道。

 

李开复表示,这家初创公司的最终目标是成为一个外部开发人员可以轻松构建应用程序的生态系统。“我们的职责不仅仅是推出好的研究模型,更重要的是让应用程序开发变得容易,这样才能有优秀的应用程序,”他说。“归根结底。这是一场生态系统游戏。” 

 

开源地址:

Hugging Face:https://huggingface.co/01-ai/Yi-34Bhttps://huggingface.co/01-ai/Yi-6B

ModelScope:https://www.modelscope.cn/models/01ai/Yi-34B/summaryhttps://www.modelscope.cn/models/01ai/Yi-6B/summary

GitHub:https://github.com/01-ai/Yi

2023-11-06 14:215892

评论

发布
暂无评论
发现更多内容

每日一题——PAT乙级1004 成绩排名 python

武师叔

Global Tensor和实习总结|OneFlow学习笔记

OneFlow

深度学习 学习笔记 分布式训练 Global Tensor

想要成为一名真正的软件工程师吗?加入非凸,一起升级!

非凸科技

招聘 社招 校招 软件开发工程师

攻克编译器技术(2)

刘旭东

源代码 编译器原理 5月月更

硬仗白酒,解锁当下“社交密码”

联营汇聚

不仅仅是自动化,DevOps 测试工具推荐

飞算JavaAI开发助手

【愚公系列】2022 年 05 月 二十三种设计模式(五)-单例模式(Singleton Pattern)

愚公搬代码

5月月更

低代码实现探索(四十一)未实现小目标

零道云-混合式低代码平台

量子计算是人工智能的未来吗?

海拥(haiyong.site)

人工智能 量子计算 5月月更

博睿数据获得分布式系统稳定性实验室成员单位证书 亮相全球信息系统稳定性峰会

博睿数据

一“碳”究竟:碳交易的生意经与飞轮“燃料”

脑极体

Linux多线程-概念及控制

可口也可樂

c++ Linux 后端

认清大脑中的一对塑料姐妹花,科学解锁情绪密码

图灵教育

效率 职场 脑科学

为 GPU 而来,焱融科技推出新一代全闪分布式文件存储产品

焱融科技

人工智能 云计算 高性能 文件存储 高计算

InfoQ AI开发者召集令!快来助力中国AI产业发展,参与抽奖!

InfoQ写作社区官方

AI 热门活动 白玉兰开源

Git 安装及配置

Emperor_LawD

git 基础 5月月更

Tech Talk 宣传 | 如何高效、极简构造无服务器 Web 应用

亚马逊云科技 (Amazon Web Services)

Web

一文搞定 Flutter 文件下载和管理

岛上码农

flutter 跨平台 安卓开发 ios 开发 5月月更

淘宝京东优惠券返利机器人

江苏京酷电子商务有限公司

淘宝电商 群聊机器人 返利 采集京东

OceanBase 3.2.3 发版|HTAP引擎全面升级,TPC-H性能10倍提升!

OceanBase 数据库

oceanbase

代码历史上最昂贵的 7 个错误

禅道项目管理

测试 代码

浅谈TCP和UDP协议

工程师日月

5月月更

易观分析刘怡:技术投入聚焦降本增效,用技术赋能人提升企业能效

易观分析

人口变化 技术赋能

使用APICloud AVM框架实现App导航栏菜单

YonBuilder低代码开发平台

APP开发 APICloud avm.js

易周金融观点 央行设立科技创新再贷款;多家银行下调大额存单利率

易观分析

金融 银行

五、高可用之全链路压测

穿过生命散发芬芳

5月月更

ssh常用命令总结

入门小站

SSH

在线时间戳格式化转换工具

入门小站

工具

谁在从API经济里分得一杯羹!

Liam

Postman API API Explorer平台 API boy 开放api

Spring data JPA实践和原理浅析

领创集团Advance Intelligence Group

工作原理 java Spring JPA

Jackson 解决没有无参构造函数的反序列化问题

TRAMP

Jackson java 序列化与反序列化

李开复4个多月后“放大招”:对标OpenAI、谷歌,发布“全球最强”开源大模型_生成式 AI_Tina_InfoQ精选文章