写点什么

字节启动 AGI 长期研究计划,代号 Seed Edge

  • 2025-01-26
    北京
  • 本文字数:1273 字

    阅读完需:约 4 分钟

大小:667.03K时长:03:47
字节启动AGI长期研究计划,代号Seed Edge

1 月 23 日,据媒体报道,字节豆包大模型团队已在内部组建 AGI 长期研究团队,代号“Seed Edge”,鼓励项目成员探索更长周期、具有不确定性和大胆的 AGI 研究课题。接近字节的知情人士透露,Seed Edge 的目标是探索 AGI 的新方法,代号名中 Seed 是豆包大模型团队名称,Edge 代表最前沿的 AGI 探索。Seed Edge 鼓励跨模态、跨团队合作,为项目成员提供宽松的研究环境,实行采用更长周期的考核方式,以保障挑战真正颠覆性的 AGI 课题。同时,Seed Edge 也将得到单独的算力资源保障。

 

根据披露,Seed Edge 初步确定了五大研究方向,包括探索推理能力的边界、探索感知能力的边界、探索软硬一体的下一代模型设计、探索下一代 AI 学习范式、探索下一个 scaling 方向。尽管业界不少团队在讨论是否应对 AI 预训练和基础研究继续投入,字节仍在以前所未有的战略决心加码大模型底层研究,包括提供充分的算力资源、广泛网罗顶尖研究人才,并打造长期主义的研究环境。

 

去年 5 月,为储备最具潜力的研究人才,豆包大模型团队启动了“Top Seed 人才计划”,以极具竞争力的待遇在全球招募顶尖博士毕业生加入。成立短短数月内,豆包大模型团队 57 篇论文中选 ICLR、CVPR、NeurIPS 等顶会,研究成果包括下载量超百万的开源工作及 GitHub 万星项目。同时,团队与近 20 所高校展开合作,包括与清华 AIR、北大分别成立 AI 方向联合实验室。

 

就在昨天,字节发布了豆包大模型 1.5Pro 版本,目前,Doubao-1.5-pro 已在豆包 APP 灰度上线,接受海量请求效果出色,同时,开发者也可在火山引擎直接调用 API 。

 

据介绍,豆包大模型 1.5Pro 在知识(MMLU_PRO、GPQA)、代码(McEval、FullStackBench)、推理(DROP)、中文(CMMLU、C-Eval)等多项公开测评基准上成绩全球领先。字节官方强调了新模型的以下特点:

 

  • 高效模型结构,超低成本

 

豆包大模型 1.5Pro 使用较小的激活参数进行预训练,训练成本极低,但性能不打折,采用大规模稀疏 MoE 架构,等效 7 倍激活参数的 Dense 模型性能,远超业内 MoE 架构约 3 倍杠杆的常规效率。

 

凭借字节自研服务器集群方案,灵活支持低成本芯片,硬件成本比行业方案大幅度降低。另外,字节自研网卡和网络协议,显著优化小包通讯效率,算子层计算与通信的高效交叠,保证了多机分布式推理的稳定和高效;通过精细量化和 PD 分离等方案,灵活使用算力和多任务混合调度,实现更高效算力利用。

 

  • 多模态能力全面提升

 

新版豆包视觉理解模型 Doubao-1.5-vision-pro,视觉理解能力全球领先。详见文末表格。

全新的豆包实时语音模型 Doubao-1.5-realtime-voice-pro,采用 Speech2Speech 端到端框架,表现力实现质的飞跃,真正做到会哭会笑、能说方言会唱歌。

 

  • 更强的深度思考能力

 

基于豆包 1.5 基座模型,通过 RL 算法的突破和工程优化,在未使用其他模型数据的情况下,研发豆包深度思考模型。阶段性进展 Doubao-1.5-Pro-AS1-Preview 在 AIME 上已取得了业内领先的成绩。详见文末表格。

 

  • 扎实不走“捷径”

 

所有模型训练过程中,未使用任何其他模型生成的数据。豆包大模型构建自主的数据生产体系,以标注团队与模型 self play 技术相结合,高效优化数据质量,提升数据标注多样性和难度,确保数据来源的独立性和可靠性。

 

2025-01-26 16:2518702

评论

发布
暂无评论

TDSQL金融级特性之:数据强一致性保障

腾讯云数据库

数据库 tdsql

2021一位Android中级程序员的跳槽面经,成功拿下大厂offer

android 面试 移动开发

拓路前行-TDSQL追求极致体验的这一路

腾讯云数据库

数据库 tdsql

Vite + Vue3 + OpenLayers 切换地图容器

德育处主任

大前端 地图 vite Vue3 openlayers

2021互联网大厂Android面经合集,重磅来袭

android 面试 移动开发

2021Android高级面试题,零基础也能看得懂

android 面试 移动开发

大天使之剑H5游戏超详细图文架设教程

echeverra

H5游戏 H5

2021中级Android开发面试解答,Android面试送分题

android 面试 移动开发

2021大厂Android春招面试经历,Android开发必须掌握

android 面试 移动开发

2021Android高级面试题汇总解答,阿里内部Android应届生就业宝典

android 面试 移动开发

网站URL如何SEO优化

echeverra

SEO

2021BAT大厂Android社招面试题,移动开发技术总结

android 面试 移动开发

2021BAT大厂Android社招面试题,Android程序员校招蚂蚁金服

android 面试 移动开发

TDSQL-C的内核关键技术深入解读

腾讯云数据库

数据库 tdsql

海量数据,极速体验——TDSQL-A核心架构详解来了 ​

腾讯云数据库

数据库 tdsql

TDSQL-C PostgreSQL(CynosDB) 内核解密-披荆斩棘,勇往直前的腾讯云数据库

腾讯云数据库

数据库 tdsql

TDSQL核心架构

腾讯云数据库

数据库 tdsql

如何写好倒计时

echeverra

JavaScript

微服务网关Gateway实战

Fox666

微服务 Gateway SpringCloud Gateway Spring Cloud Gateway

TDSQL产品简介以及适用场景

腾讯云数据库

数据库 tdsql

分布式TDSQL的实践

腾讯云数据库

数据库 tdsql

车路协同赋予交通感知,数字技术让管理透明可视

一只数据鲸鱼

车联网 数据可视化 智慧城市 智慧交通

2021中级Android开发面试解答,腾讯Android面试题

android 面试 移动开发

2021大厂Android面试最火问题,透彻分析源码

android 面试 移动开发

5种Python使用定时调度任务的方式

华为云开发者联盟

Python 定时调度 调度 循环 调度任务

腾讯TDSQL:带你认识真正的金融级自主可控分布式数据库

腾讯云数据库

数据库 tdsql

TDSQL核心特性:极具挑战的“四高”服务与安全可运维

腾讯云数据库

数据库 tdsql

2021大厂Android开发面试总结+解答,查缺补漏

android 面试 移动开发

又到“乌镇时间” | VoneDAO助力企业打造高效协作新生态

旺链科技

区块链 互联网大会 分布式自治组织

2021大厂Android面试最火问题,【Android面试题】

android 面试 移动开发

博客被阮一峰引流后,我对“大数据”的分析与思考

echeverra

博客

字节启动AGI长期研究计划,代号Seed Edge_AI&大模型_褚杏娟_InfoQ精选文章