写点什么

阶跃星辰姜大昕:要实现 AGI,“万亿参数”和“多模融合”缺一不可

  • 2024-07-06
    北京
  • 本文字数:1133 字

    阅读完需:约 4 分钟

大小:581.81K时长:03:18
阶跃星辰姜大昕:要实现AGI,“万亿参数”和“多模融合”缺一不可

阶跃星辰姜大昕:要实现 AGI,“万亿参数”和“多模融合”缺一不可


近日,在世界智能人工大会 WAIC 启明创投·创业与投资论坛上,阶跃星辰创始人、CEO 姜大昕博士发表了主题为《攀登 AGI 的路径与实践:万亿参数和多模融合》的演讲,分享了对于大模型发展现状与趋势的观察与思考。



阶跃星辰创始人、CEO 姜大昕博士发表演讲


在演讲中,姜大昕重点阐述了一个核心观点:探索 AGI 路径,“Scaling Law”和“多模态”是相辅相成、缺一不可的两个方向。两者齐头并进,最终到达 AGI。

Scaling Law 仍处于陡峭区间,万亿参数是基本出发点


近年来,GPT 系列模型的演进,客观上验证了 Scaling Law 的有效性。模型参数量决定模型能力的上限。从模型效果看,参数量增大确实带来了性能上的飞跃。虽然业内围绕“Scaling Law 还能走多远”尚未形成共识,但阶跃星辰认为,参数量接下来再提高一个数量级是依然成立的。Scaling Law 目前依然奏效,模型性能仍然在随着参数量、数据量和计算量的增加呈幂次方增长。在此发展过程中,万亿参数量已经成为一个基本的入门门槛。



正是基于这样的认知,阶跃星辰很早便启动了万亿参数模型的训练。从千亿到万亿,模型的参数规模提升了一个量级,难度也提升了十倍以上。为此,阶跃星辰加大资源投入,尤其在系统和算法上积极探索,最终走通了万亿参数 MoE 大模型训练的道路。在 WAIC 2024 上,阶跃星辰发布了全新的 Step-2 万亿参数语言大模型正式版。根据从逻辑推理、世界知识、数学和编程等多个维度进行的权威测试,Step-2 模型能力都已全面接近国际主流模型,在部分测试集甚至实现了超越。


多模态是构建世界模型的基础能力,将走向理解与生成的统一


在不断攀登 Scaling Law 的同时,阶跃星辰也强调,多模态是构建世界模型的基础能力,是通向 AGI 的必经之路。从算法角度看,世界模型的演进会分为三个阶段:


第一阶段是模拟物理世界;


第二阶段是通过具身智能和物理世界交互,主动探索物理世界;


第三阶段是通过发展系统能力,发现新的物理规律,归纳物理世界。



从模拟世界,到探索世界,再到归纳世界,多模态是贯穿这三个阶段的基本能力。目前,全球科技巨头正在积极探索并布局多模融合的路径,多模态大模型研发的脚步正越走越快。然而,多模态领域目前存在的问题是,视觉的理解模型和生成模型是分开发展的。其造成的结果就是理解模型的理解能力强而生成能力弱,或者生成模型的生成能力强而理解能力弱。因此,多模态大模型接下来面临的一项关键挑战,就是能否将理解和生成统一在一个模型里。


目前,阶跃星辰正在朝着这个方向努力,并取得了一些阶段性的进展。在 WAIC 2024 上,新升级的 Step-1.5V 千亿参数多模态大模型性能大幅提升,具备更出色的视频理解能力;新发布的 Step-1X 图像生成大模型,则是阶跃星辰首次推出多模态生成大模型。

2024-07-06 18:024964
用户头像
李冬梅 加V:busulishang4668

发布了 913 篇内容, 共 499.3 次阅读, 收获喜欢 1086 次。

关注

评论

发布
暂无评论

JAVA concurrency -- AQS 源码详解

骑牛上青山

Java 源码

惊艳华为PocketS发布会! 杰美特旗下高端品牌决色推出首款“月光宝壳”

科技热闻

豆瓣评分9.8!阿里内部的分布式架构手册让多少人突破了瓶颈?

程序知音

Java 分布式 java架构 java架构师 后端技术

5 步!用阿里云 Serverless 搭建高质量的图片压缩工具

阿里巴巴云原生

阿里云 Serverless 云原生

深入剖析nodejs中间件

coder2028

node.js

一文读懂Js中的this指向

hellocoder2029

JavaScript

微博评论高可用高性能计算架构设计

Jack

架构实战训练营9期

鼎医信息加入PolarDB开源数据库社区

阿里云数据库开源

阿里云 polarDB PolarDB-X 阿里云数据库 PolarDB for PostgreSQL

java学习后该怎么培养自主学习能力

小谷哥

OpenI启智社区2022年度优秀项目及开发者申报通知

OpenI启智社区

开源社区 优秀项目 优秀开发者 OpenI启智社区

自助客户服务页面|从To B产品流量获取到客户服务体验上升

Baklib

一比一手写迷你版vue,彻底搞懂vue运行机制

hellocoder2029

用javascript分类刷leetcode3.动态规划(图文视频讲解)

Geek_07a724

JavaScript LeetCode

JavaScript刷LeetCode拿offer-位运算

Geek_07a724

JavaScript LeetCode

系统运维利器,百万服务器运维实战总结!一文了解最新版SysAK|龙蜥技术

OpenAnolis小助手

Linux 开源 运维 龙蜥社区 SysAK

大数据培训学习后,就业不好就业

小谷哥

web前端培训学习需要注意什么

小谷哥

Milvus 编译环境演进

Zilliz

c++ Python Milvus cmake 编译环境

深入理解Node.js的进程与子进程

coder2028

node.js

一文彻底搞懂前端缓存机制

hellocoder2029

JavaScript

专为实时而生 — GreptimeDB 现已在 GitHub 正式开源

Greptime 格睿科技

开源 分布式 云原生 时序数据库 存算分离

pytorch实现空洞卷积+残差网络实验(torch实现

Studying_swz

深度学习 11月月更

5 分钟教你搭建「视频动作分类」系统

Zilliz

人工智能 计算机视觉 Towhee 视频动作分类

面向智慧城市的GIS框架

tjn

GIS 可视化 11月月更

web前端培训上海学习好吗

小谷哥

深入nodejs的event-loop

coder2028

node.js

架构--模块5

李某人

架构训练营 #架构训练营

Go语言—基本输入输出包的使用

良猿

Go golang 后端 11月月更

哪些前端学习方法对小白比较有用?

小谷哥

极客时间运维进阶训练营第四周作业

好吃不贵

「推荐收藏」提高组件库Level必做好这六件事

GFE

前端 组件库

阶跃星辰姜大昕:要实现AGI,“万亿参数”和“多模融合”缺一不可_生成式 AI_李冬梅_InfoQ精选文章