写点什么

阶跃星辰姜大昕:要实现 AGI,“万亿参数”和“多模融合”缺一不可

  • 2024-07-06
    北京
  • 本文字数:1133 字

    阅读完需:约 4 分钟

大小:581.81K时长:03:18
阶跃星辰姜大昕:要实现AGI,“万亿参数”和“多模融合”缺一不可

阶跃星辰姜大昕:要实现 AGI,“万亿参数”和“多模融合”缺一不可


近日,在世界智能人工大会 WAIC 启明创投·创业与投资论坛上,阶跃星辰创始人、CEO 姜大昕博士发表了主题为《攀登 AGI 的路径与实践:万亿参数和多模融合》的演讲,分享了对于大模型发展现状与趋势的观察与思考。



阶跃星辰创始人、CEO 姜大昕博士发表演讲


在演讲中,姜大昕重点阐述了一个核心观点:探索 AGI 路径,“Scaling Law”和“多模态”是相辅相成、缺一不可的两个方向。两者齐头并进,最终到达 AGI。

Scaling Law 仍处于陡峭区间,万亿参数是基本出发点


近年来,GPT 系列模型的演进,客观上验证了 Scaling Law 的有效性。模型参数量决定模型能力的上限。从模型效果看,参数量增大确实带来了性能上的飞跃。虽然业内围绕“Scaling Law 还能走多远”尚未形成共识,但阶跃星辰认为,参数量接下来再提高一个数量级是依然成立的。Scaling Law 目前依然奏效,模型性能仍然在随着参数量、数据量和计算量的增加呈幂次方增长。在此发展过程中,万亿参数量已经成为一个基本的入门门槛。



正是基于这样的认知,阶跃星辰很早便启动了万亿参数模型的训练。从千亿到万亿,模型的参数规模提升了一个量级,难度也提升了十倍以上。为此,阶跃星辰加大资源投入,尤其在系统和算法上积极探索,最终走通了万亿参数 MoE 大模型训练的道路。在 WAIC 2024 上,阶跃星辰发布了全新的 Step-2 万亿参数语言大模型正式版。根据从逻辑推理、世界知识、数学和编程等多个维度进行的权威测试,Step-2 模型能力都已全面接近国际主流模型,在部分测试集甚至实现了超越。


多模态是构建世界模型的基础能力,将走向理解与生成的统一


在不断攀登 Scaling Law 的同时,阶跃星辰也强调,多模态是构建世界模型的基础能力,是通向 AGI 的必经之路。从算法角度看,世界模型的演进会分为三个阶段:


第一阶段是模拟物理世界;


第二阶段是通过具身智能和物理世界交互,主动探索物理世界;


第三阶段是通过发展系统能力,发现新的物理规律,归纳物理世界。



从模拟世界,到探索世界,再到归纳世界,多模态是贯穿这三个阶段的基本能力。目前,全球科技巨头正在积极探索并布局多模融合的路径,多模态大模型研发的脚步正越走越快。然而,多模态领域目前存在的问题是,视觉的理解模型和生成模型是分开发展的。其造成的结果就是理解模型的理解能力强而生成能力弱,或者生成模型的生成能力强而理解能力弱。因此,多模态大模型接下来面临的一项关键挑战,就是能否将理解和生成统一在一个模型里。


目前,阶跃星辰正在朝着这个方向努力,并取得了一些阶段性的进展。在 WAIC 2024 上,新升级的 Step-1.5V 千亿参数多模态大模型性能大幅提升,具备更出色的视频理解能力;新发布的 Step-1X 图像生成大模型,则是阶跃星辰首次推出多模态生成大模型。

2024-07-06 18:025240
用户头像
李冬梅 加V:busulishang4668

发布了 993 篇内容, 共 599.4 次阅读, 收获喜欢 1151 次。

关注

评论

发布
暂无评论
发现更多内容

大数据培训-Spark深入理解RDD和关键角色

@零度

spark 大数据开发

NVIDIA 英伟达发布H100 GPU,水冷服务器适配在路上

GPU算力

Kubernetes官方java客户端之一:准备

程序员欣宸

Kubernetes java client

《Mybatis 手撸专栏》第2章:创建简单的映射器代理工厂

小傅哥

源码分析 小傅哥 mybatis

企业知识管理常见的误区及解决方案

小炮

企业知识管理

企业级项目协作工具 ,原来跨项目协作这么简单

阿里云云效

云计算 阿里云 项目管理 项目协作 项目协作工具

被Altair圈粉了!这款Python数据可视化库真香!

博文视点Broadview

[Day4]-[二分查找] 查找数组元素位置

方勇(gopher)

LeetCode 数据结构与算法

适合 Kubernetes 初学者的一些实战练习 (四)

汪子熙

Kubernetes 云原生 Kubernetes 集群 Serverless Kubernetes 3月月更

NE555 & 工作模式介绍

謓泽

3月月更

java培训基础知识-抽象类和接口

@零度

Java 接口 抽象类

在线MarkDown转HTML工具

入门小站

工具

轨物范世:华为手机的影像哲学

脑极体

钉钉宜搭受邀参加第三届中国计算机教育大会,发布低代码产学合作计划

一只大光圈

低代码 数字化 钉钉宜搭 计算机教育 CECC

Linux下搭建简易的HTTP服务器完成图片显示

DS小龙哥

3月月更

Volcano:在离线作业混部管理平台,实现智能资源管理和作业调度

华为云开发者联盟

Kubernetes Volcano 混合部署 离线混合部署 EulerOS

Android 中Scheme协议的使用详解

CRMEB

博文推荐|Apache Pulsar 轻装上阵:迈向轻 ZooKeeper 时代

Apache Pulsar

zookeeper 开源 云原生 pip Apache Pulsar

java高级用法之:JNA类型映射应该注意的问题

程序那些事

Java Netty 程序那些事 3月月更

模块一作业

Kevin

架构实战营

模块一:微信业务架构图&学生管理系统架构设计

jiaoxn

「架构实战营」

稳定、高效:TDengine 在阿诗特智慧能源管理云平台中的应用

TDengine

数据库 tdengine 物联网

《假如你身处被“科技制裁”的俄罗斯》之数据库专家访谈 | 墨天轮专访

墨天轮

数据库 oracle 开源 国产数据库 MySQL 数据库

在线Javascript压缩工具

入门小站

工具

编辑一天编辑多少篇文章合适?

源字节1号

SEO 网站开发

业务并发度不够,数仓的CN可以来帮忙

华为云开发者联盟

并发 执行计划 DWS CN 业务并发度

Kube-OVN:大型银行技术团队推荐的金融级云原生网络方案

York

容器 云原生 金融科技 两地三中心 云原生网络

与吴恩达创办Coursera后,她一头扎进数字生物学

OneFlow

人工智能 机器学习 深度学习 吴恩达 生物医药

社区动态|Apache Doris 社区喜迎新晋 PPMC & Committer

ApacheDoris

大数据 OLAP MPP apache doris apache 社区

互联网裁员风暴的一些思考

慕枫技术笔记

3月月更

一文简述:如何进行数据库选型及扩展

穿过生命散发芬芳

3月月更

阶跃星辰姜大昕:要实现AGI,“万亿参数”和“多模融合”缺一不可_生成式 AI_李冬梅_InfoQ精选文章