写点什么

三个月建成“世界最大”Nvidia GPU 计算集群,马斯克:不够,还要再加 10 万个

  • 2024-09-11
    北京
  • 本文字数:759 字

    阅读完需:约 2 分钟

三个月建成“世界最大”Nvidia GPU 计算集群,马斯克:不够,还要再加10万个

9 月 2 日,马斯克发文称,其人工智能公司 xAI 的团队已经上线了一台被称为“Colossus”的训练集群,总共有 100000 个英伟达的 H100 GPU。


马斯克表示,他的团队花了 122 天才完成 Colossus 的上线过程。由于 xAI 在 6 月份才选定孟菲斯作为其所在地,因此 Colossus 的部署速度可以说是非常快的。马斯克表示,在接下来的几个月里,Colossus 的规模将扩大一倍,达到 200,000 个 GPU,其中 5 万个是更为先进的 H200。



一位 X 用户指出,这一发展的实际规模超过了迄今为止发布的每个主要模型。相比之下,OpenAI 最强大的模型才使用了 80000 个 GPU。



Nvidia 的 H200 是市场上最抢手的芯片之一,尽管最近被该公司于 2024 年 3 月推出的最新 Blackwell 芯片超越。相比之下,H200 配备 141 GB 的 HBM3E 内存和 4.8 TB/s 的带宽,Blackwell 的最高容量比 H200 高出 36.2%,总带宽高出 66.7%。


Nvidia 在 Colossus 发布后向马斯克和 xAI 团队表示祝贺。它还强调,Colossus 将是性能最强大的产品,并且在能源效率方面将有“显著提升”。


风险投资公司 ARK Invest 的首席执行官 Cathie Wood 也对该团队取得的成就表示祝贺,称其“令人印象深刻”,并表示“未来还会有重大公告”。


2023 年 4 月,有广泛报道称马斯克正在购买大量 GPU,一些消息来源报道称他打算购买多达近 10,000 个 GPU,以推进他的 xAI 项目。


在当前的人工智能淘金热中,包括微软、谷歌、亚马逊在内的多家重量级科技公司正与马斯克一道竞相采购英伟达备受青睐的 Hopper 系列人工智能芯片。马斯克也是英伟达的重要客户,其承诺今年仅用于特斯拉的英伟达硬件就要投资 30 至 40 亿美元。


孟菲斯集群将主要用来训练马斯克的 Grok-3。他在 7 月份表示,“我们希望在 12 月之前发布 Grok-3,到那时 Grok-3 应该会成为世界上最强大的人工智能。”Grok-2 的早期测试版上个月刚刚向用户推出 。


2024-09-11 17:036462

评论 1 条评论

发布
用户头像
《英伟达财报惊人!H200、GB200、Blackwell 齐发力!》

💥英伟达财报来袭!FY25Q2 持续高增长💥
👉FY25Q2 收入 300.40 亿美元,同比增长 122%,环比增长 15%!
👉数据中心业务收入 262.72 亿美元,同比增长 154%,环比增长 16%!
🎈预计 FY2025Q3 将实现收入 325 亿美元,毛利率 75%。
💻H200 平台在 2024Q2 开始向客户发货,Hopper 出货量 2024H2 持续增长。
🌟Blackwell 延迟影响有限,看好其在 2025 年的放量趋#服务器[超话]#势,2024Q4 预计实现数十亿美元收入。
🤖GB200 服务器 2024Q4 开始小批量出货,2025Q1 有望放量,后续产品周期有望加速,设计缺陷导致的延迟出货影响已基本消除。

#英伟达 #GPU#AI#H200#GB200#Blackwell#GPU算力
展开
2024-09-26 19:54 · 北京
回复
没有更多了
发现更多内容

每日一R「15」实践课之 kv-server(一)

Samson

学习笔记 8月月更 ​Rust

C/C++size(),sizeof(),length(),strlen()对比分析详解

CtrlX

c c++ 进阶 热门活动 8月月更

leetcode 242. Valid Anagram 有效的字母异位词(简单)

okokabcd

LeetCode 算法与数据结构

规范代码命名,让你的代码阅读起来更愉悦!

岛上码农

flutter 前端 移动端开发 跨平台开发 8月月更

阿里云-建站小能手快速体验

凌云Cloud

阿里云 网站建设

「美团 CodeM 资格赛」数码 详解

Five

c++ 算法题 8月月更

蓝凌“智慧云脑”,助力水务、燃气等集团服务民生

科技怪咖

Zabbix 监控系统保姆及教程

CTO技术共享

干货|为什么说开源基金会的选择很关键?(上)

Orillusion

开源 WebGL 渲染引擎 webgpu web3d

高效率团队为啥都会选择Jenkins?一文带您了解Jenkins

wljslmz

持续集成 jenkins 8月月更

重学网络系列之(Ping与网关)

自然

网络 8月月更

Nexus 私服Prometheus+Grafana

CTO技术共享

头脑风暴:二叉搜索树的最小绝对差

HelloWorld杰少

算法 LeetCode 8月月更

Docker 端口映射重大安全漏洞

CTO技术共享

React在实际开发中Variables与Prop的实战运用

恒山其若陋兮

8月月更

重学网络系列之(UDP)

自然

网络 8月月更

再深一点:如何给女朋友解释什么是微服务?

浅羽技术

微服务 微服务架构 单体架构 微服务框架 8月月更

Java集合之map集合

楠羽

#开源

学习 Go 语言数据结构:实现双链表

宇宙之一粟

数据结构 双向链表 8月月更

蓝凌生态OA,重新定义中大型企业数字化办公

科技怪咖

华为云构建“好用的化工数字化”

IT资讯搬运工

Polkadot + DeFi | 透明公平、高效交易的去中心化金融未来可期

One Block Community

区块链 金融创新 defi 波卡生态

负载均衡算法

源字节1号

程序员 软件开发

解析大型电商网站系统架构分层设计

穿过生命散发芬芳

网站架构 8月月更

【Python编程技巧】简单理解和使用Python中@property

迷彩

@PropertySource 8月月更 Python编程技巧

ISO文件怎么管?“筷子第一股”双枪科技教你1招!

科技怪咖

从工程预算到项目管理,『蓝凌低代码』让房企管理更简单

科技怪咖

Docker下Prometheus和Grafana三部曲之三:自定义监控项开发和配置

程序员欣宸

Grafana Prometheus 8月月更

从 Multirepo 到 Monorepo 袋鼠云数栈前端研发效率提升探索之路

袋鼠云数栈

重学网络系列之(TCP)

自然

网络 8月月更

有人相爱,有人年少财务自由,有人数据结构都背不出来

浅羽技术

Java 数据结构 队列 红黑树 8月月更

三个月建成“世界最大”Nvidia GPU 计算集群,马斯克:不够,还要再加10万个_AI&大模型_褚杏娟_InfoQ精选文章