写点什么

一天就花 500 万元,运行 ChatGPT 太烧钱!微软为省钱已秘密自研 AI 芯片 4 年,今年或发布

  • 2023-04-26
    北京
  • 本文字数:1755 字

    阅读完需:约 6 分钟

一天就花 500 万元,运行 ChatGPT 太烧钱!微软为省钱已秘密自研 AI 芯片 4 年,今年或发布

ChatGPT 每日运行费超 70 万美元

以 ChatGPT 为代表的 AI 大模型爆火后,每天都有数百万用户使用 ChatGPT 这类大模型。如此高的使用需求导致了 ChatGPT 的运行成本非常昂贵。

 

近日,研究公司SemiAnalysis的首席分析师 Dylan Patel 在接受媒体采访时表示,考虑到 AI 需要昂贵的技术基础设施才能顺畅运行,用户们在 ChatGPT 上撰写求职信、生成课业规划和在约会应用上润色个人简介等操作,每天可能烧掉 OpenAI 多达 70 万美元,每次查询要花掉 36 美分。

 

为了根据用户的提示词快速做出响应,ChatGPT 需要一刻不停地消耗大量算力。

 

Patel 解释道,“大部分成本来自 AI 模型所依赖的昂贵服务器。”

 

在接受媒体采访时,Patel 表示现在的运营成本可能会更高,因为他的初步估算考虑的只是 OpenAI 的 GPT-3 模型。相比之下,家庭最新成员 GPT-4 的服务开销只会更高。

 

OpenAI 并未在立即回应媒体的置评请求。

 

在发布仅两个多月后,今年 1 月份,ChatGPT 的活跃用户迅速飙升至 1 亿个,这是此前许多科技品牌需要耗费数年时间才能实现的壮举。

 

ChatGPT 背后那些大语言模型的训练、运营和推理成本很可能已达数千万美元。而 Patel 和 SemiAnalysis 的另一位分析师 Afzal Ahmad 认为,“在以合理的规模部署这类模型时,实际运行开销甚至要远高于训练成本。目前,ChatGPT 的每周推理成本就已经超过了当初的训练成本。”

 

ChatGPT 还一直在努力应对超高访问量的问题,类似这样的问题导致其服务器速度减慢甚至崩溃。该公司试图通过引入每月 20 美元的付费 ChatGPT Plus 服务来解决这个问题,但并没有多少用户为此买单。

 

多年以来,使用 OpenAI 语言模型的企业一直在支付高昂的服务费。Latitude 是一家使用提示词自动创作故事情节的 AI 地牢游戏初创公司,CEO Nick Walton 表示为了让 AI 回应数百万用户的查询,2021 年他们每月运行模型和租用亚马逊云科技服务器的费用高达 20 万美元。

 

为了回避这笔夸张的开销,Walton 决定转向由 Al21 Labs 支持的语言软件服务商。他说此举帮助公司将 AI 成本削减了一半,目前为每月 10 万美元。

 

“我们开玩笑说公司既有人类员工、也有 AI 员工,而且两边的年薪水平都差不多。我们每个月要在 AI 身上花几十万美元,考虑到 Latitude 的体量并不大,所以这绝对是一笔相当夸张的支出。”

 

目前,OpenAI 使用的是英伟达 GPU 来维持运行,有行业分析师预计,在 2023 年剩余时间里,该公司可能需要额外的 3 万个英伟达的 GPU 来维持其商业性能。

微软自研 AI 芯片降成本

面对每天如此高的运行成本,财力强大如微软也有些吃不消了。有媒体报道,微软目前正在开发自己的专有 AI 芯片,以协助维护 OpenAI 的 ChatGPT 运行,降低运行成本。

 

The Information 最早发表报道,微软正在开发的这款 AI 芯片名为 Athena“雅典娜”。该项目于 2019 年在微软与 OpenAI 达成 10 亿美元的交易后启动,该交易要求 OpenAI 在微软的 Azure 云服务器上独家运行其人工智能模型。如今时间已经过去近四年,目前仍有 300 多名微软员工在开发这款芯片。

 

微软目前使用的 AI 芯片是对外采购,而非自家产品。微软希望 Athena AI 芯片的性能能够超越供应商的芯片,以进一步降低开发 AI 所需耗费的资金成本和时间。随着生成式 AI 大爆发,包括亚马逊和谷歌等科技巨头都已推出自研 AI 芯片。

 

“与英伟达的产品相比,Athena 如果具有竞争力,可以将每个芯片的成本降低三分之一,”Patel 告诉 The Information。

 

简单地说,潜在的节省可能是巨大的。

 

Athena 项目背后的原因有二:其一,微软高管意识到,他们在自主研发芯片方面落后于谷歌和亚马逊;其二,微软正在寻找更便宜的替代品,该公司目前的人工智能模型是在英伟达的图形处理单元芯片上运行的。

 

虽然目前在机器学习领域,NVIDIAGPU 市占率高达 95%以上,至今没有对手可以匹敌。但是,随着众多的云服务巨头纷纷自研 AI 芯片,以及英特尔在 GPU 上的持续发力,或将对 NVIDIA 造成一定的压力。

 

有两位知情人士向 The Information 证实,该芯片最早可能在明年发布以供微软和 OpenAI 内部使用。

 

虽然自研了 AI 芯片,但微软可能并不打算全面取代英伟达的 AI 芯片,因为两者最近同意了进行为期数年的 AI 合作。

 

参考链接:

https://www.businessinsider.com/how-much-chatgpt-costs-openai-to-run-estimate-report-2023-4

https://futurism.com/the-byte/chatgpt-costs-openai-every-day

https://www.digitaltrends.com/computing/chatgpt-cost-to-operate/

2023-04-26 10:584145
用户头像
李冬梅 加V:busulishang4668

发布了 1061 篇内容, 共 677.7 次阅读, 收获喜欢 1223 次。

关注

评论

发布
暂无评论
发现更多内容

架构学习笔记:微服务架构与SOA架构

风翱

微服务 SOA 5月日更

Java设置Filter过滤了CSS等静态文件的问题

空城机

Java 5月日更

通用连接池帮你解决资源管理难题

万俊峰Kevin

MySQL redis mongodb pool Go 语言

5G掀起工业互联网浪潮,水泥厂智能管理模式收效颇丰

一只数据鲸鱼

数据可视化 工业互联网 智慧工厂 水泥厂 智能工厂

聊聊数据分析

数据社

数据分析 5月日更

选择排序&插入排序 - DAY 15

Qien Z.

排序算法 插入排序 5月日更

腾讯云实名认证流程

三掌柜

5月日更

redis在微服务领域的贡献

捉虫大师

redis dubbo RPC 协议 注册中心

Nginx调试必备的几种技能

运维研习社

nginx 运维 实用技巧 5月日更

☕【JVM 技术之旅】攻克技术盲点之“JVM常量池们“

码界西柚

JVM 5月日更 字符串常量池 静态常量池 运行时常量池

字节、美团等客户与华为联合创新DCI智能控制器,共筑互联网基础设施新生态

详解 WebRTC 高音质低延时的背后 — AGC(自动增益控制)

阿里云CloudImagine

阿里云 WebRTC 3A算法 音频技术 视频云

再不解决延迟不当,小心你的内存被打爆

华为云开发者联盟

线程 延迟 内存 并发 Sleep

密码学系列之:memory-hard函数

程序那些事

加密解密 密码学 程序那些事

ThreadLocal内存溢出代码演示和原因分析!

王磊

Java 多线程

小傅哥,一个有“副业”的码农!

小傅哥

Java 小傅哥 技术成长 码农副业

屏幕共享的实现与应用

anyRTC开发者

音视频 WebRTC RTC sdk

访问控制

escray

学习 极客时间 安全 5月日更 安全攻防技能30讲

掌握学习方法,成为技术大牛

实力程序员

Go 并发编程 — 深度剖析 sync.Pool 源码级原理

奇伢云存储

并发编程 云存储 Go 语言

【Flutter 专题】120 Flutter & 腾讯移动通讯 TPNS~

阿策小和尚

5月日更 Flutter 小菜 0 基础学习 Flutter Android 小菜鸟

记一次与写作朋友的线下沙龙

架构精进之路

技术交流 杂记 5月日更

Cilium 1.10 重磅发布!】支持 Wireguard, BGP, Egress IP 网关, XDP 负载均衡, 阿里云集成

公众号:云原生Serverless

云原生 cilium cni

从寻人到航天,科技与公益的下一个交汇点正在“星辰”中诞生

脑极体

k8s 集群下微服务 pod 的各种指标信息监控

Damon

微服务 5月日更

CG行业云渲染服务的演进之路

华为云开发者联盟

公有云 CG 渲染 云渲染 影视动画

强化基于位置的4种营销策略

郑州埃文科技

IP 营销 ISP

Feed流系统重构-架构篇

勇哥java实战分享

架构 RocketMQ 分库分表 ShardingJDBC redisson

☕【JVM 技术之旅】深入JVM原理分析synchronized

码界西柚

synchronized 重量级锁 5月日更 同步锁 ObjectMontior

网络攻防学习笔记 Day25

穿过生命散发芬芳

5月日更 网络攻防

Dubbo 路由规则之标签路由

青年IT男

dubbo

一天就花 500 万元,运行 ChatGPT 太烧钱!微软为省钱已秘密自研 AI 芯片 4 年,今年或发布_AI&大模型_李冬梅_InfoQ精选文章