写点什么

腾讯发布超大预训练系统派大星,聚焦解决 BERT 等超大模型训练时的“GPU 内存墙”问题

  • 2021-11-02
  • 本文字数:748 字

    阅读完需:约 2 分钟

腾讯发布超大预训练系统派大星,聚焦解决BERT等超大模型训练时的“GPU内存墙”问题

近日,腾讯微信 AI 团队联合 Tencent NLP Oteam 于 GitHub 上发布开源项目派大星“PatrickStar”。该开源项目将聚焦解决 GPT、BERT 等超大模型训练时产生的“GPU 内存墙”问题,使用更为创新的异构内存管理方法,让相同配置的机器能够训练更大的模型,以更节能环保的方式让预训练模型普惠每位 NLP 社区用户。经测试结果显示,派大星性能表现优于微软 DeepSpeed,在不到 5000 元价位的个人游戏电脑上,即可训练一个 7 亿参数的 GPT 模型。



以 GPT、BERT 为代表的预训练模型(PTM)是自然语言处理(NLP)领域的核心技术,但由于 GPU 硬件的存储空间有限,PTM 的可训练规模难以突破,专业人员称之为"GPU 内存墙",同时, PTM 预训练的过程具备高耗能、高成本、高碳等弊端——往往训练一次万亿级别的预训练模型要烧掉 154 万人民币,消耗的电能制释相当于数十辆小汽车从出厂到报废的碳排放总和。


为攻克该痛点,腾讯微信 AI 团队联合 TencentNLP Oteam 从头搭建了派大星。它通过细粒度的方式管理模型数据,更有效使用了异构内存空间,进一步突破 PTM 模型规模的极限。同时,派大星的设计比同类方法占用更低内存使用,减少了 CPU 和 GPU 之间数据搬移开销,从而显著提升了计算资源的利用率。并且,派大星可以和多种并行训练方式正交使用。比如,派大星使用微软提出的零冗余优化器来实现单机多卡的数据并行。


实验结果表明,派大星将模型规模上限在目前最佳方案 DeepSpeed 的基础上提升了 1.5 倍,并且展现了明显高于 DeepSpeed 的计算效率。这将极大降低了 PTM 训练过程中的碳排放,以技术优化的方式助力低碳环保事业。


目前,派大星已参与到微信搜一搜、微信对话开放平台、小微智能音响等产品研发工作中,助力降低 GPU 卡使用数量,提升机器的利用率,减少数据中心的碳排放规模。接下来,微信 AI 团队也将持续深化开源技术的研发及应用,以创新促进行业发展及生态建设。

2021-11-02 13:364352

评论

发布
暂无评论
发现更多内容

项目流程管理软件OmniPlan Pro 4 for Mac 中文激活版下载

iMac小白

Golang数据结构性能优化实践

俞凡

golang

Docker安装Nginx,并实现负载均衡教程。

百度搜索:蓝易云

nginx Docker Linux 运维 云服务器

淘宝商品信息的API接口获取方式是什么?

技术冰糖葫芦

API 文档

都是人情世故,职场潜规则缩影

少油少糖八分饱

职场 工作 打工人 向上管理 王自如

功能强大的虚拟定位软件:AnyGo for Mac破解版下载

iMac小白

Macos 图像批量处理工具:Retrobatch Pro for Mac激活版下载

iMac小白

Macos专业的图像处理工具:CameraBag Pro 2024激活版下载

iMac小白

如何使用 NFTScan NFT API 在 Avalanche 网络上开发 Web3 应用

NFT Research

NFT\ NFTScan nft工具

JixiPix Pastello Pro for Mac(图片处理工具) v6.0.98中文激活版

mac

苹果mac Windows软件 JixiPix Pastello 数字绘画软件

HoudahSpot for Mac(多功能文件搜索软件) v6.4.1永久激活版

mac

苹果mac Windows软件 HoudahSpot 文件搜索工具

mac最强深度清理软件:App Cleaner & Uninstaller for Mac v8.2.4中文激活版

iMac小白

Django进行docker服务器部署。

百度搜索:蓝易云

Python django Linux 运维 Web

基于Go-Kit的Golang整洁架构实践

俞凡

golang 架构 设计模式

好奇怪,ChatGPT具有人性思维?人类将何去何从?有点恐怖啊😱

Geek_ccdd7f

写作技巧 AI绘画 ChatGPT ChatGPT4

Navicat for SQL Server for mac(数据库管理软件) v12.1.19中文版

mac

苹果mac Windows软件 Navicat for SQL Server 管理数据库软件

BetterDisplay Pro for Mac(显示器校准软件) v2.0.11永久激活版

mac

显示器校准软件 苹果mac Windows软件 BetterDisplay Pro

Topaz Video AI Mac秘钥激活版下载 支持M

iMac小白

Golang流水线设计模式实践

俞凡

golang 设计模式

带你体验chatGPT中文版的简单功能

Geek_ccdd7f

mac专用图片管理工具:PowerPhotos for Mac直装版下载

iMac小白

Rectangle Pro for Mac激活版下载

iMac小白

Copilot Studio使用初体验

Bruce Talk

AI Copilot

Beyond Compare 4 for Mac(文件同步对比软件)v4.4.7(28397)中文激活版

mac

Beyond Compare 文件同步对比工具 苹果mac Windows软件

lightroom classic 2024 for mac破解版下载

iMac小白

Mac平台上的系统监控工具iStat Menus激活版下载 支持M

iMac小白

OneCode 在线IDE停止运营

codebee

腾讯发布超大预训练系统派大星,聚焦解决BERT等超大模型训练时的“GPU内存墙”问题_开源_InfoQ编辑部_InfoQ精选文章