报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

解析高效分布式训练系统 PERSIA:可用于训练百万亿参数的超大规模深度学习推荐模型

  • 2022-01-12
  • 本文字数:1252 字

    阅读完需:约 4 分钟

解析高效分布式训练系统PERSIA:可用于训练百万亿参数的超大规模深度学习推荐模型

基于深度学习技术的模型主导了现代工业级推荐系统的行业格局。现代推荐系统在大量场景中获得了实际应用。在规模不断扩大的深度神经网络模型的推动下,它们取得了一系列令人难以置信的成果和进步。



然而,即使在工业级规模的数据中心内,此类模型的训练工作也是一大挑战。这一挑战的根源在于训练工作的计算过程所具备的极高异质性 —— 模型的嵌入层可能占整个模型大小的 99.99%以上。整个过程非常耗费内存,而神经网络(NN)的其余部分则逐渐向计算密集的方向发展。


快手科技与苏黎世联邦理工学院的研究团队共同发布了基于革命性混合训练算法的高效分布式训练系统 PERSIA(混合加速并行推荐训练系统)。这种方法为拥有多达百万亿参数的巨型深度学习推荐系统提供了很高的训练效率和精度。研究人员精心设计了其中的优化方法和分布式系统架构。


Persia 的能力来源于多项技术成果。Persia 的核心技术假设将混合和异构的训练算法与异构系统架构设计结合在了一起。研究人员这样做的目标是将训练推荐系统的性能提升到当今无法达到的水平上。


这项研究将推荐模型的各项属性与其收敛性联系在了一起,以证明其有效性。研究人员描述了一种自然但不常见的混合训练技术,触及嵌入层和密集神经网络模块。此外,该研究还对其收敛行为做了详尽的理论描述。在快手,PERSIA 使用公开可用的基准测试和现实工作负载进行了评估。


研究人员最初提出了一种同步-异步混合方法,其中嵌入模块会进行异步训练。同时,密集神经网络会同步更新。在不牺牲统计效率的情况下,这种混合方法实现了与完全异步模式相当的硬件效率。


PERSIA 的设计基于两个基本理念:


  • 训练工作流在不同集群中的分布

  • 相关的混合基础设施训练进程 PERSIA 有四个模块,为推荐系统提供高效的自动缩放能力:

  • 从 Hadoop、Kafka 和其他分布式存储系统中提取训练数据的数据加载器;

  • 一组嵌入 worker 使用优化算法从嵌入 PS 中提取嵌入参数。它们再将嵌入梯度放回嵌入 PS 和聚合嵌入向量(如果有的话)

  • 嵌入参数服务器(简称嵌入 PS)负责监督嵌入层中参数的存储和更新。

  • 许多 NN worker 运行神经网络 NN 的前向/后向传播。研究团队针对三个开源基准(Taobao-Ad、Avazu-Ad 和 Criteo-Ad)以及快手的真实生产级微视频推荐管道对 PERSIA 进行了测试。他们使用了 XDL 和 PaddlePaddle 这两个前沿分布式推荐训练系统作为基线参考。


与其他系统相比,新混合算法获得了更高的吞吐量。PERSIA 在 Kwai-video 基准测试中实现了比完全同步方法高 2.8 倍的吞吐量。即使模型大小增加到 100 万亿个参数,PERSIA 也表现出了稳定的训练吞吐量,达到完全同步模式吞吐量的 2.6 倍。


PERSIA 已在 GitHub 上作为开源项目提供,其中包含在谷歌的云基础架构上设置系统的详细说明。研究人员预计,他们的研究和发现将对学术界和工业界都有所帮助。


论文:https://arxiv.org/pdf/2111.05897.pdf


Github:https://github.com/persiaml/persia


原文链接:


https://www.marktechpost.com/2021/12/05/researchers-introduce-persia-a-pytorch-based-system-for-training-large-scale-deep-learning-recommendation-models-up-to-100-trillion-parameters

2022-01-12 14:054156
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 555.7 次阅读, 收获喜欢 1978 次。

关注

评论

发布
暂无评论
发现更多内容

Tower for Mac:Git管理的终极利器!

Rose

ChatGPT怎么注册使用?新手如何从入门到精通玩转ChatGPT?

蓉蓉

openai GPT-4 ChatGPT4

Audio Hijack for Mac 音频录制软件 v4.4.2直装版

Rose

任务分级技术:突破数据分层/加载场景下性能瓶颈

焱融科技

数据分层 任务分级技术 数据加载

什么是生产报工系统、有哪些优势

万界星空科技

制造业 mes 万界星空科技 生产管理 生产报工

Volcano社区新版本发布!7大功能全面增强队列能力与调度稳定性

华为云开发者联盟

Kubernetes 华为云 Volcano 华为云开发者联盟 企业号2024年5月PK榜

厦门大学站回顾|大模型时代的联邦学习

隐语SecretFlow

webstorm2024激活码永久版 webstorm2024下载安装 Mac/win

Rose

亚马逊云科技助力所思科技打造出海游戏爆款,保障全球百万玩家在线畅玩

Lily

autodesk maya 2025.1破解版(玛雅2025中文版) 下载

Rose

Console新特性演示

不卡科技

Vue 前端 控制台 admin 流媒体技术

生成式AI时代,亚马逊云科技如何助力企业全球化创新发展

Lily

Topogun 3 mac版:帮助您修改和/或重新创建数字 3D 模型的边缘流

Rose

媲美PS的修图软件 Pixelmator Pro for Mac v3.6.0中文直装版

Rose

初学者的终极SEO内容指南

九凌网络

Hype 4 Pro:无需代码,轻松创建交互式网页

Rose

PostgreSQL技术内幕(十六)如何写一个执行器算子?

酷克数据HashData

执行器

分布式任务调度内的 MySQL 分页查询优化

vivo互联网技术

ICP MySQL分页查询优化 主键分页查询执行过程

新鲜干货|「隐语城市行·成都站 x 蓉数大讲堂」硬核技术分享、多元场景实践、未来趋势洞察及前沿学术探秘

隐语SecretFlow

视觉特效制作解决方案 Autodesk Flame 2025 mac系统要求

Rose

MacDroid Pro,你的Android设备管理器,一键管理,高效便捷

Rose

解析高效分布式训练系统PERSIA:可用于训练百万亿参数的超大规模深度学习推荐模型_AI&大模型_G Chaithali_InfoQ精选文章