QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

PyTorch 2.1 正式发布,带来自动动态 Shape 支持和分布式训练增强

作者:Andrew Hoblitzell

  • 2023-11-14
    北京
  • 本文字数:1231 字

    阅读完需:约 4 分钟

大小:593.52K时长:03:22
PyTorch 2.1正式发布,带来自动动态Shape支持和分布式训练增强

最新版本的 PyTorch 带来了自动动态 shape 支持和分布式训练增强。PyTorch 2.1 在最近举行的 PyTorch 2023 大会 上正式发布,新版本引入了 ExecuTorch ,用于提升 PyTorch 在移动和边缘设备上的性能。此外,主题演讲还公布了 PyTorch 基金会的新成员以及 11 月份的 Docathon 活动。


PyTorch 2.1



torch.compile() 在许多 PyG 模型上表现出色。总体而言,我们看到了几乎 300% 的运行时改进。—— Matthias Fey(PyG 开发者)


PyTorch 2.1 的一个显著特性是 torch.compile 中的自动动态 shape 支持,可以在模型架构中使用动态输入形状。该功能打破了固定输入形状的限制,提供了更大的灵活性。


在分布式训练方面,通过 torch.distributed.checkpoint 引入了增强功能,可以在多个排名之间并行保存和加载训练任务来提高分布式训练效率。这一功能对于管理长时间运行的训练任务和确保更顺畅的训练流程来说至关重要。


PyTorch 2.1 还增加了对在 torch.compile 中调用 NumPy API 的支持,增强了 PyTorch 和 NumPy 之间的互操作性。这一集成有助于在各种设备上执行 NumPy 代码,使代码生成更高效。新版本还带来了性能方面的改进,包括 CPU 引导程序增强、AVX512 支持以及缩放点积注意机制的增强实现。此外,还引入了 torch.export 的原型版本,提供了一种捕获完整图的机制,启用基于 torch.export 的量化来减小模型大小,以及提升边缘设备和移动平台的推理速度。


ExecuTorch


引入 ExecuTorch 标志着 PyTorch 在移动和边缘设备上改进性能的重要进展。ExecuTorch 的一个显著特性是 Lightweight Operator Registry,是为管理各种 PyTorch 模型量身定制的。它简化了 Operator 的处理,而 Operator 是 PyTorch 模型确保最佳运行时性能的核心构建块。


新版本引入了在目标设备上分析和优化模型性能的设备模型分析功能。这种实时分析对于识别性能瓶颈并通过调整模型来提高效率和降低延迟来说至关重要,特别在各个领域的实时应用中,如增强现实、虚拟现实和物联网。


PyTorch 基金会迎来新成员



我们很高兴成为 PyTorch 基金会的创始成员,并期待与人工智能领域的其他领袖紧密合作来一起发展这个令人惊叹的创新社区。

——谷歌


PyTorch 基金会欢迎 华为Lightning AI 成为新的首席成员。华为的加入旨在优化 PyTorch 以发挥其 Ascend 计算平台的潜力,该平台以其在人工智能应用中的强大计算性能而闻名。


Lightning AI 是 PyTorch Lightning 的开发商,这是 PyTorch 的一个轻量级封装器,已经在代码结构化和可重用方面发挥了关键作用,简化了研究人员和开发人员的工作。Lightning AI 加入 PyTorch 基金会重在加强 PyTorch 生态系统的发展。


Docathon


PyTorch 社区组织了一个 Docathon,计划于 2023 年 11 月举行。这一举措旨在完善和扩展框架的文档,确保文档保持最新和对用户友好。希望更多地参与 PyTorch 2.1 的开发者们可以观看 PyTorch YouTube 频道 上的大会视频,或者查看 活动日程 以获取一些演讲者的信息。


原文链接

https://www.infoq.com/news/2023/10/pytorch21-at-pytorch-con-2023/

2023-11-14 08:005652

评论

发布
暂无评论
发现更多内容

DPDK简介和原理

天翼云开发者社区

DPDK

MobPush扩展业务功能设置

MobTech袤博科技

开发者 产品动态

RPA机器人流程自动化的5个必知关键点

八爪鱼采集器︱RPA机器人

RPA 自动化 RPAxAI

RPA技术:基本概念和应用场景的全面指南

八爪鱼采集器︱RPA机器人

RPA 自动化 RPAxAI

如何提高研发效能?思码逸 & 信通院告诉你

思码逸研发效能

团队管理 DevOps #研发效能

国产RPA软件的优势:企业数字化转型中的关键作用详解

八爪鱼采集器︱RPA机器人

RPA 自动化 RPAxAI

火山引擎VeDI实验平台助推企业量化决策能力升级

字节跳动数据平台

大数据 A/B 测试 对比实验 数字化增长

杭州百腾教育科技 TiDB 6.5 to 7.5 升级记录

TiDB 社区干货传送门

版本升级 7.x 实践

Percona Toolkit 神器全攻略(开发类)

GreatSQL

SDN网络技术在云计算中的应用

天翼云开发者社区

SDN网络

《 黑神话 · 悟空》视觉震撼背后的技术力量:如何用云桌面加速 CG 视觉创作 !

Finovy Cloud

游戏开发 游戏 黑神话悟空 黑神话

金融企业区域集中库的设计构想和测试验证

TiDB 社区干货传送门

高性能桌面管理系统助力实现国产化生态!

上海锐起科技

生成式AI已融入你的生活和工作了吗?

天津汇柏科技有限公司

人工智能 生成式AI 生成式 AI 应用

MobPush推送查询

MobTech袤博科技

Java 开发者 产品动态

利用API返回值实现商品信息的自动化更新

技术冰糖葫芦

API Explorer API 测试 API 策略 pinduoduo API

【喜讯】数业智能当选“广东省卫生信息网络协会”理事单位

心大陆多智能体

智能体 AI大模型 心理健康 数字心理

从Oracle到TiDB,全链路数据迁移平台核心能力和杭州银行迁移实践

TiDB 社区干货传送门

分布式数据库系统环境的“无感”升级

TiDB 社区干货传送门

这是一款轻量存储黑科技!

天翼云开发者社区

云计算 天翼云 轻量存储

RPA实施的四大阶段:一步步的详细指南

八爪鱼采集器︱RPA机器人

RPA 自动化 机器人 RPAxAI

离奇问题,网络故障恢复后,无法重连到数据库?

中原银行

Java TCP 容器云 HikariCP 网络故障

作业帮 & TiDB 7.5.x 使用经验

TiDB 社区干货传送门

7.x 实践

Arbitrum STIP 陷尴尬局面:8500 万美元支出仅换回 1500 万美元收入

TechubNews

中国电信公布2024年中期业绩!

天翼云开发者社区

云计算 中国电信

2024即刻职达人才生态合作大会于珠海横琴成功召开,共话数智时代人力资源新趋势

新消费日报

国家下达绿色转型目标!电子签章领域未来的发展趋势如何?

Geek_2a38d5

聊聊TiCDC

TiDB 社区干货传送门

7.x 实践

亿玛科技:TiDB 6.1.5 升级到 7.5.1 经验分享

TiDB 社区干货传送门

版本升级 7.x 实践

豆包模型能力大幅提升,中国版Vision Pro正式发布!今年大模型市场份额第一还会是百度吗?|AI日报

可信AI进展

人工智能

PyTorch 2.1正式发布,带来自动动态Shape支持和分布式训练增强_大数据_InfoQ精选文章