写点什么

PyTorch 2.1 正式发布,带来自动动态 Shape 支持和分布式训练增强

作者:Andrew Hoblitzell

  • 2023-11-14
    北京
  • 本文字数:1231 字

    阅读完需:约 4 分钟

大小:593.52K时长:03:22
PyTorch 2.1正式发布,带来自动动态Shape支持和分布式训练增强

最新版本的 PyTorch 带来了自动动态 shape 支持和分布式训练增强。PyTorch 2.1 在最近举行的 PyTorch 2023 大会 上正式发布,新版本引入了 ExecuTorch ,用于提升 PyTorch 在移动和边缘设备上的性能。此外,主题演讲还公布了 PyTorch 基金会的新成员以及 11 月份的 Docathon 活动。


PyTorch 2.1



torch.compile() 在许多 PyG 模型上表现出色。总体而言,我们看到了几乎 300% 的运行时改进。—— Matthias Fey(PyG 开发者)


PyTorch 2.1 的一个显著特性是 torch.compile 中的自动动态 shape 支持,可以在模型架构中使用动态输入形状。该功能打破了固定输入形状的限制,提供了更大的灵活性。


在分布式训练方面,通过 torch.distributed.checkpoint 引入了增强功能,可以在多个排名之间并行保存和加载训练任务来提高分布式训练效率。这一功能对于管理长时间运行的训练任务和确保更顺畅的训练流程来说至关重要。


PyTorch 2.1 还增加了对在 torch.compile 中调用 NumPy API 的支持,增强了 PyTorch 和 NumPy 之间的互操作性。这一集成有助于在各种设备上执行 NumPy 代码,使代码生成更高效。新版本还带来了性能方面的改进,包括 CPU 引导程序增强、AVX512 支持以及缩放点积注意机制的增强实现。此外,还引入了 torch.export 的原型版本,提供了一种捕获完整图的机制,启用基于 torch.export 的量化来减小模型大小,以及提升边缘设备和移动平台的推理速度。


ExecuTorch


引入 ExecuTorch 标志着 PyTorch 在移动和边缘设备上改进性能的重要进展。ExecuTorch 的一个显著特性是 Lightweight Operator Registry,是为管理各种 PyTorch 模型量身定制的。它简化了 Operator 的处理,而 Operator 是 PyTorch 模型确保最佳运行时性能的核心构建块。


新版本引入了在目标设备上分析和优化模型性能的设备模型分析功能。这种实时分析对于识别性能瓶颈并通过调整模型来提高效率和降低延迟来说至关重要,特别在各个领域的实时应用中,如增强现实、虚拟现实和物联网。


PyTorch 基金会迎来新成员



我们很高兴成为 PyTorch 基金会的创始成员,并期待与人工智能领域的其他领袖紧密合作来一起发展这个令人惊叹的创新社区。

——谷歌


PyTorch 基金会欢迎 华为Lightning AI 成为新的首席成员。华为的加入旨在优化 PyTorch 以发挥其 Ascend 计算平台的潜力,该平台以其在人工智能应用中的强大计算性能而闻名。


Lightning AI 是 PyTorch Lightning 的开发商,这是 PyTorch 的一个轻量级封装器,已经在代码结构化和可重用方面发挥了关键作用,简化了研究人员和开发人员的工作。Lightning AI 加入 PyTorch 基金会重在加强 PyTorch 生态系统的发展。


Docathon


PyTorch 社区组织了一个 Docathon,计划于 2023 年 11 月举行。这一举措旨在完善和扩展框架的文档,确保文档保持最新和对用户友好。希望更多地参与 PyTorch 2.1 的开发者们可以观看 PyTorch YouTube 频道 上的大会视频,或者查看 活动日程 以获取一些演讲者的信息。


原文链接

https://www.infoq.com/news/2023/10/pytorch21-at-pytorch-con-2023/

2023-11-14 08:005703

评论

发布
暂无评论
发现更多内容

1周开发上线“中医舌诊”元服务,5天吸引超2万付费用户

最新动态

应用架构的演进:亚马逊的微服务实践

亚马逊云科技 (Amazon Web Services)

Serverless DevOps 微服务

DEFI/DApp/DAO/IDO/LP子母币/单双币/机枪池流动性代币质押项目挖矿系统开发

l8l259l3365

支持私有化部署的WorkPlus,助您构建定制化的即时通讯平台

BeeWorks

企业即时通讯解决方案,WorkPlus助力高效沟通与协作

BeeWorks

企业即时通讯

一步教会你如何获取1688商品详情

Noah

API 开发

Mate 60系列搭载方舟引擎,华为游戏中心解锁飞驰游戏体验

最新动态

软件测试/测试开发丨利用人工智能自动找Bug

测试人

人工智能 程序员 软件测试 bug ChatGPT

根据人类反馈进行强化学习的5大关键步骤

澳鹏Appen

大模型 数据训练 生成式AI LLM RLHF

SQL还是NoSQL?架构师必备选型技能

树上有只程序猿

nosql sql 业务

软件测试/测试开发丨探索AI与测试报告的完美结合,提升工作效率

测试人

人工智能 程序员 软件测试 ChatGPT

代码检查过程中为什么需要涉及到编译呢?

华为云开发者联盟

开发 华为云 华为云开发者联盟 代码检查 企业号9月PK榜

龙蜥社区与您相约 2023 KubeCon

OpenAnolis小助手

开源 容器 云原生 龙蜥社区 kata

2000字说清音视频在社交娱乐场景中的应用!

X2Rtc

音视频 RTC 社交娱乐 融合通信

JDK的配置验证

小齐写代码

四问复合索引,让你的数据查询速度飞起

华为云开发者联盟

后端 华为云 图数据库 华为云开发者联盟 企业号9月PK榜

用智能文字识别技术赋能古彝文数字化之路

dvlinker

人工智能 深度学习 合合信息 古彝文 智能文字识别技术

一文了解企业如何实现文件自动化实时同步

镭速

文件同步

微软考虑引入小型核反应堆;诺基亚推出“网络即代码”平台丨RTE开发者日报 Vol.58

声网

优化模型之标注错误篇

矩视智能

深度学习 工业机器视觉

适合企业的跨隔离网文件摆渡的四种方式及优缺点

镭速

跨网文件交换 跨隔离网文件摆渡

聚焦华为全联接大会:和鲸科技与华为携手助推交叉学科应用型数据科学人才培养

ModelWhale

华为 人才培养 数据科学 高等教育 交叉学科

Sovit2D组态设计 Web Scada烟气脱硫工艺流程

2D3D前端可视化开发

物联网 组态软件 工业控制 工业自动化 烟气脱硫

Java第一个程序——Hello,World!

小齐写代码

亮相数字科技出海峰会,火山引擎边缘云助力数字化出海“加速度”

火山引擎边缘云

CDN 加速 火山引擎 内容分发 火山引擎边缘计算

低功耗引擎Cliptrix有什么价值

Onegun

物联网 IoT

腾讯云数据库再获顶会认可,论文入选VLDB2023

极客天地

PyTorch 2.1正式发布,带来自动动态Shape支持和分布式训练增强_大数据_InfoQ精选文章