AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

PyTorch 2.1 正式发布,带来自动动态 Shape 支持和分布式训练增强

作者:Andrew Hoblitzell

  • 2023-11-14
    北京
  • 本文字数:1231 字

    阅读完需:约 4 分钟

大小:593.52K时长:03:22
PyTorch 2.1正式发布,带来自动动态Shape支持和分布式训练增强

最新版本的 PyTorch 带来了自动动态 shape 支持和分布式训练增强。PyTorch 2.1 在最近举行的 PyTorch 2023 大会 上正式发布,新版本引入了 ExecuTorch ,用于提升 PyTorch 在移动和边缘设备上的性能。此外,主题演讲还公布了 PyTorch 基金会的新成员以及 11 月份的 Docathon 活动。


PyTorch 2.1



torch.compile() 在许多 PyG 模型上表现出色。总体而言,我们看到了几乎 300% 的运行时改进。—— Matthias Fey(PyG 开发者)


PyTorch 2.1 的一个显著特性是 torch.compile 中的自动动态 shape 支持,可以在模型架构中使用动态输入形状。该功能打破了固定输入形状的限制,提供了更大的灵活性。


在分布式训练方面,通过 torch.distributed.checkpoint 引入了增强功能,可以在多个排名之间并行保存和加载训练任务来提高分布式训练效率。这一功能对于管理长时间运行的训练任务和确保更顺畅的训练流程来说至关重要。


PyTorch 2.1 还增加了对在 torch.compile 中调用 NumPy API 的支持,增强了 PyTorch 和 NumPy 之间的互操作性。这一集成有助于在各种设备上执行 NumPy 代码,使代码生成更高效。新版本还带来了性能方面的改进,包括 CPU 引导程序增强、AVX512 支持以及缩放点积注意机制的增强实现。此外,还引入了 torch.export 的原型版本,提供了一种捕获完整图的机制,启用基于 torch.export 的量化来减小模型大小,以及提升边缘设备和移动平台的推理速度。


ExecuTorch


引入 ExecuTorch 标志着 PyTorch 在移动和边缘设备上改进性能的重要进展。ExecuTorch 的一个显著特性是 Lightweight Operator Registry,是为管理各种 PyTorch 模型量身定制的。它简化了 Operator 的处理,而 Operator 是 PyTorch 模型确保最佳运行时性能的核心构建块。


新版本引入了在目标设备上分析和优化模型性能的设备模型分析功能。这种实时分析对于识别性能瓶颈并通过调整模型来提高效率和降低延迟来说至关重要,特别在各个领域的实时应用中,如增强现实、虚拟现实和物联网。


PyTorch 基金会迎来新成员



我们很高兴成为 PyTorch 基金会的创始成员,并期待与人工智能领域的其他领袖紧密合作来一起发展这个令人惊叹的创新社区。

——谷歌


PyTorch 基金会欢迎 华为Lightning AI 成为新的首席成员。华为的加入旨在优化 PyTorch 以发挥其 Ascend 计算平台的潜力,该平台以其在人工智能应用中的强大计算性能而闻名。


Lightning AI 是 PyTorch Lightning 的开发商,这是 PyTorch 的一个轻量级封装器,已经在代码结构化和可重用方面发挥了关键作用,简化了研究人员和开发人员的工作。Lightning AI 加入 PyTorch 基金会重在加强 PyTorch 生态系统的发展。


Docathon


PyTorch 社区组织了一个 Docathon,计划于 2023 年 11 月举行。这一举措旨在完善和扩展框架的文档,确保文档保持最新和对用户友好。希望更多地参与 PyTorch 2.1 的开发者们可以观看 PyTorch YouTube 频道 上的大会视频,或者查看 活动日程 以获取一些演讲者的信息。


原文链接

https://www.infoq.com/news/2023/10/pytorch21-at-pytorch-con-2023/

2023-11-14 08:005682

评论

发布
暂无评论
发现更多内容

安装Android系统 missing operating system

mengxn

android

TarsBenchmark | 服务性能压测利器

TARS基金会

微服务 压力测试 TARS

redis持久化怎么选?成年人从来不做选择...

moon聊技术

热情空前,家长纷纷变身“寒假规划师”,如何抓住这波热潮?

ZEGO即构

AI 在线教育 在线课堂

阿里架构师深入讲解Android开发!教你一种更清晰的Android架构!BAT大厂面试总结

欢喜学安卓

android 程序员 面试 移动开发

从根上理解高性能、高并发(五):深入操作系统,理解高并发中的协程

JackJiang

网络编程 高并发 协程 高性能 即时通讯

《我想进大厂》之分布式事务篇

艾小仙

Java 面试 后端

阿里架构师经验分享!Android面试知识点总结宝典助你通关!顺利通过阿里Android岗面试

欢喜学安卓

android 程序员 面试 移动开发

Java 程序经验小结:返回零长度的数组或集合,而不是null

后台技术汇

28天写作

Soul网关源码阅读番外篇(一) HTTP参数请求错误

Java 源码阅读 网关

我所认为的产品经理能力模型

day day up

WebRTC 的现状和未来:专访 W3C WebRTC Chair Bernard Aboba

阿里云CloudImagine

阿里云 WebRTC 视频云

QA为什么转换角色

BY林子

软件测试 QA 职业发展

惊喜来袭!253页全彩免费电子书《Python 编程参考》正式上线发布

穿甲兵

Python redis 程序设计 Go 语言

盘点2020 | 百度AI的2020

百度大脑

盘点2020

基于gRPC的注册发现与负载均衡的原理和实战

万俊峰Kevin

微服务 go-zero Go 语言

是找茬?还是装B?阿里面试每轮必问的“Spring Boot”意义何在?

比伯

Java 编程 架构 面试 计算机

怎么提升写代码的能力

阿里巴巴云原生

程序员 个人成长 方法论 云原生 自我思考

案例集锦|科技赋能,华为云GaussDB助千行百业数字化转型

华为云开发者联盟

数据库 华为云 企业应用

Kubernetes安装篇(上):基于Minikube方式部署本地环境

xcbeyond

Kubernetes 安装 minikube 28天写作 Kubernetes从入门到精通

架构师 3 期 3 班 -week8- 作业

zbest

作业 week8

SpringCloud 从入门到精通 12---Nacos配置中心

Felix

dubbo-go 白话文 | 从零搭建 dubbogo 和 dubbo 的简单用例

阿里巴巴云原生

Java 云原生 dubbo 中间件 dubbogo

COCO聊天挖矿系统开发|COCO聊天挖矿软件APP开发

系统开发

2020中国ToB独角兽:估值逆势起飞,寡头效应加剧

ToB行业头条

iOS音视频--视频合集

程序员 音视频 OpenGL ES GPUImage Metal

使用Apollo升级一下yml文件管理和发布

Sky彬

springboo

【有奖调研】中国人工智能开发者调研

百度大脑

阿里巴巴2021年最新开源十亿级Java高并发系统设计手册

Java架构追梦

Java 阿里巴巴 架构 并发 系统架构设计手册

云原生 DevOps 的 5 步升级路径

阿里巴巴云原生

Serverless 容器 DevOps 微服务 云原生

新年Flag 中奖名单公布|如何科学的从55人中随机选出11个中奖名额

InfoQ写作社区官方

话题讨论 热门活动

PyTorch 2.1正式发布,带来自动动态Shape支持和分布式训练增强_大数据_InfoQ精选文章