写点什么

微软机器学习最新进展

  • 2021-05-18
  • 本文字数:2366 字

    阅读完需:约 8 分钟

微软机器学习最新进展

本文是微软 VB 实验室/英伟达 GTC 洞察力系列文章的一部分。


随着人工智能和机器学习技术的飞速发展,微软在今年英伟达GTC活动中的存在感一如既往地强势,这并不是什么稀奇事。


微软的公司代表在多场会议上分享了他们最新的机器学习成果,包括规模推理、在混合环境中训练机器学习模型的新能力,以及首次亮相的、可以帮助数据科学家们更高效地分析和排除 ML 性能问题的新型 PyTorch Profiler。


微软的这三项创新成果均结合了微软自己的科技(如 Azure),开源工具与英伟达 GPU 硬件科技。

机器推理规模化


关于数据收集和机器学习模型训练的成本,人们的讨论很热烈。的确,这些计算的开销不是小数目,尤其是对于一些大型项目来说,高达数百万美元的计算花费并不少见。但在这些关于 AI 花销的讨论中,机器推理,一个基本可以算作是训练后 ML 模型的应用,却甚少被提及。随着深度学习模型越来越复杂,即使是在机器进行推理时,也涉及大量的数学表达式和浮点运算。


机器推理是人工智能中非常有趣的分支之一,因为它是微软 Azure 等团队为用户提供切实体验的阶梯。其中一个例子便是,Azure 团队与英伟达合作,优化改进微软 Word 中由AI助力的语法检查器。这项任务的目的不是为了训练模型以提供更优秀的语法检查,而是为了增强实际执行语法检查的推理引擎。


考虑到 Word 庞大的用户群体,该语法检查器需要进行数十亿次的推理,是属于计算密集型的任务。这就带来了两个互相关联的难题:一是技术问题,二则是财务问题。如果想要降低成本,我们就需要更加强大且高效的技术。


英伟达开发的Triton推理服务器,可以充分利用其 GPU 的运算能力,供给Azure机器学习模型进行推理。在二者的结合下,工作负载得到了优化,运行也更加流畅。该推理服务器支持所有常用框架,包括 PyTorch、TensorFlow、MXNet 以及ONNX


ONNX Runtime作为一款高性能推理引擎,利用多种硬件加速器以达到在不同硬件配置上的最佳性能表现。在微软与英伟达的紧密合作下,ONNX Runtime 集成了用于在英伟达 GPU 上进行模型加速的 TensorRT 加速器。ONNX Runtime 也被用做 Triton 服务器的后端之一。


Azure 机器学习是一个托管的平台即服务平台,为用户做大部分的管理工作。这涉及到规模问题,这也是许多人工智能项目陷入困境甚至失败的关键所在,也是技术问题有时会与财务问题发生冲突的地方,而 Triton 和 Azure 机器学习就是为了解决这一痛点而建立的。

Kubernetes:让跨企业内部/混合与多云训练 ML 模型变得更容易


混合训练环境的搭建并非易事,而扩展资源密集型的 ML 模型训练规模的需求则会使问题变得更加棘手。灵活、敏捷以及治理都是至关重要的需求。


Azure Arc基础设施允许拥有 Kubernetes 资源的客户在“单一虚拟管理平台”上应用策略,执行安全监控等一系列操作。Azure 机器学习与 Kubernetes 的集成通过扩展 Kubernetes API 的形式,搭建在 Azure Arc 的基础设施上。除此之外,通过原生 Kubernetes 代码概念(如操作符和 CI/CDs)以及运行在集群之上的“代理”,客户得以使用 Azuer 机器学习进行 ML 模型训练。


无论用户混合使用了什么集群,Azure 机器学习都让他们可以轻松地切换目标。Azure 机器学习的 Kubernetes 本地代理支持的框架包括 SciKit、TensorFlow、PyTorch 和 MPI。


本地代理也让这套系统的运行更加顺滑。它免去了数据科学家们学习 Kubernetes 的需要,也让了解 Kubernetes 的 IT 操作员免去了学习机器学习的功夫。

PyTorch Profiler


全新的 PyTorch Profiler 是一款由微软与 Facebook 合作开发的开源工具,为常用 ML 框架 PyTorch 提供 GPU 的性能调试功能。这款故障排除工具有望帮助数据科学家们和开发者们以更高效的方式分析和排查大规模深度学习模型的性能问题,最大限度地提高昂贵的计算资源(硬件)的使用率。


在机器学习中,分析(profiling)负责检查模型的性能。这与模型预测的准确性不同,性能在这里指的是模型对计算机硬件资源的使用效率与使用率。


新型的 Profiler 以 PyTorch 原有的 autograd 分析器为基础构建,通过高保真的 GPU 分析引擎的加强,使用户能够捕捉并关联有关 PyTorch 操作的信息和 GPU 硬件级的详细信息。


PyTorch Profiler 的配置和使用都不需要花费太多精力。它完完全全是集成的产物,结合了全新 Profiler 的 profile 模块、全新 libkineto 库,以及 PyTorch Tensorboard Profiler 的插件。你在 Visual StudioCode 将这一切全部可视化。它不仅适合初学者,也适合经验丰富的从业者,它的应用横跨研究到生产的各种用例,它是对英伟达更先进的NSight的补充。


PyTorch Profiler 的主要功能之一是它的时间线追踪。简单来说,它可以显示 CPU 与 GPU 的活动,让用户可以放大并观察每个活动的具体情况。在这里,你可以看到所有典型的 PyTorch 操作符,以及更高级的 Python 模型和 GPU 时间线。


用户在 PyTorch Profiler 的可视化窗口中观察 GPU 利用率的情况时,可能会注意到一些小的“缺口”。这些小缺口代表着 GPU 可能会有约 40 毫秒的空闲,而用户会希望优化这些空闲时间,让 GPU 有事可做。PyTorch Profiler 可以让用户更深入地了解 GPU 的运作,看看有哪些依赖关系,以及在这个空闲间隙之前有哪些事件。如果将问题追溯到 CPU,用户可能会发现它才是瓶颈所在,而 GPU 则干坐在那里等待系统的另一部分读取完它需要的数据。


在这样微观的层面上检测 GPU 效率或许看起来微不足道,但如果一个步骤只需要 150 毫秒,那么此时 GPU 中的 40 毫秒空闲将会占据相当大的比例。再考虑一下,如果一个项目一次运行需要数小时,甚至是数周时,那么斤斤计较每一步中的损失就变得必要了,因为那意味着你在计算周期中付出的金钱变得低效了。


PyTorch Profiler 同时还提供建议功能,用于指导模型构建者们解决常见的问题和可能遇见的情况。在本文关于 GPU 利用率的例子中,你要做的可能只是调整 DataLoader 的 worker 数量,以确保 GPU 能够保持忙碌状态。


原文链接:


https://venturebeat.com/2021/04/22/microsoft-details-the-latest-developments-in-machine-learning-at-gtc-21/

2021-05-18 15:001602
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 531.7 次阅读, 收获喜欢 1975 次。

关注

评论

发布
暂无评论
发现更多内容

AI未来 - 李开复 - 未来8成的工作受影响 - 读后感-John 易筋 ARTS 打卡 Week 52

John(易筋)

ARTS 打卡计划

通用时区:你应该知道的数据库时区知识

华为云开发者联盟

数据库 时区 GaussDB(DWS) 通用时区 夏令时

一份283页pdf,五大核心内容,熬夜“啃完”,竟拿下了阿里offer

Java 程序员 架构 面试

和12岁小同志搞创客开发:两个控制器之间如何实现通信?

不脱发的程序猿

DIY 单片机 创客 Arduino

5月新品速递:EdgeBoard车型识别软硬一体方案,轻松实现智慧车辆管理

百度大脑

5月盘点 上新

数仓分层架构如何设计?

奔向架构师

数据库 数据仓库 数据架构

双指针法

后台服务器开发

c++ 双指针 LeetCode

架构实战营 模块六:学习总结

👈

架构实战营

Rust从0到1-泛型-生命周期

rust 泛型 生命周期 generic lifetimes

Java高级架构师最新一千道大厂面试真题文字+视频+脑图解析

Java架构追梦

深度 | 字节跳动微服务架构体系演进

字节跳动 微服务 云原生 Service Mesh 服务网格 火山引擎

高寿命NVMe SSD应用场景探讨

怀瑾握瑜

区块链 数据库 云计算 SSD 虚拟货币

2021年,想要成为年薪百万的Java架构师需要掌握哪些技术?

Java架构师迁哥

大数据分析与运营(三)

soho

微警务系统搭建,智慧派出所平台建设解决方案

低代码助力企业生产管理8大招式,你学废(hui)了吗?

优秀

低代码

体验为先,博睿数据打造以用户会话为中心的监测体系

博睿数据

博睿数据 数据链DNA DEM

【签约计划】百位签约创作者名单公布

InfoQ写作社区官方

签约计划

「网络安全入门」什么是网络安全

网络安全学海

HTAP | MySQL 到 ClickHouse 的高速公路

RadonDB

MySQL Clickhouse Xenon

问题定位 | XtraBackup 8.0 数据重建避坑事件始末

RadonDB

MySQL Xenon XtraBackup

开发5年!三面字节,成功拿到27k*17offer,原来也没那么难

Java 程序员 架构 面试

新版发布|ShardingSphere 5.0.0-beta 来了!

SphereEx

ShardingSphere

[译] R8 优化:类常量操作

Antway

6月日更

从零开始学习3D可视化之拾取

ThingJS数字孪生引擎

大前端 可视化 3D 3D可视化 数字孪生

GitHub 近两万 Star,无需编码,可一键生成前后端代码,这个开源项目有点强!

程序员生活志

架构实战营 模块六:课后作业

👈

架构实战营

【小技巧】Google浏览器设置之Tab折叠分组

恒生LIGHT云社区

推荐 浏览器书签 谷歌 工具分享

字节跳动亿级视频处理系统高可用架构实践

火山引擎开发者社区

架构 后端 音视频

Flink Job 概览

Alex🐒

flink 翻译 flink1.13

自从有了这个工具,一键代码迁移不在话下

华为云开发者联盟

代码迁移 鲲鹏DevKit 汇编翻译 汇编语言 Kunpeng

微软机器学习最新进展_AI&大模型_VB Staff_InfoQ精选文章