写点什么

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架

  • 2019-11-05
  • 本文字数:1592 字

    阅读完需:约 5 分钟

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架

今天,AWS 很高兴地宣布 Amazon EMR 将支持 Apache MXNet 和新一代 GPU 实例类型,让您可以在进行机器学习工作流程和大数据处理的同时运行分布式深度神经网络。此外,您还可以在采用 GPU 硬件的 EMR 群集上安装并运行自定义深度学习库。通过使用深度学习框架,您可以使用新工具包来处理多种使用案例,包括无人驾驶车辆、人工智能、个性化医疗和计算机视觉。


Amazon EMR 提供一个 Hadoop 托管框架,可以让您轻松、快速且经济高效地使用 Apache Spark、Apache Hive、PrestoApache HBase 和 Apache Flink 等框架处理 Amazon S3 中的大量数据。您可以低成本安全、高效地处理大量大数据使用案例,包括日志分析、Web 索引、数据转换 (ETL)、财务分析、科学模拟、实时处理和生物信息。


多年来,EMR 一直致力于帮助您运行可扩展的机器学习工作负载。2013 年,我们增加了对 Apache Mahout 的支持,以帮助您使用 Apache Hadoop MapReduce 来运行分布式机器学习工作负载。2014 年,客户开始利用 Apache Spark (我们在 2015 年增加了官方支持),以便利用 Spark ML 中提供的各种开源机器学习库来轻松构建可扩展的机器学习管道。


在过去 2 年内,我们还增加了对 Apache Zeppelin 笔记本、易于安装的 Jupyter 笔记本以及适用于交互式 Spark 工作负载的 Apache Livy 的支持,从而让数据科学家可以轻松快速地开发、培训以及将机器学习模型投入生产。EMR 的按秒计费方式以及使用 Amazon EC2 竞价型实例可实现的高达 80% 的成本节约,使您可以低成本轻松运行大规模的机器学习管道。


现在,您可以更轻松地在 Amazon EMR 上实施深度学习。我们增加了对 Apache MXNet (0.12.0) (一种可扩展的深度学习框架)、Amazon EC2 P3P2 实例、EC2 计算优化型 GPU 实例的支持,并预先加载了所需的 GPU 驱动程序。现在借助最新的 GPU 硬件,您只需单击几下即可快速轻松地创建适用于分布式培训的可扩展式安全群集。此外,您还可以安装并使用 BigDL 或 CaffeOnSpark 等自定义深度学习库,方法是在自定义 Amazon Linux AMI 上预加载这些库或使用引导操作来自定义群集。此外,EMR 将很快增加对 TensorFlow (另一个热门的深度学习框架) 的支持。


借助 EMR,您可以在开发工作的数据探索和预处理阶段轻松开发和培训深度学习模型。首先,您可以轻松且经济高效地使用各种开源大数据框架 (包括 Apache Spark、Apache Hadoop 和 Apache Hive) 来探索和处理 S3 中的大量数据集。


其次,除了使用 S3 或群集上 HDFS 中存储的预处理数据来开发、培训和运行深度学习模型以外,您还可以使用 MXNet 和 Spark 预测或执行推理。您将按秒付费,并且可以设置自已愿意为 EC2 竞价型实例支付的最高价,还可以使用 Auto Scaling。然后,您可以在完成工作负载后关闭群集并停止付费,从而进一步降低实验和生产的成本。


在 EMR 控制台中,您只需单击几下即可使用 Spark、MXNet、Ganglia 监控和 Zeppelin 笔记本快速创建一个拥有一到数千个节点的 EMR 群集。



启动群集后,即可打开 Zeppelin 笔记本并开始使用 Spark 和 MXNet 探索数据和构建模型。



借助 EMR,您可以通过以下任一操作轻松监控和调试应用程序:



我们计划在不久的将来发布更多文章,并提供基于 EMR 利用 MXNet 和其他框架进行大规模深度学习的示例和最佳实践。有关如何入门的更多信息,请参阅 Amazon EMR 文档


作者介绍:



Jonathan Fritz 是 Amazon EMR 的首席产品经理。他领导团队的产品管理,并致力于使针对海量数据的分析和机器学习更加轻松。他在闲暇时喜欢去陌生城市旅行、参加现场音乐会和进行户外探索。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/run-deep-learning-frameworks-with-gpu-instance-types-on-amazon-emr/


2019-11-05 08:00836

评论

发布
暂无评论
发现更多内容

融云:让银行轻松上“云”

融云 RongCloud

A tour of gRPC:01 - 基础理论

BUG侦探

gRPC RPC buffer protocol

Java基础:集合框架之Map

百思不得小赵

map Java’ 6月月更

JDK动态代理为什么必须要基于接口?

码农参上

JAVA开发 动态代理 底层知识

如何让销售管理更高效?

优秀

销售管理

数字经济时代文化消费新特征

CECBC

区块链为化解信任危机带来新契机

CECBC

FastApi+Vue+LayUI实现前后端分离

Python研究所

6月月更

ElasticSearch第二弹之分片原理

阿Q说代码

ES shard replica

理论+案例,带你掌握Angular依赖注入模式的应用

华为云开发者联盟

程序员 前端 华为云

Java—NIO

武师叔

6月月更

SaaS 云工具,产业互联网下的变革利器

小炮

港股多支个股表现活跃,引发投资者对港股市场回暖猜想与关注

E科讯

Go语言Redis API基本功能实践

FunTester

NLP 论文领读|改善意图识别的语义表示:有监督预训练中的各向同性正则化方法

澜舟孟子开源社区

人工智能 自然语言处理 深度学习 预训练模型

腾讯的技术牛人们,是如何完成全面上云这件事儿的?

科技热闻

中国移动应用出海发展天地宽

BeeWorks

深入理解和把握数字经济的基本特征

CECBC

你了解shiro吗?手把手教你集成shiro

阿Q说代码

springboot 鉴权 shiro 身份验证

零信任安全模型-下一代网络安全架构

领创集团Advance Intelligence Group

架构 网络安全 零信任

泛型的类型擦除后,fastjson反序列化时如何还原?

码农参上

泛型 底层知识 Java 开发

20省市公布元宇宙路线图

CECBC

提高效率 Or 增加成本,开发人员应如何理解结对编程?

云智慧AIOps社区

团队协作 开发技巧 结对编程 开发技能 编程技巧

创新实力再获认可!腾讯安全MSS获2022年度云原生安全守护先锋

腾讯安全云鼎实验室

云原生 云安全

观测云更新|观测云帮助文档全新上线;新增 Profile 可观测新增 Profile 可观测;新增 Deployment 网络详情及网络分布等

观测云

Gartner:如何在中国成功应用多云模式

BeeWorks

再突破!阿里云进入Gartner云AI开发者服务挑战者象限

阿里云大数据AI技术

人工智能 机器学习 AI开发软件

阻塞、非阻塞、多路复用、同步、异步、BIO、NIO、AIO 一文搞定

C++后台开发

网络编程 linux开发 epoll IO多路复用 C++开发

如何实现一套容器(C语言版)1

祖维

c 容器 泛型 迭代器

2023年广州美博会时间地点详情

Geek_0b38bb

美博会 2023年广州美博会 春季广州美博会 广州春季美博会

Gartner最新报告:低代码应用开发平台在国内的发展

明道云

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架_其他_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章