QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架

  • 2019-11-05
  • 本文字数:1592 字

    阅读完需:约 5 分钟

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架

今天,AWS 很高兴地宣布 Amazon EMR 将支持 Apache MXNet 和新一代 GPU 实例类型,让您可以在进行机器学习工作流程和大数据处理的同时运行分布式深度神经网络。此外,您还可以在采用 GPU 硬件的 EMR 群集上安装并运行自定义深度学习库。通过使用深度学习框架,您可以使用新工具包来处理多种使用案例,包括无人驾驶车辆、人工智能、个性化医疗和计算机视觉。


Amazon EMR 提供一个 Hadoop 托管框架,可以让您轻松、快速且经济高效地使用 Apache Spark、Apache Hive、PrestoApache HBase 和 Apache Flink 等框架处理 Amazon S3 中的大量数据。您可以低成本安全、高效地处理大量大数据使用案例,包括日志分析、Web 索引、数据转换 (ETL)、财务分析、科学模拟、实时处理和生物信息。


多年来,EMR 一直致力于帮助您运行可扩展的机器学习工作负载。2013 年,我们增加了对 Apache Mahout 的支持,以帮助您使用 Apache Hadoop MapReduce 来运行分布式机器学习工作负载。2014 年,客户开始利用 Apache Spark (我们在 2015 年增加了官方支持),以便利用 Spark ML 中提供的各种开源机器学习库来轻松构建可扩展的机器学习管道。


在过去 2 年内,我们还增加了对 Apache Zeppelin 笔记本、易于安装的 Jupyter 笔记本以及适用于交互式 Spark 工作负载的 Apache Livy 的支持,从而让数据科学家可以轻松快速地开发、培训以及将机器学习模型投入生产。EMR 的按秒计费方式以及使用 Amazon EC2 竞价型实例可实现的高达 80% 的成本节约,使您可以低成本轻松运行大规模的机器学习管道。


现在,您可以更轻松地在 Amazon EMR 上实施深度学习。我们增加了对 Apache MXNet (0.12.0) (一种可扩展的深度学习框架)、Amazon EC2 P3P2 实例、EC2 计算优化型 GPU 实例的支持,并预先加载了所需的 GPU 驱动程序。现在借助最新的 GPU 硬件,您只需单击几下即可快速轻松地创建适用于分布式培训的可扩展式安全群集。此外,您还可以安装并使用 BigDL 或 CaffeOnSpark 等自定义深度学习库,方法是在自定义 Amazon Linux AMI 上预加载这些库或使用引导操作来自定义群集。此外,EMR 将很快增加对 TensorFlow (另一个热门的深度学习框架) 的支持。


借助 EMR,您可以在开发工作的数据探索和预处理阶段轻松开发和培训深度学习模型。首先,您可以轻松且经济高效地使用各种开源大数据框架 (包括 Apache Spark、Apache Hadoop 和 Apache Hive) 来探索和处理 S3 中的大量数据集。


其次,除了使用 S3 或群集上 HDFS 中存储的预处理数据来开发、培训和运行深度学习模型以外,您还可以使用 MXNet 和 Spark 预测或执行推理。您将按秒付费,并且可以设置自已愿意为 EC2 竞价型实例支付的最高价,还可以使用 Auto Scaling。然后,您可以在完成工作负载后关闭群集并停止付费,从而进一步降低实验和生产的成本。


在 EMR 控制台中,您只需单击几下即可使用 Spark、MXNet、Ganglia 监控和 Zeppelin 笔记本快速创建一个拥有一到数千个节点的 EMR 群集。



启动群集后,即可打开 Zeppelin 笔记本并开始使用 Spark 和 MXNet 探索数据和构建模型。



借助 EMR,您可以通过以下任一操作轻松监控和调试应用程序:



我们计划在不久的将来发布更多文章,并提供基于 EMR 利用 MXNet 和其他框架进行大规模深度学习的示例和最佳实践。有关如何入门的更多信息,请参阅 Amazon EMR 文档


作者介绍:



Jonathan Fritz 是 Amazon EMR 的首席产品经理。他领导团队的产品管理,并致力于使针对海量数据的分析和机器学习更加轻松。他在闲暇时喜欢去陌生城市旅行、参加现场音乐会和进行户外探索。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/run-deep-learning-frameworks-with-gpu-instance-types-on-amazon-emr/


2019-11-05 08:00873

评论

发布
暂无评论
发现更多内容

云桌面如何深度解决传统办公场景应用难题?

上海锐起科技

深入京东API世界:商品详情返回值的秘密

技术冰糖葫芦

API Explorer API 测试 API 策略 pinduoduo API

京东平台内容合规的技术与挑战

京东零售技术

合规 内容合规

袋鼠云《数据资产管理白皮书》重磅发布,提供数据资产管理新思路,激发数据资产新动能(附下载)

袋鼠云数栈

TimeWheel 算法介绍及在应用上的探索

vivo互联网技术

dubbo TimeWheel 时间轮模型

LED广告屏深受欢迎的原因分析

Dylan

广告 科技 LED display LED显示屏 零售电商市场

智能终端密码模块的三重防护

芯盾时代

信息安全 终端安全 密码

核心技术揭秘:AI、低代码与定制开发的三重奏,如何应对复杂业务需求

天津汇柏科技有限公司

低代码平台 软件开发定制 AI 人工智能

开源活动预告|抖音集团专家聚焦电商、PB级实时场景带来数据技术分享

字节跳动数据平台

mac非常好用的视频下载软件:Downie 4 for Mac 直装版

你的猪会飞吗

Downie 4 Mac版 Downie 4下载 Downie 4 for mac

MySQL 延迟从库介绍

Simon

MySQL MySQL主从复制

火山引擎数智平台:A/B测试个性化配置能力发布,拓展多场景策略最优解

字节跳动数据平台

大数据 A/B测试 对比实验 数字化增长

新兴产业怎么定义?需要堡垒机有什么用?

行云管家

网络安全 堡垒机 新兴产业

飞桨框架3.0核心升级:动静统一自动并行,轻松开发大模型

百度Geek说

百度 百度飞桨 #大模型

基于LangChain手工测试用例转Web自动化测试生成工具

测试人

人工智能 软件测试 测试用例

唐山等保测评机构有吗?在哪里?

行云管家

等保 等级保护 唐山

京东搜索重排:基于互信息的用户偏好导向模型

京东零售技术

搜索 企业号2024年8月PK榜

数业智能心大陆开学 “收心” 全指南

心大陆多智能体

智能体 AI大模型 心理健康 数字心理

深入解析淘宝商品详情API返回值中的商品材质与成分

代码忍者

API 测试 API 策略

浅谈大模型生成类应用的需求分析设计与实践

鲸品堂

文档 大模型 生成式 企业号2024年8月PK榜

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架_其他_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章