QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架

  • 2019-11-05
  • 本文字数:1592 字

    阅读完需:约 5 分钟

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架

今天,AWS 很高兴地宣布 Amazon EMR 将支持 Apache MXNet 和新一代 GPU 实例类型,让您可以在进行机器学习工作流程和大数据处理的同时运行分布式深度神经网络。此外,您还可以在采用 GPU 硬件的 EMR 群集上安装并运行自定义深度学习库。通过使用深度学习框架,您可以使用新工具包来处理多种使用案例,包括无人驾驶车辆、人工智能、个性化医疗和计算机视觉。


Amazon EMR 提供一个 Hadoop 托管框架,可以让您轻松、快速且经济高效地使用 Apache Spark、Apache Hive、PrestoApache HBase 和 Apache Flink 等框架处理 Amazon S3 中的大量数据。您可以低成本安全、高效地处理大量大数据使用案例,包括日志分析、Web 索引、数据转换 (ETL)、财务分析、科学模拟、实时处理和生物信息。


多年来,EMR 一直致力于帮助您运行可扩展的机器学习工作负载。2013 年,我们增加了对 Apache Mahout 的支持,以帮助您使用 Apache Hadoop MapReduce 来运行分布式机器学习工作负载。2014 年,客户开始利用 Apache Spark (我们在 2015 年增加了官方支持),以便利用 Spark ML 中提供的各种开源机器学习库来轻松构建可扩展的机器学习管道。


在过去 2 年内,我们还增加了对 Apache Zeppelin 笔记本、易于安装的 Jupyter 笔记本以及适用于交互式 Spark 工作负载的 Apache Livy 的支持,从而让数据科学家可以轻松快速地开发、培训以及将机器学习模型投入生产。EMR 的按秒计费方式以及使用 Amazon EC2 竞价型实例可实现的高达 80% 的成本节约,使您可以低成本轻松运行大规模的机器学习管道。


现在,您可以更轻松地在 Amazon EMR 上实施深度学习。我们增加了对 Apache MXNet (0.12.0) (一种可扩展的深度学习框架)、Amazon EC2 P3P2 实例、EC2 计算优化型 GPU 实例的支持,并预先加载了所需的 GPU 驱动程序。现在借助最新的 GPU 硬件,您只需单击几下即可快速轻松地创建适用于分布式培训的可扩展式安全群集。此外,您还可以安装并使用 BigDL 或 CaffeOnSpark 等自定义深度学习库,方法是在自定义 Amazon Linux AMI 上预加载这些库或使用引导操作来自定义群集。此外,EMR 将很快增加对 TensorFlow (另一个热门的深度学习框架) 的支持。


借助 EMR,您可以在开发工作的数据探索和预处理阶段轻松开发和培训深度学习模型。首先,您可以轻松且经济高效地使用各种开源大数据框架 (包括 Apache Spark、Apache Hadoop 和 Apache Hive) 来探索和处理 S3 中的大量数据集。


其次,除了使用 S3 或群集上 HDFS 中存储的预处理数据来开发、培训和运行深度学习模型以外,您还可以使用 MXNet 和 Spark 预测或执行推理。您将按秒付费,并且可以设置自已愿意为 EC2 竞价型实例支付的最高价,还可以使用 Auto Scaling。然后,您可以在完成工作负载后关闭群集并停止付费,从而进一步降低实验和生产的成本。


在 EMR 控制台中,您只需单击几下即可使用 Spark、MXNet、Ganglia 监控和 Zeppelin 笔记本快速创建一个拥有一到数千个节点的 EMR 群集。



启动群集后,即可打开 Zeppelin 笔记本并开始使用 Spark 和 MXNet 探索数据和构建模型。



借助 EMR,您可以通过以下任一操作轻松监控和调试应用程序:



我们计划在不久的将来发布更多文章,并提供基于 EMR 利用 MXNet 和其他框架进行大规模深度学习的示例和最佳实践。有关如何入门的更多信息,请参阅 Amazon EMR 文档


作者介绍:



Jonathan Fritz 是 Amazon EMR 的首席产品经理。他领导团队的产品管理,并致力于使针对海量数据的分析和机器学习更加轻松。他在闲暇时喜欢去陌生城市旅行、参加现场音乐会和进行户外探索。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/run-deep-learning-frameworks-with-gpu-instance-types-on-amazon-emr/


2019-11-05 08:00827

评论

发布
暂无评论
发现更多内容

查看 TiDB运行 内存快照分析

TiDB 社区干货传送门

使用 Docker-Compose 部署 HAProxy 为TiDB-Server 做负载均衡

TiDB 社区干货传送门

转转数据库架构构建之道

TiDB 社区干货传送门

继续,来看看 TiDB 3.0 在 AP 方面的进步

TiDB 社区干货传送门

一体化数据同步平台 DM 1.0 GA 发布

TiDB 社区干货传送门

TiDB 在实时渠道转化分析的应用

TiDB 社区干货传送门

谈谈 DDL 的前世今生

TiDB 社区干货传送门

隔离级别与锁 MySQL 篇

TiDB 社区干货传送门

转转业务开发对 TiDB 的使用心得

TiDB 社区干货传送门

TiDB 在 UCloud 公有云上的实践

TiDB 社区干货传送门

Raft一致性协议简说

TiDB 社区干货传送门

TiDB在威锐达远程诊断大数据中心的应用

TiDB 社区干货传送门

TiDB 3.0.2 版本某业务 TiKV 宕机测试

TiDB 社区干货传送门

TiDB监控实现--存活监控

TiDB 社区干货传送门

周末了,一起来看看 TiDB 的 AP 能力

TiDB 社区干货传送门

【精选实践】随手科技在 TiDB 的探索之路

TiDB 社区干货传送门

TiDB 拓扑查询工具qtidb

TiDB 社区干货传送门

易果 TiDB 的使用以及数据中台的思考

TiDB 社区干货传送门

补充 RECOVER 导致 TiDB Binlog 同步错误处理

TiDB 社区干货传送门

TiDB 常见问题处理 - 热点

TiDB 社区干货传送门

【精选实践】TiDB 在 360 商业化的应用和实践

TiDB 社区干货传送门

TiDB 3.0.2 手动指定 Drainer CommitTS

TiDB 社区干货传送门

TiDB 的正确使用姿势

TiDB 社区干货传送门

TiDB 最佳实践

TiDB 社区干货传送门

DM的dmctl中sql-skip使用

TiDB 社区干货传送门

TiDB 私有云实践

TiDB 社区干货传送门

Spark Standalone集群升级步骤

TiDB 社区干货传送门

TiDB 新特性漫谈:从 Follower Read 说起

TiDB 社区干货传送门

041-使用DM进行同步上游数据到 TiDB

TiDB 社区干货传送门

开源OLAP引擎测评:Clickhouse vs TiDB vs Palo

TiDB 社区干货传送门

TiDB 在转转的标准化之路

TiDB 社区干货传送门

在 Amazon EMR 上运行带有多种 GPU 实例类型的深度学习框架_其他_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章