写点什么

Amazon 发布 AWS Batch 预览版

  • 2016-12-12
  • 本文字数:1209 字

    阅读完需:约 4 分钟

在最近的 AWS Re:Invent 大会上,Amazon发布了 AWS Batch 的预览版。通过 AWS Batch,用户可以对他们云端的调度服务和工作负载进行优化。Amazon 推出这项服务是为了满足大量 AWS 客户的需求,他们基于 EC2 实例、容器和 CloudWatch 建立他们自己的批处理平台。

批次和作业调度器并不是什么新的模式。一直以来,调度器都是运行在固定的本地基础设施集群上。人们要么过度构建基础设施,不能物尽其用,要么基础设施构建不足,造成机会的流失,这些都是不可避免的。AWS 首席布道师 Jeff Barr看到了基于云平台构建现代化调度平台的机会:

我们相信云计算可以让批处理计算模型变得更好,让它可以更快地访问更多不同类型的 EC2 实例,可以根据具体需求弹性地伸缩,并带来新的计费模型,这个计费模型根据实际处理能力来计费,经济实惠。

AWS Batch 不需要在服务器端安装任何东西,而且可以动态分配计算资源,它可以加入 Amazon Spot 实例,这样就可以抢占 Amazon EC2 空闲的计算资源。AWS Batch 服务还提供了作业优先级和依赖管理特性。Amazon 希望客户可以把精力集中在业务需求上,让 AWS Batch 来处理剩下的事情。

在 AWS re:Invent 大会的“ AWS Batch:在 AWS 上运行简单高效的批处理计算”讨论环节,AWS 首席产品经理 Jamie Kinney 介绍了有关 AWS Batch 的几个概念:

  • Jobs是作业单元,它们被提交到 Job Queues,并按照优先级排序,一直待在队列里直到有计算资源来执行它们。
  • Job Definitions指定如何执行 Jobs。每个作业都需要引用一个 Job Definition,Job Definition 的参数可以被覆盖,包括 vCPU、内存、挂载点和容器属性。
  • Job Queues用来保存 Jobs,直到它们被执行。Jobs 会等待它们所依赖的 Jobs 执行完毕,或者等待分配系统资源。
  • Compute Environments包括托管和非托管两种环境。在托管环境里,你可以提出业务需求(比如实例类型、对 vCPU 的需求量,等等),AWS 将会为你启动和扩展资源。而在非托管环境里,你可以启动和管理自己的资源,比如容器。
  • Scheduler对已提交到 Job Queue 的 Jobs 进行评估,评估它们在何时、何处以及如何被执行。Jobs 几乎是按照它们提交的顺序来执行的,只要它们所依赖的条件得到满足。

Amazon 提供了 AWS Batch 适用性指南。对于需要大量传递数据的场景,比如ETL 或大数据处理,Amazon 建议客户使用EMR、数据管道、Redshift 或其它相关的数据处理工具。而对于存在很多小型调度作业的场景,可以使用AWS,不过Kinney认为客户“需要一个工作流或作业调度系统来管理这些作业。”

Kinney认为 AWS Batch 就是一个理想的工具,它特别适用于

那些在异构计算机上运行大量大大小小计算任务的客户。

AWS Batch 目前还处在预览版阶段,只在美国东部(弗吉尼亚北部)地区可用。等到服务的可用性达到通用标准,就会在其它地区开放。根据 AWS Batch 的路线图,AWS Batch 将在后期支持作业数组,并且可以使用 AWS Lambda 来执行作业。

查看英文原文: Amazon Introduces AWS Batch Preview

2016-12-12 18:001418
用户头像

发布了 322 篇内容, 共 140.0 次阅读, 收获喜欢 145 次。

关注

评论

发布
暂无评论
发现更多内容

2022-11-24:小团在地图上放了3个定位装置,想依赖他们进行定位! 地图是一个n*n的棋盘, 有3个定位装置(x1,y1),(x2,y2),(x3,y3),每个值均在[1,n]内。 小团在(a,

福大大架构师每日一题

golang 算法 福大大

【Python 基础学习】-运算符

度假的小鱼

11月月更 Python运算符 Python运算符优先级

性能测试知识科普(六):三大模型

老张

性能测试 数据模型 业务模型 流量模型

MongoDB源码学习:Command的执行与注册

云里有只猫

mongodb 源码学习

JavaScript 基础

卢衍飞

JavaScript 学习 技术交流 基础

支持向量机-探索核函数在不同数据集上的表现

烧灯续昼2002

Python 机器学习 算法 sklearn 11月月更

China SAFe Day 2022中国规模化敏捷大会圆满落幕!

Scrum中文网

敏捷 safe 规模化敏捷 SAFeDay

Node.js在Buffers对象在数据报的表现交互在Modules的实战心得

恒山其若陋兮

前端 11月月更

Springboot超详细入门

陈老老老板

spring-boot 11月月更

【Python 基础学习】-变量和常量、输入输出

度假的小鱼

11月月更 Python变量常量 Python变量

Java 反射

卢衍飞

Java

极客时间运维进阶训练营第五周作业

9527

华为云GaussDB(for Influx):让智能电网时序数据处理更高效

路过的憨憨

华为

Mysql基础超详细讲解

陈老老老板

MySQL 数据库 11月月更

【web 开发基础】PHP 中的可变参数个数的函数 (34)

迷彩

函数 web开发基础 11月月更 可变个数参数的函数

JavaWeb项目部署到腾讯云教学

陈老老老板

腾讯云 javaWeb java; 11月月更

C++--- 类型萃取 ---is_void && is_null_pointer

桑榆

C++ STL 11月月更

Java 注解与反射 基础

卢衍飞

Java

看透react源码之感受react的进化

goClient1992

React

深度分析React源码中的合成事件

goClient1992

React

支持向量机-非线性SVM与核函数

烧灯续昼2002

Python 机器学习 算法 sklearn 11月月更

SpringBoot整合Quartz

陈老老老板

定时任务 spring-boot 11月月更

C++中的代码重用

Maybe_fl

SpringBoot整合EasyExcel超详细教学

陈老老老板

spring-boot 11月月更

Web3领域首个三消小游戏Matching Game,近30日交易量破800万U

股市老人

Web3领域首个三消小游戏Matching Game,近30交易量破800万U

BlockChain先知

Timers和进程在Client里的性能表现实战心得【Node.js】

恒山其若陋兮

前端 11月月更

Java 线程基础

卢衍飞

Java

React-Hooks源码深度解读

goClient1992

React

基于鸿蒙系统的commonEvent和限制与约束原子化服务代码简析

恒山其若陋兮

前端 11月月更

Amazon发布AWS Batch预览版_亚马逊云科技_Kent Weare_InfoQ精选文章