写点什么

Amazon 发布 AWS Batch 预览版

  • 2016-12-12
  • 本文字数:1209 字

    阅读完需:约 4 分钟

在最近的 AWS Re:Invent 大会上,Amazon发布了 AWS Batch 的预览版。通过 AWS Batch,用户可以对他们云端的调度服务和工作负载进行优化。Amazon 推出这项服务是为了满足大量 AWS 客户的需求,他们基于 EC2 实例、容器和 CloudWatch 建立他们自己的批处理平台。

批次和作业调度器并不是什么新的模式。一直以来,调度器都是运行在固定的本地基础设施集群上。人们要么过度构建基础设施,不能物尽其用,要么基础设施构建不足,造成机会的流失,这些都是不可避免的。AWS 首席布道师 Jeff Barr看到了基于云平台构建现代化调度平台的机会:

我们相信云计算可以让批处理计算模型变得更好,让它可以更快地访问更多不同类型的 EC2 实例,可以根据具体需求弹性地伸缩,并带来新的计费模型,这个计费模型根据实际处理能力来计费,经济实惠。

AWS Batch 不需要在服务器端安装任何东西,而且可以动态分配计算资源,它可以加入 Amazon Spot 实例,这样就可以抢占 Amazon EC2 空闲的计算资源。AWS Batch 服务还提供了作业优先级和依赖管理特性。Amazon 希望客户可以把精力集中在业务需求上,让 AWS Batch 来处理剩下的事情。

在 AWS re:Invent 大会的“ AWS Batch:在 AWS 上运行简单高效的批处理计算”讨论环节,AWS 首席产品经理 Jamie Kinney 介绍了有关 AWS Batch 的几个概念:

  • Jobs是作业单元,它们被提交到 Job Queues,并按照优先级排序,一直待在队列里直到有计算资源来执行它们。
  • Job Definitions指定如何执行 Jobs。每个作业都需要引用一个 Job Definition,Job Definition 的参数可以被覆盖,包括 vCPU、内存、挂载点和容器属性。
  • Job Queues用来保存 Jobs,直到它们被执行。Jobs 会等待它们所依赖的 Jobs 执行完毕,或者等待分配系统资源。
  • Compute Environments包括托管和非托管两种环境。在托管环境里,你可以提出业务需求(比如实例类型、对 vCPU 的需求量,等等),AWS 将会为你启动和扩展资源。而在非托管环境里,你可以启动和管理自己的资源,比如容器。
  • Scheduler对已提交到 Job Queue 的 Jobs 进行评估,评估它们在何时、何处以及如何被执行。Jobs 几乎是按照它们提交的顺序来执行的,只要它们所依赖的条件得到满足。

Amazon 提供了 AWS Batch 适用性指南。对于需要大量传递数据的场景,比如ETL 或大数据处理,Amazon 建议客户使用EMR、数据管道、Redshift 或其它相关的数据处理工具。而对于存在很多小型调度作业的场景,可以使用AWS,不过Kinney认为客户“需要一个工作流或作业调度系统来管理这些作业。”

Kinney认为 AWS Batch 就是一个理想的工具,它特别适用于

那些在异构计算机上运行大量大大小小计算任务的客户。

AWS Batch 目前还处在预览版阶段,只在美国东部(弗吉尼亚北部)地区可用。等到服务的可用性达到通用标准,就会在其它地区开放。根据 AWS Batch 的路线图,AWS Batch 将在后期支持作业数组,并且可以使用 AWS Lambda 来执行作业。

查看英文原文: Amazon Introduces AWS Batch Preview

2016-12-12 18:001616
用户头像

发布了 322 篇内容, 共 147.4 次阅读, 收获喜欢 148 次。

关注

评论

发布
暂无评论
发现更多内容

【有奖征文 第13期】至简致远,“云”响世界,大胆秀出你的华为云技术主张,高额激励等你拿

科技怪咖

「Gitee篇」如何用Git平台账号登录建木CI

Jianmu

git 开源 DevOps 低代码 gitee

面向云时代的龙蜥操作系统 是 CentOS 替代的最佳选择

OpenAnolis小助手

龙蜥操作系统 开放原子全球开源峰会 OpenAnolis 分论坛 CentOS 停服 CentOS 迁移最佳选择

*打卡—>什么是云数据库&&沙箱实验如何用python和数据库来爬虫?【华为云至简致远】

科技云未来

云数据库

华为云服务之弹性云服务器ECS的深度使用和云端实践【华为云至简致远】

科技云未来

弹性云服务器ECS

开源一夏 | Spring事务传播机制

六月的雨在InfoQ

开源 Spring事务 8月月更

携手数字创新 共筑国产生态 7月份AntDB与5款产品完成互认证

亚信AntDB数据库

AntDB 国产数据库 AISWare AIDB

湖北钠斯网络数字藏品交易系统

开源直播系统源码

NFT 数字藏品

秋招冲刺版!奉上[Java一线大厂高岗面试题解析合集]

冉然学Java

面试 面试题 大厂 java; 秋招

干货:从零设计高并发架构

C++后台开发

高并发 架构师 C/C++后台开发 C/C++开发 高并发架构

有了这个开源工具后,我五点就下班了!

IT学习日记

EasyExcel 签约计划第三季 seaweedfs文件系统 java excel导出导入 java csv导出导入

阿里巴巴最新分享Spring Cloud核心笔记,全程实例讲解,通俗易懂

Java工程师

Java spring spring-cloud

10分钟快速入门RDS【华为云至简致远】

科技云未来

RDS

EMQ畅谈IoT数据基础软件开源版图,引领本土开源走向全球

EMQ映云科技

开源 物联网 IoT emq 8月月更

华为云分布式缓存服务Redis开通及使用规划教程【华为云至简致远】

科技云未来

redis'

科创人·优锘科技COO孙岗:错误问题找不到正确答案,求索万物可视的大美未来

科创人

如何选择ui设计机构

小谷哥

LED显示屏在会议室如何应用

Dylan

LED显示屏 led显示屏厂家

国产数据库的红利还能“吃”多久?

墨天轮

数据库 国产数据库

腾讯云产品可观测最佳实践 (Function)

观测云

JavaScript 里三个点 ...,可不是省略号啊···

华为云开发者联盟

JavaScript 前端 运算符 函数

Java面试项目推荐,15个项目吃透两个offer拿到手软

冉然学Java

offer java; 技术栈 MAll java项目实战分享

原来如此!谷歌架构师10年呕心沥血汇成的《23种设计模式》,这才是正解

冉然学Java

架构 23种设计模式 java; 编程、

带你玩转“超大杯”ECS特性及实验踩坑【华为云至简致远】

科技怪咖

一起来学华为云数据库,RDS实践【华为云至简致远】

科技云未来

云数据库

写给 Java 程序员的前端 Promise 教程

CRMEB

2022年中国全民健身发展白皮书

易观分析

行业分析 健身

一文读懂字节跳动“埋点验证平台”

字节跳动数据平台

字节跳动 数据治理 埋点治理 数据研发 埋点验证

前端培训机构课程怎么样

小谷哥

基于DevCloud进行黑白棋实时对战游戏开发实践【华为云至简致远】

科技怪咖

Beetl使用记录

Geek_163f36

Amazon发布AWS Batch预览版_亚马逊云科技_Kent Weare_InfoQ精选文章