写点什么

Amazon 发布 AWS Batch 预览版

  • 2016-12-12
  • 本文字数:1209 字

    阅读完需:约 4 分钟

在最近的 AWS Re:Invent 大会上,Amazon发布了 AWS Batch 的预览版。通过 AWS Batch,用户可以对他们云端的调度服务和工作负载进行优化。Amazon 推出这项服务是为了满足大量 AWS 客户的需求,他们基于 EC2 实例、容器和 CloudWatch 建立他们自己的批处理平台。

批次和作业调度器并不是什么新的模式。一直以来,调度器都是运行在固定的本地基础设施集群上。人们要么过度构建基础设施,不能物尽其用,要么基础设施构建不足,造成机会的流失,这些都是不可避免的。AWS 首席布道师 Jeff Barr看到了基于云平台构建现代化调度平台的机会:

我们相信云计算可以让批处理计算模型变得更好,让它可以更快地访问更多不同类型的 EC2 实例,可以根据具体需求弹性地伸缩,并带来新的计费模型,这个计费模型根据实际处理能力来计费,经济实惠。

AWS Batch 不需要在服务器端安装任何东西,而且可以动态分配计算资源,它可以加入 Amazon Spot 实例,这样就可以抢占 Amazon EC2 空闲的计算资源。AWS Batch 服务还提供了作业优先级和依赖管理特性。Amazon 希望客户可以把精力集中在业务需求上,让 AWS Batch 来处理剩下的事情。

在 AWS re:Invent 大会的“ AWS Batch:在 AWS 上运行简单高效的批处理计算”讨论环节,AWS 首席产品经理 Jamie Kinney 介绍了有关 AWS Batch 的几个概念:

  • Jobs是作业单元,它们被提交到 Job Queues,并按照优先级排序,一直待在队列里直到有计算资源来执行它们。
  • Job Definitions指定如何执行 Jobs。每个作业都需要引用一个 Job Definition,Job Definition 的参数可以被覆盖,包括 vCPU、内存、挂载点和容器属性。
  • Job Queues用来保存 Jobs,直到它们被执行。Jobs 会等待它们所依赖的 Jobs 执行完毕,或者等待分配系统资源。
  • Compute Environments包括托管和非托管两种环境。在托管环境里,你可以提出业务需求(比如实例类型、对 vCPU 的需求量,等等),AWS 将会为你启动和扩展资源。而在非托管环境里,你可以启动和管理自己的资源,比如容器。
  • Scheduler对已提交到 Job Queue 的 Jobs 进行评估,评估它们在何时、何处以及如何被执行。Jobs 几乎是按照它们提交的顺序来执行的,只要它们所依赖的条件得到满足。

Amazon 提供了 AWS Batch 适用性指南。对于需要大量传递数据的场景,比如ETL 或大数据处理,Amazon 建议客户使用EMR、数据管道、Redshift 或其它相关的数据处理工具。而对于存在很多小型调度作业的场景,可以使用AWS,不过Kinney认为客户“需要一个工作流或作业调度系统来管理这些作业。”

Kinney认为 AWS Batch 就是一个理想的工具,它特别适用于

那些在异构计算机上运行大量大大小小计算任务的客户。

AWS Batch 目前还处在预览版阶段,只在美国东部(弗吉尼亚北部)地区可用。等到服务的可用性达到通用标准,就会在其它地区开放。根据 AWS Batch 的路线图,AWS Batch 将在后期支持作业数组,并且可以使用 AWS Lambda 来执行作业。

查看英文原文: Amazon Introduces AWS Batch Preview

2016-12-12 18:001405
用户头像

发布了 322 篇内容, 共 139.3 次阅读, 收获喜欢 145 次。

关注

评论

发布
暂无评论
发现更多内容

关于RestCloud iPaaS平台的板块详解

RestCloud

低代码 api 网关 可视化编排 ipaas 消息集成

员工活动 | 并肩携手,温暖前行

MatrixOrigin

数据库 云原生 分布式,

文心一言 VS 讯飞星火 VS chatgpt (199)-- 算法导论15.2 1题

福大大架构师每日一题

福大大架构师每日一题

喜报!博睿数据荣获中信银行2023年度优秀服务伙伴奖

博睿数据

龙年大吉,新的一年开启你的职业飞跃之旅

亚马逊云科技 (Amazon Web Services)

架构师 亚马逊云科技 培训与认证

已解决UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xa1 in position 0: invalid start byte异常的正确解决

小明Java问道之路

源码剖析Spring依赖注入:今天你还不会,你就输了

快乐非自愿限量之名

spring 开发 依赖注入

Azuki NFT 概览与数据分析

Footprint Analytics

NFT

低代码开发应对AI时代到来的挑战与机遇

不在线第一只蜗牛

人工智能 低代码 AI技术

4家券商综合评级上升,1月券商App终端业务体验评测报告发布

博睿数据

《数字化运维路线图》第四部分-数字化运维转型场景 震撼发布!

博睿数据

分布式存储技术:总结2023,展望2024

黄岩

分布式存储 zstorage 全闪分布式

提高代码质量的十条编码原则

互联网工科生

代码规范

SDWAN组网基于软件,部署灵活且周期短

Geek一起出海

博睿数据率先发布HarmonyOS NEXT系统的应用异常观测SDK

博睿数据

京东app商品详情数据接口

tbapi

京东 京东商品详情接口 京东API 京东APP商品详情接口

喜报,喜报!MO 荣获六个年度大奖!

MatrixOrigin

数据库 云原生 分布式,

OpenLDAP 接入 NineData SSO

NineData

SSO openldap 单点登录 NineData phpLDAPadmin

中国大型企业数字化升级路径研究

快乐非自愿限量之名

低代码开发——企业转型的万金油

EquatorCoco

低代码 数字化 企业转型

开发体育赛事直播平台中短视频模块的重要性及其赋能作用

软件开发-梦幻运营部

万字干货-京东零售数据资产能力升级与实践

京东零售技术

大数据 数据资产

我们在SqlSugar开发框架中,用到的一些设计模式

不在线第一只蜗牛

数据库 sql 设计模型

掌握Python编程与ChatGPT的强强联手:开启人工智能助手新时代

快乐非自愿限量之名

Python 人工智能 编程开发 ChatGPT

全新市场周期推动 LaunchPad 迎新起点, Penpad 成新兴生力军

西柚子

高院司法观点、法官评析等一键获取,海量数据尽在Alpha法律智能操作系统

科技汇

数据价值在线化,TiDB 在企查查数据中台的应用

编程猫

Amazon发布AWS Batch预览版_亚马逊云科技_Kent Weare_InfoQ精选文章