写点什么

AWS 瞄准科学社区,为高性能计算提供新的资源

  • 2011-10-10
  • 本文字数:1521 字

    阅读完需:约 5 分钟

Amazon Web Services (AWS) 团队公布了一系列资源,瞄准科学社区对高性能计算的需要。AWS 特别强调:在Amazon 云环境中,他们的“spot 价格体系”市场可以提供价格优惠的海量规模计算能力。

科学组织在处理数据分析时,常常要面对海量计算活动的需求。在AWS 团队指出的一个案例研究中,一家排名全球前五的制药公司在寻找分子建模方法,以处理数百万种化合物组合。有了 Cycle Computing 的帮助,该公司在 AWS 上使用一个有30000 个核的集群,仅用不到8 个小时就完成了任务。该集群跨越两个大陆,使用将近27T 内存,每小时花费1279 美元。Cycle Computing 指出:他们的客户从未想过在公司内部完成这样的科学分析,因为会把他们自己数据中心所有的资源消耗殆尽,而且长达数周。如果一家组织试图在内部完成如此重大的计算任务,常常需要非常大量的CPU,而且在任务启动之前会一直处于空闲状态。这也是Microsoft 在与 Pharm Exec 的访谈中提到的:

看看所有进入蛋白质折叠【译注】的数据。有研究大型分子产品的公司,这些产品一般被称为单克隆抗体(monoclonal antibody)。这些分子的活动主要是如何把自己折叠起来。在研究过程中,他们希望看到产品的基本序列,也想计算出分子的折叠过程。传统方式中,他们会维护海量的 CPU,这些 CPU 的计算围绕着上述活动展开,一般需要 70 个小时才能完成整个的蛋白质折叠分析。使用基于云的基础设施模式,服务器不需要一直开机。科学家可以在需要的时候再分析数据,不需要,服务器就不必运行。

AWS 声称:这个由 Cycle Computing 管理的计算集群不仅仅在规模和性能上令人侧目,同时在价格上也非常合算,因为他们使用了 Spot Instance 实例。与 Reserved 或 On-Demand EC2 实例不同,启动 Spot 实例是投标过程的一部分。客户制定出他们愿意为 Spot 实例每小时支付多少钱,只要 Spot 的价格仍然低于客户给出的阈值,Spot 实例就会一直运行。当价格阈值超过后,Spot 实例就会停止。Spot 的价格会比 Reserved 或 On-Demand 实例的价格便宜 50%,因此用它来完成只有财务上合算时才运行的、低优先级的计算工作,或是补充已有的 On-Demand 负载,都是不错的选择。

在新的“Spot and Science”页面上,对于如何利用类似Spot 市场提供的这些短时计算资源,AWS 团队点出了一些架构上的考量。AWS 提出四种架构风格,可以作为容纳潜在中断风险的解决方案,包括:Map/Reduce、Grid、基于队列的、以及基于检查点(Checkpoint)的架构。每种风格要么建议使用可快速完成的小量工作负载,要么建议当运行主机中断时重新运行,或是使用检查点定期保存工作。

AWS 的“Spot and Science”页面还包括案例研究、用例展示、成本节省分析、辅导和架构指南。即使用户不属于科学社区,如果希望用云完成高性能计算,也可以找到在这些用例中找到相关信息。 HPC in the Cloud 网站认为:

制药公司对云有相对高的使用率,这意味着对于其他公司来说,即使他们不需要找到疾病治愈方法或是改善人们的健康,他们也可以参考这个行业的案例,以了解云在真实世界中的使用方法。

【译注】蛋白质折叠(protein folding):蛋白质的基本单位为氨基酸,而蛋白质的一级结构指的就是其氨基酸序列,蛋白质会由所含氨基酸残基的亲水性、疏水性、带正电、带负电……等等特性通过残基间 的相互作用而折叠成一立体的三级结构。虽然蛋白质可在短时间中从一级结构折叠至立体结构,研究者却无法在短时间中从氨基酸序列计算出蛋白质结构,甚至无法 得到准确的三维结构。因此,研究蛋白质折叠的过程,可以说是破译“第二遗传密码”——折叠密码(folding code)的过程。具体可参考百度百科

查看英文原文: InfoQ: AWS Targets Scientific Community with New Resources for High Performance Computing

2011-10-10 03:321611
用户头像

发布了 479 篇内容, 共 161.0 次阅读, 收获喜欢 51 次。

关注

评论

发布
暂无评论
发现更多内容

EasyMR 安全架构揭秘:如何管理 Hadoop 数据安全

袋鼠云数栈

大数据

PCB拼版对SMT组装的影响,华秋一文告诉你

华秋电子

OpenSea交易平台开发NFT系统部署技术

薇電13242772558

NFT

关于 IDP 的五大认知误解

SEAL安全

IdP 平台工程

【福利】ChatGPT免费体验期延长,商用版正式开启预约!

BeeWorks

5 大手段,打造单一可信源代码托管平台|极狐GitLab DevSecOps 助力 SLSA 落地之源代码篇

极狐GitLab

DevOps DevSecOps 源代码 安全审计 SLSA

MobTech ShareSDK|分享报错怎么办

MobTech袤博科技

软件团队文档管理工具哪个好?

爱吃小舅的鱼

团队管理 PingCode 企业文档管理工具

GOPS 全球运维大会来了,龙蜥社区邀您一起了解“系统运维”

OpenAnolis小助手

开源 操作系统 内核 龙蜥社区 GOPS全球运维大会

行业盛会丨九科信息亮相第十一届中国电子信息博览会(CITE2023),与您共享科技盛宴

九科Ninetech

阿里内部都在疯传!企业级Spring Boot 项目开发实战教程,我先肝了

程序知音

Java 微服务 springboot java架构 Java进阶

NLP专栏简介:数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等

汀丶人工智能

人工智能 自然语言处理 深度学习 关系抽取 命名实体识别

快手基于 Apache Flink 的实时数仓建设实践

Apache Flink

大数据 flink 实时计算

EMQ&阿里云Lindorm联合方案:解决物联网关键业务场景数据处理难题

EMQ映云科技

阿里云 物联网 IoT 数据处理 企业号 4 月 PK 榜

苹果电脑软件应用打开出现意外退出、崩溃问题解决办法

互联网搬砖工作者

新旧版本功能对比 | v1.5.0 全新升级

BinTools图尔兹

数据库 社区版 版本更新

Redis崩吗?来一起搞定 Redis 实践中的常见问题!

Steven

redis

关于FTP文件传输协议说明,带你了解更详细的文件传输协议

镭速

面试官:谈谈分布式一致性机制

Java永远的神

程序员 分布式 微服务 后端 架构师

选择低代码,帮企业数字化转型提交一份满分答卷

加入高科技仿生人

软件开发 低代码 数字化 数字转型

漫谈 ChatGPT 与问答式 BI

观远数据

数据分析 BI ChatGPT

携多款产品亮相“深圳先进制造业集群展”,华秋积极探索发展机遇

华秋电子

现在学C4D还是Blender好?这俩有啥区别?

Finovy Cloud

blender C4D

华秋PCB生产工艺分享 | 第十一道之成型

华秋电子

干货分享|金融机构如何通过标签画像实现精细化客户运营?

索信达控股

精选2023年大厂高频Java面试真题集锦(含答案),面试一路开挂

程序知音

java面试 java架构 Java进阶 后端技术 Java面试八股文

详解 Flink Catalog 在 ChunJun 中的实践之路

袋鼠云数栈

flink

APP频繁改版惹人烦?火山引擎VeDI来帮忙

字节跳动数据平台

数字化 企业数字化 企业号 4 月 PK 榜 APP改版

面试还不懂Netty,看这篇文章就够了!

程序员小毕

Java 程序员 后端 Netty 架构师

NFT交易平台商城系统开发技术

薇電13242772558

NFT

AWS瞄准科学社区,为高性能计算提供新的资源_架构_Richard Seroter_InfoQ精选文章