光环新网运营的AWS中国(北京)区域HPC集群创建

2019 年 11 月 12 日

光环新网运营的AWS中国(北京)区域HPC集群创建

在上个博客“在 AWS 云上快速搭建高性能计算(HPC)集群”中,我们介绍了高性能计算的使用场景,框架和如何在 AWS Global 创建 HPC 集群,但在光环新网运营的 AWS 中国(北京)区域并不支持使用 CFNCluster 直接创建 HPC,因此我们需要使用 CloudFormation 手工创建集群,整个过程并不复杂。步骤如下:


1.进入光环新网运营的 AWS 中国(北京)区域的 Console,然后进入 CloudFormation 的服务。如下图:



2.点击 “Create New Stack”后,弹出下面的界面。



3.在界面中制定 CloudFormation 的模板文件如下。


https://s3.cn-north-1.amazonaws.com.cn/cfncluster-cn-north-1/templates/cfncluster.cfn.json


4.在后续界面中下面参数必须定义:


Stack name:要创建 HPC 集群的名称


AvailablityZone:指定要在那个可用区创建 HPC 集群


VPCId:指定需要创建集群的 VPCId


MasterSubnetId:指定 Master 节点的子网 ID


KeyName:指定 EC2 服务器访问的 key


Scheduler:指定高性能计算的管理框架,默认是 SGE,有 Openlava,Torque 等可以选择。


5.可选参数定义:


InitialQueueSize:HPC 集群的初始节点数


ComputeInstanceType:集群计算节点的类型


MasterInstanceType:Master 节点的类型


MaxQueueSize:集群最大节点数


PlacementGroup:节点的放置组


对于全部的配置参数说明,可以参考下面链接:


http://cfncluster.readthedocs.io/en/latest/configuration.html


6.点击 Next 后,输入集群的 tag。




7.点击左下方的 checkbox 运行 AWS Cloudformation 帮助创建资源,然后点击创建。



8.等待当前 HPC 集群的创建状态变为 COMPLETE,查看下方的 Outputs 消息输出,找到 HPC Master 节点的 IP。



9.使用前面 Output 中的 Master 节点的 IP 或去 Console 中的 EC2 里面找到刚才创建的 Master 节点的机器,通过 ssh 连接,然后运行 HPC 的命令。



  • 总结



在 AWS 中国区,你可以使用 CloudFormation 快速的创建 HPC 集群,AWS 提供了丰富的服务器类型供你选择,你可以选择基于 CPU 或 GPU 等不同类型的服务器,也可以选择 SGE,OpenLava 等分布式资源管理软件来调度你的程序,如果我们不配置,默认的资源管理软件是 SGE。


作者介绍



蓝勇,AWS 解决方案架构师,负责基于 AWS 的云计算方案架构的咨询和设计,同时致力于 AWS 云服务在国内的应用和推广,在 DR 解决方案、数据仓库、RDS 服务、企业应用、自动化运维等方面有着广泛的设计和实践经验。在加入 AWS 之前,在甲骨文中国担任资深售前工程师,负责售前方案咨询和架构设计,在数据库,中间件,大数据及企业应用方面有丰富经验。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/fast-build-high-performance-computing-hpc-clusters-in-aws-china/


2019 年 11 月 12 日 08:00103

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

评论

发布
暂无评论
发现更多内容

为什么我选择清晨阅读和学习

胡迪伦

学习 效率 自学编程 早起 晨型人

10大高性能开发宝石

李浩宇/Alex

大作业

架构师训练营大作业二

qihuajun

一个敏捷教练成长必备的8项技能

华为云开发者社区

程序员 敏捷 敏捷开发 敏捷教练 技术技能树

解构 Dubbo-go 的核心注册引擎 Nacos

apache/dubbo-go

dubbogo

我在项目内使用了设计模式后,同事直呼看不懂

云流

学习 编程 程序员 架构师

防止重复点击2.0

老菜鸟

Vue

SpringCloud Gateway 身份认证

Barry的异想世界

微服务 nacos 权限系统 Gateway spring cloud alibaba

小码农也有大目标,最新BAT大厂Java面试总结

Java架构师迁哥

在审计工作中如何运用区块链技术

CECBC区块链专委会

区块链 金融 审计

拖动旋转的 3D 骰子效果

Clloz

CSS transform rotate3d

【性能优化】小伙伴问我性能指标监控怎么做,这次我安排上了!!

冰河

tomcat 性能优化 监控 性能调优 jvm调优

第一周总结

黄立

架构师 架构总结

食堂就餐卡系统设计

Gosling

极客大学架构师训练营

我把Github上最牛b的Java教程和实战项目整合成了一个PDF文档

Java成神之路

Java 编程 程序员 项目实战

极客大学架构师训练营 0 期 结课作业

chun1123

架构师 架构师技能

食堂就餐卡系统设计

发酵的死神

极客大学架构师训练营

9省市新基建规划比较:区块链成标配,多地提及数字资产交易

CECBC区块链专委会

区块链 数字资产 新基建

test

leesofte

test

iOS面试梳理 - 2020年8月初

iOSer

ios 面试 面试题

超详细超级细B站视频爬取

海绵宝宝re儿

python 爬虫 多进程

你有没有想过为什么交易和退款要拆开不同的表?

程序员小航

设计 开发 交易 拆表

2020年最新最全BAT499道Java面试题(附答案):JVM+分布式+算法+锁+MQ+微服务+数据库【完美搞定金九银十】

云流

编程 程序员 架构师 计算机 java面试

大作业

Geek_196d0f

架构师训练营第一周--UML图练习&学习总结

我是谁

极客大学架构师训练营

食堂就餐卡系统设计

天天向上

极客大学架构师训练营

架构师训练营大作业一

qihuajun

开发者说:愿为你点亮“懂环境知冷暖”智能的灯

华为云开发者社区

人工智能 物联网 NB-IoT 路灯 华为IoT平台

Spring-技术专题-重试机制Retry机制

李浩宇/Alex

第一周学习心得

alpha

极客大学架构师训练营

光环新网运营的AWS中国(北京)区域HPC集群创建-InfoQ