飞天发布时刻:2024年 Forrester 公有云平台Wave™评估报告解读 了解详情
写点什么

在迁移项目中,如何自动选择最经济的 EC2

  • 2019-09-29
  • 本文字数:3296 字

    阅读完需:约 11 分钟

在迁移项目中,如何自动选择最经济的EC2

需求背景

我们在上一篇文章中讲了如何利用 AWS Price List API 生成 EC2 价格表,现在,我们就讲讲如何利用这个价格表自动化的选择最经济的 EC2 类型。

方案概述

在做大规模迁移时,我们首先要做的是收集线下数据中心 X86 服务器的信息,最基本的例如 CPU 核数,CPU 峰值利用率,内存大小(GB),内存峰值利用率,操作系统类型。我们想根据这些基本信息估算一下在云上应该选择何种机型,以及一年的费用大约是多少。大多数客户在上云后都会购买一年标准 RI 实例以节省费用,所以我们就以一年全部预付费标准 RI 的价格作为选择机型的依据。选择机型的逻辑是:满足内存和 CPU 需求的最便宜的机型。


当然,由于我们买的是一年标准 RI 实例,在一年之内不可改变机型配置,所以也应该考虑预留一年的业务增长量。因此,在以上收集的基本信息的基础上,我们还要加上两条:我们期望的 CPU 利用率和内存利用率。举例来说,如果您目前的某个服务器的 CPU 和内存利用率是 90%和 80%, 您预计在一年内业务会有 20% 的增长(我们姑且认为业务增长与资源需求成正比),当前的 CPU 是 4 核,内存是 16GB。如果你希望当业务增长 20%后,服务器的 CPU 和内存的利用率维持现状,即 90%和 80%, 选择的 EC2 机型应该在运行现有负载时的期望 CPU 利用率是 90%/1.2=75%, 期望的内存利用率是 80%/1.2=67%。


还有一点需要考虑的就是应用系统的特性,是以计算能力为主的还是以内存大小为主。AWS EC2 最小的 CPU:内存配比是 1:2,最大的是 1:8。


  • 如果是以计算为主的,我们在选择服务器的时候只考虑满足 CPU 的计算能力,我们会挑选满足计算能力的最经济的 EC2,这时的 CPU:内存配置至少是 1:2 (当然,如果价格合适,我们也会选择 CPU:内存是 1:4 的机型。但是,前提条件是,CPU:内存=1:2 的服务器已经可以满足内存需要)。

  • 如果是以内存为主的,我们在选择服务器的时候只考虑满足内存的大小,我们会挑选满足内存需求的最经济的 EC2,这时的 CPU:内存配置至少是 1:4 (当然,如果价格合适,我们也会选择 CPU:内存是 1:8 的机型。但是,前提条件是,CPU:内存=1:4 的服务器已经可以满足 CPU 需要)。

  • *当然,你也可以要求同时满足内存和 CPU 的要求,那么这时的选择逻辑就是同时满足内存和 CPU 要求的最便宜的 EC2 机型。

  • 综上所述,做机型选择的输入项有以下几条:

  • | vcpu | cpu_rate |target_cpu_rat | ememory | memory_rate | target_mem_rate | prefer |source_os |

  • | ---- | ---- |----| ----| ---- |----| ---- |---- |


vcpu:源系统 CPU 核数(必选)


cpu_rate: 源系统 CPU 峰值利用率(可选),缺省为 100 (100%)


target_cpu_rate: 期望的 CPU 利用率(可选),缺省为 0.9(即 90%)


memory:源系统内存大小(GB)(必选)


memory_rate: 源系统内存峰值利用率(可选),缺省为 100 (100%)


target_mem_rate:期望的内存利用率(可选),缺省为 0.9(即 90%)


prefer:计算优化(c)、内存优化(m)或者同时考虑 CPU 和内存(c+m)(可选)缺省为 c+m


source_os: 源系统操作系统类型(可选),缺省为 Linux。如果是 BYOL 类型的,此处选择 Linux


可选项为:Linux,RHEL,SUSE,Windows


为了实现机型选择自动化,我们构造了一个新的 Python Library – select_ri.py。 select_ri.py 里面定义了一个 RI 类,还有两个方法:


1.select_ec2_by_type


2.select_ec2_by_config


注意:我们在上一篇文章中生成的价格文件 cn_ec2_standard_price.xlsx 需要与 select_ri.py 放在同一个目录下


这里我们先介绍第二个,第一个会在下一篇文章中介绍。


select_ec2_by_config 的功能是根据上面定义的输入项(Excel 格式记录),选择合适的 EC2 机型,输出如下信息:


target_type  target_vcpu  target_memory  target_price  target_ondemand 
target_type:目标EC2的类型
target_vcpu:目标EC2的CPU核数
target_memory:目标EC2的内存大小
target_price:目标EC2的一年标准RI实例价格
target_ondemand:目标EC2的On-Demand实例价格

输入参数:
input_row: Excel的行记录
location=’China (Beijing)’:缺省是Beijing Region,还可以选择China (Ningxia)
ec2_os=’Linux’:缺省是Linux
tenancy=’Shared’:缺省是Shared,还可以选择Dedicated,
preInstalledSw=’NA’:针对于Windows, 还可以选择SQL Ent,SQL Std,SQL Web
licenseModel=’No License required’:针对Windows,还可以选择Bring your own license
复制代码


如果在选择的机型上有要求,你也可以通过设置环境变量指定不选择哪些机型,例如:


os.environ['EXCLUDE_EC2_TYPE'] = "3,t"
复制代码


在目标机型中不选择 3 系列(c3,m3,r3)和 t(t2)系列的服务器。


在 select_ri.py 里面通过如下语句取得 Exclude 信息:


try:
exclude_list = os.getenv('EXCLUDE_EC2_TYPE').split(",")
except:
exclude_list = []
self.exclude = ""if exclude_list != []:
for exclude_type in exclude_list:
self.exclude = self.exclude + f'(type NOT LIKE \'%{exclude_type}%\') and '
复制代码


选择机型的逻辑是这样的:


q = "SELECT type,vcpu, memory,min(all_upfront_price_1yr)
FROM price_table
WHERE (vcpu >= {}) and (memory>={}) and (tenancy == '{}') and (location == '{}') and (os == '{}') and (all_upfront_price_1yr > 0) and {}{} and (license_model=='{}');".format(
t_vcpu, t_memory, tenancy, location, ec2_os, self.exclude, preInstalledSw_option, licenseModel)
复制代码


这里的 t_vcpu 的计算是这样的:


if (prefer.lower() == 'c') | (prefer.lower() == 'c+m') | (prefer.lower() == 'm+c'):
try:
return float(cpu_base) * float(cpu_rate) / 100 / target_cpu_rate
except TypeError:
return float(cpu_base)
else:
return 0(上面的cpu_base就是输入项中的vcpu(CPU核数))
复制代码


t_memory 的计算是这样的:


if (prefer.lower() == 'm') | (prefer.lower() == 'c+m') | (prefer.lower() == 'm+c'):
try:
return float(mem_base) * float(mem_rate) / 100 / target_mem_rate
except TypeError:
return float(mem_base)
else:
return 0
复制代码


为了验证一下效果,我们准备了如下 Excel 表格作为输入项:



输出结果如下:



使用的测试程序如下:


from select_ri import *
import pandas as pd

input = pd.read_excel("blog2_input.xlsx")
output = pd.DataFrame()

ri = RI()
for i in range(0, input.shape[0]):
row = pd.DataFrame(input.loc[[i]])
row = row.reset_index(drop=True)
result = ri.select_ec2_by_config(input_row=row)
output = output.append(result, ignore_index=True, sort=False)
output = pd.concat([input, output], axis=1, join_axes=[input.index])
print (output)
output.to_excel('blog2_output.xlsx', index=False)
复制代码


如果你没有收集到足够的信息,只是想初步评估一下迁移到云上的成本,那也没问题,最简单的输入信息如下:



你可以得到如下输出:



你也许很好奇,为什么目标服务器(r5 系列)都比实际要求的大呢,为什么不选择更小的 4 系列服务器呢?


那么我们就看看如果选择 4 系列服务器,成本是多少。 你可以通过定义环境变量来实现。


os.environ[‘EXCLUDE_EC2_TYPE’] = “5”

复制代码


运行结果如下:


仔细看看这两个输出文件中蓝色箭头所示的位置,这下你应该明白了吧,我们的程序真的是选择最经济的 EC2 机型!


本文中的完整程序可从这里下载:


https://github.com/shaneliuyx/awscnprice/tree/master/examples


————


如何自动化的选择和优化 EC2 系列(一)利用 AWS Price List API 生成中国区的 EC2 价格表


如何自动化的选择和优化 EC2 系列(二)在迁移项目中,如何自动选择最经济的 EC2(本博文)


如何自动化的选择和优化 EC2 系列(三)如何进行 EC2 优化,进一步优化成本


如何自动化的选择和优化 EC2 系列(四)如何为 SAP 应用选择合适的 EC2


如何自动化的选择和优化 EC2 系列(五)如何整合 RI 续购日期


作者介绍:


刘育新


AWS ProServe 团队高级顾问,长期从事企业客户入云解决方案的制定和项目的实施工作。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/how-to-choose-ec2-use-the-most-economic-one/


2019-09-29 16:31792
用户头像

发布了 1856 篇内容, 共 128.3 次阅读, 收获喜欢 81 次。

关注

评论

发布
暂无评论
发现更多内容

技术服务深耕本地市场:阿里云在日本的探索与实践|国家经理专栏

阿里巴巴云原生

阿里云 云原生

C++ 友元与运算符重载那些事

王玉川

c++ 编程语言 运算符 重载 friend

万里数据库加入龙蜥社区,打造基于“龙蜥+GreatSQL”的开源技术底座

OpenAnolis小助手

开源 龙蜥社区 greatsql社区 万里数据库 生态适配

vue实现一个鼠标滑动预览视频封面组件(精灵图版本)

JYeontu

Vue 视频

基于SLO告警(Part 4):开源项目 pyrra 使用

Grafana 爱好者

云原生 可观测性 Prometheus SRE SLO

从 JDK 9 到 19,我们帮您提炼了和云原生场景有关的能力列表(上)

阿里巴巴云原生

阿里云 云原生

架构实战营模块5 高性能高可用计算作业

西山薄凉

「架构实战营」

重磅发布丨《云原生实战指南》助力企业上云实践!

阿里巴巴云原生

阿里云 云原生实战

Higress + Nacos 微服务网关最佳实践

阿里巴巴云原生

阿里云 云原生 nacos Higress

突破边界:“超融合+”带来的商业化精益之路

脑极体

图片竟能直接生成逼真音效?这AI模型也太神奇了吧!

科技热闻

Java高手速成 | Hibernate的配置文件与JPA API的基本用法

TiAmo

hibernate jpa api 网关

Flomesh Ingress 使用实践(四)TLS 透传

Flomesh

Kubernetes 服务网格 ingress Pipy 流量管理

核心应用实现云原生改造升级,波司登数字化战略加速落地

阿里巴巴云原生

阿里云 云原生

架构训练营模块七作业

张建闯

架构实战营

试试 IntelliJ IDEA 新的 UI

HoneyMoose

应用纳管和灰度发布:谐云基于 KubeVela 的企业级云原生实践

阿里巴巴云原生

阿里云 容器 云原生 KubeVela

设计「业务」与「技术」方案

Java 架构 技术 业务

C# 如何部分加载“超大”解决方案中的部分项目

newbe36524

C# Docker Kubernetes

基于Verilog HDL的状态机描述方法

timerring

FPGA

Java 中如何限制方法的返回时间

HoneyMoose

2022阿里云技术年报:基础产品篇

阿里巴巴云原生

阿里云 云原生 基础产品

数据同步gossip协议原理与应用场景介绍

京东科技开发者

架构 Consul fabric Gossip协议 企业号 2 月 PK 榜

银行零售如何更贴近客户?是时候升级你的客户旅程平台了

Kyligence

数据分析 客户旅程

全景剖析阿里云容器网络数据链路(五):Terway ENI-Trunking

阿里巴巴云原生

阿里云 容器 云原生

IntelliJ IDEA 撤销和反撤销

HoneyMoose

IntelliJ IDEA 修改只读模式和可写模式

HoneyMoose

OpenMMLab图像分类实战代码演示

IT蜗壳-Tango

CV OpenMMLab 图片分类

架构训练营模块8

张建闯

架构实战营

推进行业生态发展完善,中国信通院第八批RPA评测工作正式启动

王吉伟频道

RPA 机器人流程自动化 中国信通院 RPA评测 RPA产业推进方阵

10 亿月活用户下,快手基于 Dragonfly 的超大规模镜像分发实践

阿里巴巴云原生

阿里云 容器 云原生

在迁移项目中,如何自动选择最经济的EC2_其他_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章