写点什么

在迁移项目中,如何自动选择最经济的 EC2

  • 2019-09-29
  • 本文字数:3296 字

    阅读完需:约 11 分钟

在迁移项目中,如何自动选择最经济的EC2

需求背景

我们在上一篇文章中讲了如何利用 AWS Price List API 生成 EC2 价格表,现在,我们就讲讲如何利用这个价格表自动化的选择最经济的 EC2 类型。

方案概述

在做大规模迁移时,我们首先要做的是收集线下数据中心 X86 服务器的信息,最基本的例如 CPU 核数,CPU 峰值利用率,内存大小(GB),内存峰值利用率,操作系统类型。我们想根据这些基本信息估算一下在云上应该选择何种机型,以及一年的费用大约是多少。大多数客户在上云后都会购买一年标准 RI 实例以节省费用,所以我们就以一年全部预付费标准 RI 的价格作为选择机型的依据。选择机型的逻辑是:满足内存和 CPU 需求的最便宜的机型。


当然,由于我们买的是一年标准 RI 实例,在一年之内不可改变机型配置,所以也应该考虑预留一年的业务增长量。因此,在以上收集的基本信息的基础上,我们还要加上两条:我们期望的 CPU 利用率和内存利用率。举例来说,如果您目前的某个服务器的 CPU 和内存利用率是 90%和 80%, 您预计在一年内业务会有 20% 的增长(我们姑且认为业务增长与资源需求成正比),当前的 CPU 是 4 核,内存是 16GB。如果你希望当业务增长 20%后,服务器的 CPU 和内存的利用率维持现状,即 90%和 80%, 选择的 EC2 机型应该在运行现有负载时的期望 CPU 利用率是 90%/1.2=75%, 期望的内存利用率是 80%/1.2=67%。


还有一点需要考虑的就是应用系统的特性,是以计算能力为主的还是以内存大小为主。AWS EC2 最小的 CPU:内存配比是 1:2,最大的是 1:8。


  • 如果是以计算为主的,我们在选择服务器的时候只考虑满足 CPU 的计算能力,我们会挑选满足计算能力的最经济的 EC2,这时的 CPU:内存配置至少是 1:2 (当然,如果价格合适,我们也会选择 CPU:内存是 1:4 的机型。但是,前提条件是,CPU:内存=1:2 的服务器已经可以满足内存需要)。

  • 如果是以内存为主的,我们在选择服务器的时候只考虑满足内存的大小,我们会挑选满足内存需求的最经济的 EC2,这时的 CPU:内存配置至少是 1:4 (当然,如果价格合适,我们也会选择 CPU:内存是 1:8 的机型。但是,前提条件是,CPU:内存=1:4 的服务器已经可以满足 CPU 需要)。

  • *当然,你也可以要求同时满足内存和 CPU 的要求,那么这时的选择逻辑就是同时满足内存和 CPU 要求的最便宜的 EC2 机型。

  • 综上所述,做机型选择的输入项有以下几条:

  • | vcpu | cpu_rate |target_cpu_rat | ememory | memory_rate | target_mem_rate | prefer |source_os |

  • | ---- | ---- |----| ----| ---- |----| ---- |---- |


vcpu:源系统 CPU 核数(必选)


cpu_rate: 源系统 CPU 峰值利用率(可选),缺省为 100 (100%)


target_cpu_rate: 期望的 CPU 利用率(可选),缺省为 0.9(即 90%)


memory:源系统内存大小(GB)(必选)


memory_rate: 源系统内存峰值利用率(可选),缺省为 100 (100%)


target_mem_rate:期望的内存利用率(可选),缺省为 0.9(即 90%)


prefer:计算优化(c)、内存优化(m)或者同时考虑 CPU 和内存(c+m)(可选)缺省为 c+m


source_os: 源系统操作系统类型(可选),缺省为 Linux。如果是 BYOL 类型的,此处选择 Linux


可选项为:Linux,RHEL,SUSE,Windows


为了实现机型选择自动化,我们构造了一个新的 Python Library – select_ri.py。 select_ri.py 里面定义了一个 RI 类,还有两个方法:


1.select_ec2_by_type


2.select_ec2_by_config


注意:我们在上一篇文章中生成的价格文件 cn_ec2_standard_price.xlsx 需要与 select_ri.py 放在同一个目录下


这里我们先介绍第二个,第一个会在下一篇文章中介绍。


select_ec2_by_config 的功能是根据上面定义的输入项(Excel 格式记录),选择合适的 EC2 机型,输出如下信息:


target_type  target_vcpu  target_memory  target_price  target_ondemand 
target_type:目标EC2的类型
target_vcpu:目标EC2的CPU核数
target_memory:目标EC2的内存大小
target_price:目标EC2的一年标准RI实例价格
target_ondemand:目标EC2的On-Demand实例价格

输入参数:
input_row: Excel的行记录
location=’China (Beijing)’:缺省是Beijing Region,还可以选择China (Ningxia)
ec2_os=’Linux’:缺省是Linux
tenancy=’Shared’:缺省是Shared,还可以选择Dedicated,
preInstalledSw=’NA’:针对于Windows, 还可以选择SQL Ent,SQL Std,SQL Web
licenseModel=’No License required’:针对Windows,还可以选择Bring your own license
复制代码


如果在选择的机型上有要求,你也可以通过设置环境变量指定不选择哪些机型,例如:


os.environ['EXCLUDE_EC2_TYPE'] = "3,t"
复制代码


在目标机型中不选择 3 系列(c3,m3,r3)和 t(t2)系列的服务器。


在 select_ri.py 里面通过如下语句取得 Exclude 信息:


try:
exclude_list = os.getenv('EXCLUDE_EC2_TYPE').split(",")
except:
exclude_list = []
self.exclude = ""if exclude_list != []:
for exclude_type in exclude_list:
self.exclude = self.exclude + f'(type NOT LIKE \'%{exclude_type}%\') and '
复制代码


选择机型的逻辑是这样的:


q = "SELECT type,vcpu, memory,min(all_upfront_price_1yr)
FROM price_table
WHERE (vcpu >= {}) and (memory>={}) and (tenancy == '{}') and (location == '{}') and (os == '{}') and (all_upfront_price_1yr > 0) and {}{} and (license_model=='{}');".format(
t_vcpu, t_memory, tenancy, location, ec2_os, self.exclude, preInstalledSw_option, licenseModel)
复制代码


这里的 t_vcpu 的计算是这样的:


if (prefer.lower() == 'c') | (prefer.lower() == 'c+m') | (prefer.lower() == 'm+c'):
try:
return float(cpu_base) * float(cpu_rate) / 100 / target_cpu_rate
except TypeError:
return float(cpu_base)
else:
return 0(上面的cpu_base就是输入项中的vcpu(CPU核数))
复制代码


t_memory 的计算是这样的:


if (prefer.lower() == 'm') | (prefer.lower() == 'c+m') | (prefer.lower() == 'm+c'):
try:
return float(mem_base) * float(mem_rate) / 100 / target_mem_rate
except TypeError:
return float(mem_base)
else:
return 0
复制代码


为了验证一下效果,我们准备了如下 Excel 表格作为输入项:



输出结果如下:



使用的测试程序如下:


from select_ri import *
import pandas as pd

input = pd.read_excel("blog2_input.xlsx")
output = pd.DataFrame()

ri = RI()
for i in range(0, input.shape[0]):
row = pd.DataFrame(input.loc[[i]])
row = row.reset_index(drop=True)
result = ri.select_ec2_by_config(input_row=row)
output = output.append(result, ignore_index=True, sort=False)
output = pd.concat([input, output], axis=1, join_axes=[input.index])
print (output)
output.to_excel('blog2_output.xlsx', index=False)
复制代码


如果你没有收集到足够的信息,只是想初步评估一下迁移到云上的成本,那也没问题,最简单的输入信息如下:



你可以得到如下输出:



你也许很好奇,为什么目标服务器(r5 系列)都比实际要求的大呢,为什么不选择更小的 4 系列服务器呢?


那么我们就看看如果选择 4 系列服务器,成本是多少。 你可以通过定义环境变量来实现。


os.environ[‘EXCLUDE_EC2_TYPE’] = “5”

复制代码


运行结果如下:


仔细看看这两个输出文件中蓝色箭头所示的位置,这下你应该明白了吧,我们的程序真的是选择最经济的 EC2 机型!


本文中的完整程序可从这里下载:


https://github.com/shaneliuyx/awscnprice/tree/master/examples


————


如何自动化的选择和优化 EC2 系列(一)利用 AWS Price List API 生成中国区的 EC2 价格表


如何自动化的选择和优化 EC2 系列(二)在迁移项目中,如何自动选择最经济的 EC2(本博文)


如何自动化的选择和优化 EC2 系列(三)如何进行 EC2 优化,进一步优化成本


如何自动化的选择和优化 EC2 系列(四)如何为 SAP 应用选择合适的 EC2


如何自动化的选择和优化 EC2 系列(五)如何整合 RI 续购日期


作者介绍:


刘育新


AWS ProServe 团队高级顾问,长期从事企业客户入云解决方案的制定和项目的实施工作。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/how-to-choose-ec2-use-the-most-economic-one/


2019-09-29 16:31734
用户头像

发布了 1843 篇内容, 共 110.2 次阅读, 收获喜欢 77 次。

关注

评论

发布
暂无评论
发现更多内容

电商系统微服务拆分设计

Lane

拆分电商系统为微服务

唐江

架构实战营

模块6 学习总结

TH

「SQL数据分析系列」8. 分组和聚合

Databri_AI

数据库 sql 大数据 存储 计算

模块6作业 拆分电商系统为微服务

TH

架构实战营

Angular | 浅谈Angular错误处理方式

devpoint

angular.js angular 6月日更

模块6课后作业

方堃

排序算法之冒泡排序

xcbeyond

排序算法 冒泡排序 6月日更

微服务的由来

卢卡多多

微服务 6月日更

备战618!分布式电商项目:天猫Java亿级高并发架构设计笔记

Java架构追梦

Java 阿里巴巴 架构 面试 亿级架构

前端 JavaScript 之『节流』的简单代码实现

编程三昧

JavaScript 大前端 js 防抖节流 代码实现

[译] R8 优化:Null 数据分析 (第一篇)

Antway

1年半经验,2本学历,Curd背景,竟给30K,我的美团Offer终于来了

Java 程序员 架构 面试

经济日报刊评:数字人民币应用场景拓展

CECBC

双非渣本后端,三个月逆袭字节,入职那天“泪目”了

Java架构师迁哥

架构师实战营 模块六作业(拆分电商系统为微服务)

好吃不贵

业务架构

Dajngo网站开发---Task2

IT蜗壳-Tango

6月日更

金融科技加速经济低碳转型 但面临政策、市场、技术等多方挑战

CECBC

[译] R8 优化:Null 数据分析 (第二篇)

Antway

6月日更

Three.js杂记(十二)—— VR全景效果制作·中

空城机

大前端 three.js 6月日更

🌏【架构师指南】分布式事务(XA)与一致性算法(Paxos、Raft、Zab、NWR)

洛神灬殇

ZAB raft协议 paxos协议 6月日更

现在后端开发都在用什么数据库存储数据?

Linux服务器开发

MySQL 数据库 后端 中间件 Linux服务器开发

手写一个简单的SpringBoot Starter

赵镇

架构实战营 模块六:课后作业

Ahu

架构实战营

堆与堆排序

wzh

Java 数据结构 算法 堆排序 数据结构与算法

Python——命名元组 (namedtuple)

在即

6月日更

setTimeout(〒︿〒) 请原谅我一直以来对你的忽视

编程三昧

JavaScript 大前端 定时器 基础知识

架构实战营 模块六作业

netspecial

架构实战营

Redis入门一:简介

打工人!

数据库 nosql redis 6月日更

四个决策树让你彻底掌握 HTTP 状态码

看山

HTTP 6月日更

太为难我了,阿里面试了7轮(5年经验,拿下P7岗offer)

Java 程序员 架构 面试

在迁移项目中,如何自动选择最经济的EC2_其他_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章