AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

在迁移项目中,如何自动选择最经济的 EC2

  • 2019-09-29
  • 本文字数:3296 字

    阅读完需:约 11 分钟

在迁移项目中,如何自动选择最经济的EC2

需求背景

我们在上一篇文章中讲了如何利用 AWS Price List API 生成 EC2 价格表,现在,我们就讲讲如何利用这个价格表自动化的选择最经济的 EC2 类型。

方案概述

在做大规模迁移时,我们首先要做的是收集线下数据中心 X86 服务器的信息,最基本的例如 CPU 核数,CPU 峰值利用率,内存大小(GB),内存峰值利用率,操作系统类型。我们想根据这些基本信息估算一下在云上应该选择何种机型,以及一年的费用大约是多少。大多数客户在上云后都会购买一年标准 RI 实例以节省费用,所以我们就以一年全部预付费标准 RI 的价格作为选择机型的依据。选择机型的逻辑是:满足内存和 CPU 需求的最便宜的机型。


当然,由于我们买的是一年标准 RI 实例,在一年之内不可改变机型配置,所以也应该考虑预留一年的业务增长量。因此,在以上收集的基本信息的基础上,我们还要加上两条:我们期望的 CPU 利用率和内存利用率。举例来说,如果您目前的某个服务器的 CPU 和内存利用率是 90%和 80%, 您预计在一年内业务会有 20% 的增长(我们姑且认为业务增长与资源需求成正比),当前的 CPU 是 4 核,内存是 16GB。如果你希望当业务增长 20%后,服务器的 CPU 和内存的利用率维持现状,即 90%和 80%, 选择的 EC2 机型应该在运行现有负载时的期望 CPU 利用率是 90%/1.2=75%, 期望的内存利用率是 80%/1.2=67%。


还有一点需要考虑的就是应用系统的特性,是以计算能力为主的还是以内存大小为主。AWS EC2 最小的 CPU:内存配比是 1:2,最大的是 1:8。


  • 如果是以计算为主的,我们在选择服务器的时候只考虑满足 CPU 的计算能力,我们会挑选满足计算能力的最经济的 EC2,这时的 CPU:内存配置至少是 1:2 (当然,如果价格合适,我们也会选择 CPU:内存是 1:4 的机型。但是,前提条件是,CPU:内存=1:2 的服务器已经可以满足内存需要)。

  • 如果是以内存为主的,我们在选择服务器的时候只考虑满足内存的大小,我们会挑选满足内存需求的最经济的 EC2,这时的 CPU:内存配置至少是 1:4 (当然,如果价格合适,我们也会选择 CPU:内存是 1:8 的机型。但是,前提条件是,CPU:内存=1:4 的服务器已经可以满足 CPU 需要)。

  • *当然,你也可以要求同时满足内存和 CPU 的要求,那么这时的选择逻辑就是同时满足内存和 CPU 要求的最便宜的 EC2 机型。

  • 综上所述,做机型选择的输入项有以下几条:

  • | vcpu | cpu_rate |target_cpu_rat | ememory | memory_rate | target_mem_rate | prefer |source_os |

  • | ---- | ---- |----| ----| ---- |----| ---- |---- |


vcpu:源系统 CPU 核数(必选)


cpu_rate: 源系统 CPU 峰值利用率(可选),缺省为 100 (100%)


target_cpu_rate: 期望的 CPU 利用率(可选),缺省为 0.9(即 90%)


memory:源系统内存大小(GB)(必选)


memory_rate: 源系统内存峰值利用率(可选),缺省为 100 (100%)


target_mem_rate:期望的内存利用率(可选),缺省为 0.9(即 90%)


prefer:计算优化(c)、内存优化(m)或者同时考虑 CPU 和内存(c+m)(可选)缺省为 c+m


source_os: 源系统操作系统类型(可选),缺省为 Linux。如果是 BYOL 类型的,此处选择 Linux


可选项为:Linux,RHEL,SUSE,Windows


为了实现机型选择自动化,我们构造了一个新的 Python Library – select_ri.py。 select_ri.py 里面定义了一个 RI 类,还有两个方法:


1.select_ec2_by_type


2.select_ec2_by_config


注意:我们在上一篇文章中生成的价格文件 cn_ec2_standard_price.xlsx 需要与 select_ri.py 放在同一个目录下


这里我们先介绍第二个,第一个会在下一篇文章中介绍。


select_ec2_by_config 的功能是根据上面定义的输入项(Excel 格式记录),选择合适的 EC2 机型,输出如下信息:


target_type  target_vcpu  target_memory  target_price  target_ondemand 
target_type:目标EC2的类型
target_vcpu:目标EC2的CPU核数
target_memory:目标EC2的内存大小
target_price:目标EC2的一年标准RI实例价格
target_ondemand:目标EC2的On-Demand实例价格

输入参数:
input_row: Excel的行记录
location=’China (Beijing)’:缺省是Beijing Region,还可以选择China (Ningxia)
ec2_os=’Linux’:缺省是Linux
tenancy=’Shared’:缺省是Shared,还可以选择Dedicated,
preInstalledSw=’NA’:针对于Windows, 还可以选择SQL Ent,SQL Std,SQL Web
licenseModel=’No License required’:针对Windows,还可以选择Bring your own license
复制代码


如果在选择的机型上有要求,你也可以通过设置环境变量指定不选择哪些机型,例如:


os.environ['EXCLUDE_EC2_TYPE'] = "3,t"
复制代码


在目标机型中不选择 3 系列(c3,m3,r3)和 t(t2)系列的服务器。


在 select_ri.py 里面通过如下语句取得 Exclude 信息:


try:
exclude_list = os.getenv('EXCLUDE_EC2_TYPE').split(",")
except:
exclude_list = []
self.exclude = ""if exclude_list != []:
for exclude_type in exclude_list:
self.exclude = self.exclude + f'(type NOT LIKE \'%{exclude_type}%\') and '
复制代码


选择机型的逻辑是这样的:


q = "SELECT type,vcpu, memory,min(all_upfront_price_1yr)
FROM price_table
WHERE (vcpu >= {}) and (memory>={}) and (tenancy == '{}') and (location == '{}') and (os == '{}') and (all_upfront_price_1yr > 0) and {}{} and (license_model=='{}');".format(
t_vcpu, t_memory, tenancy, location, ec2_os, self.exclude, preInstalledSw_option, licenseModel)
复制代码


这里的 t_vcpu 的计算是这样的:


if (prefer.lower() == 'c') | (prefer.lower() == 'c+m') | (prefer.lower() == 'm+c'):
try:
return float(cpu_base) * float(cpu_rate) / 100 / target_cpu_rate
except TypeError:
return float(cpu_base)
else:
return 0(上面的cpu_base就是输入项中的vcpu(CPU核数))
复制代码


t_memory 的计算是这样的:


if (prefer.lower() == 'm') | (prefer.lower() == 'c+m') | (prefer.lower() == 'm+c'):
try:
return float(mem_base) * float(mem_rate) / 100 / target_mem_rate
except TypeError:
return float(mem_base)
else:
return 0
复制代码


为了验证一下效果,我们准备了如下 Excel 表格作为输入项:



输出结果如下:



使用的测试程序如下:


from select_ri import *
import pandas as pd

input = pd.read_excel("blog2_input.xlsx")
output = pd.DataFrame()

ri = RI()
for i in range(0, input.shape[0]):
row = pd.DataFrame(input.loc[[i]])
row = row.reset_index(drop=True)
result = ri.select_ec2_by_config(input_row=row)
output = output.append(result, ignore_index=True, sort=False)
output = pd.concat([input, output], axis=1, join_axes=[input.index])
print (output)
output.to_excel('blog2_output.xlsx', index=False)
复制代码


如果你没有收集到足够的信息,只是想初步评估一下迁移到云上的成本,那也没问题,最简单的输入信息如下:



你可以得到如下输出:



你也许很好奇,为什么目标服务器(r5 系列)都比实际要求的大呢,为什么不选择更小的 4 系列服务器呢?


那么我们就看看如果选择 4 系列服务器,成本是多少。 你可以通过定义环境变量来实现。


os.environ[‘EXCLUDE_EC2_TYPE’] = “5”

复制代码


运行结果如下:


仔细看看这两个输出文件中蓝色箭头所示的位置,这下你应该明白了吧,我们的程序真的是选择最经济的 EC2 机型!


本文中的完整程序可从这里下载:


https://github.com/shaneliuyx/awscnprice/tree/master/examples


————


如何自动化的选择和优化 EC2 系列(一)利用 AWS Price List API 生成中国区的 EC2 价格表


如何自动化的选择和优化 EC2 系列(二)在迁移项目中,如何自动选择最经济的 EC2(本博文)


如何自动化的选择和优化 EC2 系列(三)如何进行 EC2 优化,进一步优化成本


如何自动化的选择和优化 EC2 系列(四)如何为 SAP 应用选择合适的 EC2


如何自动化的选择和优化 EC2 系列(五)如何整合 RI 续购日期


作者介绍:


刘育新


AWS ProServe 团队高级顾问,长期从事企业客户入云解决方案的制定和项目的实施工作。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/how-to-choose-ec2-use-the-most-economic-one/


2019-09-29 16:31801
用户头像

发布了 1856 篇内容, 共 131.6 次阅读, 收获喜欢 81 次。

关注

评论

发布
暂无评论
发现更多内容

LibreOffice 25.2 (Linux, macOS, Windows) - 自由免费的全能办公套件

sysin

超高清4K动态壁纸花见 Live Wallpaper & Themes 4K Pro for Mac激活版

小玖_苹果Mac软件

【YashanDB知识库】分布式LSC表修改字段

YashanDB

数据库 yashandb

一个测试代币引发的「血案」:TST 从 0 到 5 亿市值始末

TechubNews

加密货币 加密市场 TST

本地搭建DeepSeek和知识库 Dify做智能体Agent(推荐)

不在线第一只蜗牛

人工智能 DeepSeek

5G毫米波阵列天线仿真——CDF计算【CST仿真案例】

思茂信息

5G 仿真 CST软件

TikTok运营中的IP问题解析

Ogcloud

TikTok tiktok运营 tiktok矩阵 TikTok矩阵运营

Symantec Endpoint Protection 14.3 RU10 v14.3.12154.10000 下载

sysin

Zerto 10.0 Update 5 - 适用于本地、混合和多云环境的灾难恢复和数据保护

sysin

Zerto

Studio 3T 2025.2 (macOS, Linux, Windows) - MongoDB 的终极 GUI、IDE 和 客户端

sysin

一文详解 RocketMQ 如何利用 Raft 进行高可用保障

阿里巴巴云原生

阿里云 RocketMQ 云原生

Ai.com指向DeepSeek:中国AI强势崛起,却遭遇2000多仿冒域名阻击

国科云

Redis 持久化原理分析和使用建议

vivo互联网技术

redis 持久化

【YashanDB知识库】DataX迁移Hive到崖山分布式

YashanDB

数据库 yashandb

【YashanDB知识库】Springboot启动找不到崖山jdbc驱动的问题处理

YashanDB

数据库 yashandb

macOS Sequoia 15.3.1 (24D70) Boot ISO 原版可引导镜像下载

sysin

sequoia

Topaz Gigapixel AI for Mac(AI图片无损缩放工具)v8.2.0激活版

小玖_苹果Mac软件

设计师怎么进行在线评审?2个实用软件盘点!

职场工具箱

效率工具 设计 设计师 软件推荐 在线白板

【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法

YashanDB

数据库 yashandb

无问芯穹上架满血DeepSeek-R1国产适配,叠加Cursor开发效率飞升,附教程链接

科技热闻

征程 6 相比征程 5 对算子支持扩展的具体案例讲解

地平线开发者

自动驾驶 算法工具链 地平线征程6

《一文讲透》第4期:KWDB 数据库运维(7)—— 集群规划

KaiwuDB

数据库 集群规划

普通人也能轻松掌握的20个DeepSeek高频提示词(2025版)

王磊

【YashanDB知识库】扩展redo大小

YashanDB

数据库 yashandb

macOS Sonoma 14.7.4 (23H420) Boot ISO 原版可引导镜像下载

sysin

Sonoma

【YashanDB知识库】共享超过32000字节字符串插入CLOB类型方案

YashanDB

数据库 yashandb

一文简单了解企业级数据安全管理办法核心以及详细措施等

行云管家

数据安全 堡垒机 企业数据安全

在迁移项目中,如何自动选择最经济的EC2_其他_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章