AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

使用 AWS Lambda 和 Amazon DynamoDB 自动管理 AWS CloudFormation 模板中的 Parameters 和 Mappings

  • 2019-11-15
  • 本文字数:1902 字

    阅读完需:约 6 分钟

使用AWS Lambda和Amazon DynamoDB自动管理AWS CloudFormation模板中的Parameters和Mappings

背景介绍

相信 AWS 的用户对 AWS CloudFormation 都不会陌生。AWS CloudFormation 是实现 IAC(Infrastructure as Code)自动化运维的一项重要服务,可以帮助用户对 AWS 资源进行建模和设置,以便能花较少的时间管理这些资源。CloudFormation 中有两个重要选项:Mappings 段和 Parameters 段,可以帮助用户组织模板里的参数和映射,让用户更好地自定义堆栈,以实现模板的重用和复用。比方说可以用 Mappings 管理对应 AWS 上不同 region 的 AMI ID,或者管理企业内部的不同部门。



但是当用户所在的组织越来越多地采用 IAC 自动化时,mappings 和 parameters 的数量也会急剧增长,给 CloudFormation 模板的编写和维护带来复杂度。

解决方案

本文里我们介绍一种方法:用当前流行的 Serverless 计算 AWS Lambda 和 Amazon DynamoDB 自动地管理 AWS CloudFormation 模板中的 Parameters 和 Mappings。


本文中主要用到了以下几种 AWS 服务:


1、DynamoDB 表:Amazon DynamoDB 是一个 NoSQL 数据库,这里我们采用它保存 CloudFormation 模板中所有的 mappings 和 parameters。不仅可以实现集中存放,而且可以依赖 DynamoDB 的接口实现方便快速地增删和查找。比方说在我们的 sample code 中,整个企业采用这样一张表:partition key 包括组名(比如说 team1、team2 等)和环境(比如说 development、test、production 等),sort key 保存应用的名字。这个表里的数据类似这样:



当我们把这些数据都 insert 到 DynamoDB 中后,可以在 AWS console 里看到表中的内容是这样的:



2、Lambda 方法:AWS Lambda 又称为 Serverless 的计算,通过它你可以运行你的 code 而不需要预配置或者管理任何服务器。这里我们采用 Lambda 方法实现 CloudFormation 和 DynamoDB 之间的关联,它从 CloudFormation 模板接收 primary key 和 sort key 作为输入,查找 DynamoDB 表,并且返回所有的 key-value 数据。


3、Custom lookup resource:这是 CloudFormation 里的一个自定义资源,与一个 Lambda 方法绑定。CloudFormation 除了可以定义已有的 AWS 资源,还支持几种自定义资源,包括这种以 Lambda 方法作为后端的自定义资源。当这种自定义资源创建、更新或者删除时,CloudFormation 自动地向 Lambda API 发起请求,引发方法并将请求的数据传给 Lambda 方法,本例中所请求的数据是 primary key,返回的数据是 key-value 数据。通常在一个组织中只需要建立这一个 custom resource,所有的 CloudFormation 模板都可以复用它。下图是 sample code 里建立的 custom resource:



让我们将这几种服务组合起来,并且定义好它们之间的交互顺序,整个解决方案就是下图展示的这样:



那么整个的交互顺序如下:


1、用户创建 DynamoDB 表,插入所需的 mappings 和 parameters 数据。


2、CloudFormation 模板中的 custom resource 调用 Lambda 方法,用组名和环境名称(“teamname-environment”)作为 partition key,用应用名称(”appname”)作为 sort key。


3、Lambda 方法用 partition key 和 sort key 作为输入查询 DynamoDB 表。


4、DyanamoDB 将结果返回给 Lambda 方法。


5、Lambda 方法将这些 key-value 数据作为结果返回给模板中的 custom resource。


6、custom resource 拿到数据后,堆栈里的其他资源可以通过 Fn::GetAtt 的方式获得这些数据。

结论

通过这种方式,可以将我们创建堆栈所需的固定部分保存在模板中,而将可变部分 mappings 和 parameters 保存在方便增删改查的 DynamoDB 中,用 Lambda 实现两者之间的关联。对于大型组织来说,这样可以提高运维效率,也是使用 CloudFormation 的一种最佳实践。

参考

可以在我们的网站上下载到相关的 sample code:https://github.com/awslabs/custom-lookup-lambda


关于 AWS Lambda 的更多内容请参考网站:https://aws.amazon.com/lambda/


关于 CloudFormation 自定义资源的更多内容请参考网站:http://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/template-custom-resources.html


作者介绍



张芸


AWS 云架构咨询顾问,获得 AWS 解决方案架构师专业级认证和 DevOps 工程师专业级认证,为企业客户和合作伙伴提供迈向云端的专业服务。目前已为多家跨国公司及本土公司、合作伙伴提供上云迁移、应用优化、架构设计等咨询设计和实施服务。在加入 AWS 之前有近 10 年的云计算和大数据开源技术研究和开发经验,拥有多项美国和中国专利及专利申请,涉及云计算及服务,分布式系统,软件定义数据中心和自动化运维等领域,合作编著图书《大数据–战略·技术·实践》。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/automatically-manage-parameters-and-mappings/


2019-11-15 08:00925

评论

发布
暂无评论
发现更多内容

828 B2B企业节,华为云如何提升生态合作伙伴的综合竞争力?

YG科技

如何赋能企业数字化转型?华为云有妙招

YG科技

Footprint Analytics 为 ABGA Web3 Gaming Summit 提供支持,助力 Web3 游戏行业发展

Footprint Analytics

议题征集|Flink Forward Asia 2023 正式启动

Apache Flink

flink

Last Week in Milvus

Zilliz

非结构化数据 Milvus Zilliz 向量数据库

数字化转型与架构-架构设计篇|如何开发一个各部门都满意的系统?

数字随行

数字化转型

ARTS 打卡第四周

程序员在修行

从构建者到设计者的低代码之路

树上有只程序猿

软件开发 低代码

亚信科技与中国信通院达成全方位、跨领域战略合作

亚信AntDB数据库

AntDB 国产数据库 AntDB数据库

序列化与反序列化一棵树

程序员在修行

从实时监控到智能洞察:Grafana 和 CnosDB 的无限潜力

CnosDB

时序数据库 开源社区 CnosDB

基于Vue3前后端分离的低代码开发框架

互联网工科生

Vue 软件开发 低代码 JNPF

不知道该选公有云还是私有云?这些客户请选私有云

青椒云云电脑

桌面云 云桌面

Ask Milvus Anything!聊聊被社区反复@的那些事儿 Ⅰ

Zilliz

非结构化数据 Milvus 向量数据库 deepdive

高校云桌面的“正确打开方式”是什么?

青椒云云电脑

云桌面 云桌面方案

Mybatis中传递多个参数的4种方法

源字节1号

开源 软件开发 前端开发 后端开发 小程序开发

云迁移?是技术问题也是团队问题

在天涯的海角

英特尔产品组合针对多规模AI模型性价比优势明显

E科讯

用AI提高代码质量,同事对我的代码赞不绝口~

飞算JavaAI开发助手

【转载】JVM实际内存占用超过Xmx的原因,设置Xmx的技巧

虚实的星空

Java

英文阅读 The manager's path 1.3

程序员在修行

使用消息队列有什么优点?有什么缺点?

程序员在修行

INFINI Easysearch 与兆芯完成产品兼容互认证

极限实验室

easysearch 兆芯 国产适配

一文读懂私有云、公有云和本地化部署

青椒云云电脑

公有云 私有云

9月24日,线下见个面?

MatrixOrigin

数据库 分布式 MatrixOrigin MatrixOne

Databend 开源周报第 110 期

Databend

数据通信网络之IPv6以太网单臂路由

timerring

数据通信网络

腾讯云 CODING 入选“数智影响力”数字化转型创新典型案例

CODING DevOps

百度智能云千帆社区上线有礼,助力开发者开启大模型之路!

科技热闻

关于身心灵学习的感悟1

程序员在修行

使用AWS Lambda和Amazon DynamoDB自动管理AWS CloudFormation模板中的Parameters和Mappings_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章