QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

利用 AWS Step Function 自动扩展 Redshift 集群

  • 2019-10-25
  • 本文字数:2944 字

    阅读完需:约 10 分钟

利用 AWS Step Function 自动扩展 Redshift 集群

谈到公有云如何帮助我们降低总体拥有成本,人们首先想到的会是:



    以上两点都非常正确,然而,托管化的服务充其量只能简化某个单独服务的运维工作,而在实际的运维场景中,我们时常会遇到更复杂的运维工作流,这些工作流通常会涉及到对多个系统组件的操作,并且需要有严格的先后流程控制、故障回滚及错误告警等功能。如果以人工的操作来执行这类工作流,操作步骤繁复不说,更有可能由于某个环节的人工操作失误,导致系统出现意外的故障。


    为此,AWS 云上提供了相关的工作流调度服务 Step Function,帮助我们把这类工作自动化,降低运维负担及人为引入的故障率。当然,Step Function 并不仅仅局限于运维工作的自动化,事实上,AWS Step Functions 让您能够使用可视工作流轻松协调分布式应用程序和微服务的组件。通过使用每个都能执行离散函数的单独组件构建应用程序,让您能够快速扩展和更改应用程序。


    本文以一个实际客户的应用场景出发,来介绍如何使用 Step Function 服务,自动化执行一个拥有多个步骤的工作流。

    场景介绍

    用户使用 DMS 服务将 Aurora 中的数据持续导入到 Redshift 中做后续的分析,随着数据量的增加,需要调整 Redshift 集群的大小来扩展存储的容量,由于 Redshift 集群在调整大小的过程中处于只读的模式,此时 DMS 服务对 Redshift 的增量写入会失败,比较好的做法是先停止 DMS 任务,等到 Redshift 集群调整完毕后再启动,除了通过人力定期观察 Redshift 磁盘的使用量,并在合适的时候调整 Redshift 集群的方式之外,有没有一种无人值守的方式来帮助我们实现自动化的运维工作呢?


    下面我们就介绍一种通过 AWS 服务实现上述需求的解决方案,整个方案除了可以保证完全自动化之外,还拥有如下好处:



      • CloudWatch 每个月前 10 个 Alarm 免费。

      • SNS 每个月前 100 万次调用免费。

      • Lambda 每个月前 100 万次调用免费。

      • Step Function 每个月前 4000 次状态流程转换免费。


      我们可以看到,通过更多地使用 AWS 提供的 Serverless 服务,不仅提高了整个系统的自动化程度,降低运维成本,并且在调用不频繁的场景中,能够实现整个方案零成本。


      下面我们来看一下整个解决方案的架构设计:



      下面是整个方案的工作流程:




        我们来看一下这个 Step Function 的状态机,整个流程十分直观,当状态机启动后,首先会停止正在进行增量备份的 DMS 任务,之后对 DMS 任务的目标 Redshift 集群做一个 Snapshot 快照,然后调整 Redshift 集群的大小,最后重新启动 DMS 任务。


        相关代码下载:


        https://github.com/iwasnobody/RedshiftResize


        下面介绍详细的配置过程。

        第一步 准备工作:

        1.获取 DMS 服务中,作为同步任务目标的 Redshift 的 Endpoints ARN。



        2.创建 Role 供 Step Function 及相关的 Lambda 使用。


        首先创建 LambdaAccessStepFuncRole,使得相关 Lambda 能够触发 Step Function 执行任务。






        通过相同的方式创建 ResizeRedshift_DMSRole,使得相关 Lambda 能够启停 DMS 任务,调整 Redshift 集群大小。



        其中,DMSFullAccess 不是系统内置的 Policy,需要自己创建,下面是该 Policy 的具体设置,即:允许对 DMS 的所有相关操作。



        通过相同的方式创建 ResizeRedshift_StepFuncRole,使得 Step Function 能够在执行的某个阶段调用 Lambda 执行相关任务。



        第二步 创建 Step Function 中需要调用的 Lambda 函数 ResizeRedshift_StopDMS。


        选择之前创建好的 ResizeRedshift_DMSRole。



        从 GitHub 上获取 ResizeRedshift_StopDMS.py 代码。



        设置 Lambda 执行的环境变量,其中:


        redshift_arn 是准备工作中获取的 DMS 任务目标 Redshift 的 Endpoints ARN。


        redshift_name 是 DMS 任务的目标 Redshift 集群名称。


        第三步 创建 Step Function 状态机。


        选择之前创建好的 ResizeRedshift_StepFuncRole。



        从 GitHub 上获取 StepFunction 代码,注意需要将代码中的 Lambda Arn 改写成上面创建好的 ResizeRedshift_StopDMS Lambda 函数的 Arn。



        创建触发 Step Function 状态机的 Lambda 函数 TriggerStepFunc,选择之前创建的 LambdaAccessStepFuncRole。



        从 GitHub 上获取 TriggerStepFunc 代码。



        设置 Lambda 执行的环境变量,其中:


        StepFuncArn 为 Step Function ResizeRedshift 的 Arn。


        第四步 创建 SNS Topic,用于触发刚刚创建的 TriggerStepFunc Lambda 函数。




        第五步 在 CloudWatch 中创建 Redshift 存储容量的告警。


        选择相关 Redshift 集群的 PercentageDiskSpaceUsed。



        这里配置当已使用存储大于 80%时,触发告警。



        设置告警触发的时候,向已经创建的 SNS 发送消息。


        第六步 测试整个流程:

        1.进入 SNS,选择手工向 SNS 发送消息,具体的消息内容不重要。




        1. 在 Step Function 界面能够看到触发了新的状态机执行。




        1. 通过 DMS 界面,我们可以看到 DMS 任务已经被停止,在 Redshift 界面,我们可以查看集群扩展的状态。




        1. 等到状态机执行成功后,可以看到 DMS 任务被重新启动,并且 Redshift 集群的规模扩展了 1 倍。





        注意事项:


        1. 由于 Redshift 在调整集群的过程中处于 read only 模式,无法写入新的数据,此时 DMS 无法将 Aurora 的增量更新同步到 Redshfit 中,所以需要停止 DMS 任务,等到 Redshift 集群调整完成后再重新启动 DMS 任务。

        2. DMS 任务停止期间,Aurora 的增量更新保存在 binlog 中,需要确保 binlog 在 Aurora 中的保存时间大于 DMS 任务停止的时间,下图展示了如何将 binlog 的保存时间设为 24h。



        3.具体 binlog 的保存时间设为多长取决于 Redshift 当前的集群规模和数据量,建议如果当前集群规模及数据量较大的情况下,通过 Snapshot 镜像创建测试集群,手工调整测试集群的规模实际测试大致需要的时间。



        4. 如果希望能够在特定的维护时间窗口调整 Redshift 集群的规模,可以通过 SNS 发送邮件的方式通知运维人员,然后在特定时间手工触发 Step Function 来实现。


        作者介绍:


        余骏


        亚马逊 AWS 解决方案架构师,负责基于 AWS 的云计算方案架构的咨询和设计,同时致力于 AWS 云服务在国内的应用和推广。对应用容器化,微服务框架和应用等有浓厚的兴趣。在加入 AWS 之前,在思科中国担任系统工程师,负责方案咨询和架构设计,在企业私有云和基础网络方面有丰富经验。


        本文转载自 AWS 技术博客。


        原文链接:


        https://amazonaws-china.com/cn/blogs/china/aws-step-function-widen-auto-redshift/


        2019-10-25 08:001325

        评论

        发布
        暂无评论
        发现更多内容

        复制流动改变世界

        mtfelix

        28天写作

        聊聊 Kafka: Kafka 的基础架构

        老周聊架构

        签约计划第二季

        Java应用线上事故排查实战

        JavaEdge

        内容合集 签约计划第二季

        DDD领域驱动设计落地实践系列:工程结构分层

        慕枫技术笔记

        后端 架构师 签约计划第二季

        大厂算法面试之leetcode精讲20.字符串

        全栈潇晨

        算法 LeetCode

        新知识的地图绘制

        Nydia

        一图看懂软件缺陷检查涉及的内容

        Tom(⊙o⊙)

        软件安全 静态代码检查

        现实扭曲力场引论

        Justin

        群体心理学 28天写作 玄学

        架构实战营 - 毕业设计

        en

        #架构实战营

        『新华报』一分飞艇怎么操作的[手机乐乎]

        天马行空

        一分飞艇怎么操作的

        『新华报』赛车飞艇群[手机乐乎]

        天马行空

        赛车飞艇群

        『新华报』不建议强制上岸[手机乐乎]

        天马行空

        不建议强制上岸

        大厂算法面试之leetcode精讲19.数组

        全栈潇晨

        算法 LeetCode

        Prometheus Exporter (十五)PostgreSQL Server Exporter

        耳东@Erdong

        Prometheus postgres 28天写作 exporter 12月日更

        请清晰沟通选题-从策略层面定义技术演讲

        将军-技术演讲力教练

        圣迪

        Prometheus Exporter (十六)Microsoft SQL Server Exporter

        耳东@Erdong

        microsoft Prometheus 28天写作 exporter 12月日更

        【Dart 专题】Map 集合小结~

        阿策小和尚

        28天写作 0 基础学习 Flutter Android 小菜鸟 12月日更

        react源码解析13.hooks源码

        buchila11

        React React Hooks

        架构实战营 - 毕业总结

        en

        #架构实战营

        『新华报』重庆试试彩官方平台[手机乐乎]

        天马行空

        重庆试试彩官方平台

        看动画学算法之:二叉搜索树BST

        程序那些事

        数据结构 算法 程序那些事 12月日更

        举重若轻流水行云,前端纯CSS3实现质感非凡的图片Logo鼠标悬停(hover)光泽一闪而过的光影特效

        刘悦的技术博客

        CSS html css3 LOGO HTML5, CSS3

        『新华报』秒速飞艇开奖[手机乐乎]

        天马行空

        秒速飞艇开奖

        『新华报』飞艇开奖结果官网[手机乐乎]

        天马行空

        飞艇开奖结果官网

        『新华报』秒速飞艇开奖结果官网[手机乐乎]

        天马行空

        秒速飞艇开奖结果官网

        用错误的动作,让正确的事情发生(3/28)

        赵新龙

        28天写作

        『新华报』北京飞艇赛车微信群[手机乐乎]

        天马行空

        北京飞艇赛车微信群

        『新华报』回血上岸导师[手机乐乎]

        天马行空

        回血上岸导师

        『新华报』飞艇分析工具[手机乐乎]

        天马行空

        飞艇分析工具

        趣谈“链路追踪组件” Skywalking 和 PinPoint

        悟空聊架构

        链路追踪 Skywalking 28天写作 悟空聊架构 12月日更

        利用 AWS Step Function 自动扩展 Redshift 集群_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章