写点什么

AWS 云上混沌工程实践之对照实验设计篇

  • 2019-09-30
  • 本文字数:3229 字

    阅读完需:约 11 分钟

AWS云上混沌工程实践之对照实验设计篇

上一周,笔者有幸受邀参与了QCon 2019北京大会的混沌工程专场,和与会者分享了AWS云上混沌工程实践中对照实验的设计方法。特此在本专栏回顾这一场的分享内容,以飨读者。现场有感而发画了下面这个混沌工程的小漫画:


“如果你不提早发现和解决问题(引入混沌工程实验),最后问题会来(周末/半夜)解决你”。



图 1 混沌工程带来的变化


我们在启动篇从混沌工程的发展历程出发,分析了社区对混沌工程的理解并不是一蹴而就而是循序渐进,以此得到了第一个重要结论:


结论 1 :“并不是只有研发实力突出的大型互联网公司才能实践混沌工程”。


可行性评估篇明确了混沌工程的过去、当前和未来目标(实现韧性系统,如图 2 所示),为了帮助不同类型的公司来进行实践混沌工程,我们提出了混沌工程的可行性评估模型。



图 2 混沌工程的过去和未来


因此,我们得到了第二个重要的结论:


结论 2 :“也许很多公司目前仍处在第三象限(实验技术成熟度低、公司接纳指数低),但只要根据可行性评估模型中的逐项要求和未来发展的路线图,迭代推进和持续改进,我们都可以从混沌工程实践中获得收益。”


接下来的问题便是,混沌工程实验要怎么做,具体的设计方法是什么?

混沌工程实验:一个持续性迭代的闭环体系


图 3 混沌工程实验的实践流程


如图 3 所示,完整的混沌工程实验是一个持续性迭代的闭环体系,从初步的实验需求和实验对象出发,通过实验可行性评估,确定实验范围,设计合适的观测指标、实验场景和环境,选择合适的实验工具和平台框架;建立实验计划,和实验对象的干系人充分沟通,进而联合执行实验过程,并搜集预先设计好的实验指标;待实验完成后,清理和恢复实验环境,对实验结果进行分析,追踪根源并解决问题,并将以上实验场景自动化,并入流水线,定期执行;之后,便可开始增加新的实验范围,持续迭代和有序改进。


下面我们会深入讨论有关混沌工程实验的准备事项:


  • 实验可行性评估

  • 观测指标设计与对照

  • 实验场景和环境的设计

  • 实验工具和平台框架选型(限于篇幅,未完待续)

实验可行性评估

可行性评估篇提供了这样一个混沌工程实验的可行性评估模型,从多个维度对实验技术的成熟度做了定性分析。此处的实验可行性评估,依照这个可行性评估模型,会针对具体的实验需求和实验对象进行细致评估。常见的一个形式是对照“可行性评估问题表”,对实验对象的干系人进行访谈。可行性评估问题表的内容会包含以下几个方面:


  • 架构抵御故障的能力:通过对实验对象的架构高可用性的分析和评估,找出潜在的系统单点风险,确定合理的实验范围。

  • 实验指标设计:评估目前实验对象判定业务正常运行所需的业务指标、应用健康状况指标和其他系统指标。

  • 实验环境选择:选择实验对象可以应用的实验环境:开发、测试、预生产、生产。

  • 实验工具使用:评估目前实验对象对实验工具的熟悉程度。

  • 故障注入场景及爆炸半径:讨论和选择可行的故障注入场景,并评估每个场景的爆炸半径。

  • 实验自动化能力:衡量目前实验对象的平台自动化实施能力。

  • 环境恢复能力:根据选定的故障注入场景,评估实验对象对环境的清理和恢复能力。

  • 实验结果整理:根据实验需求,讨论确定实验结果和解读分析报告的内容项。

观测指标设计与对照

观测指标设计


观测指标的设计是整个混沌工程实验成功与否的关键之一。最新的调研报告“Chaos Engineering Observability: Bringing Chaos Experiments into System Observability”指出在进行混沌工程实验过程中,系统可观测性已成为一种“强制性功能”,良好的系统可观测性会给混沌工程实验带来一个强有力的数据支撑,为后续的实验结果解读、问题追踪和最终解决提供了坚实的基础。


以下是常见混沌工程实验的观测指标类型:


  • 业务性指标:价值最大,探测难度最大

  • 应用健康指标:反映应用的健康状况

  • 其他系统指标:较易获取,反映基础设施和系统的运行状况


以 Netflix 为例,早在 2008 年 Netflix 起步流媒体,手动追踪数百个指标,全靠人工来检测问题。 这种方法适用于数十台服务器和数千台设备,但不适用于未来的数千台服务器和数百万台设备。最终 Netflix 找到了一个可以反映业务状况、用户参与度的指标:每秒流视频启动次数 SPS (stream-starts-per-second)。



SPS 指标示例比较(红色=当前周,黑色=前一周)


SPS 模式通常是比较规则的,受到假日和事件等外部影响会有所变化。上图描绘的就是 SPS 随时间变化的波动情况,可以看出,它有一个稳定的模式,每天 SPS 峰值发生在晚上,谷值发生在清晨。这是因为人们习惯于在晚餐时间看电视节目。假期时,白天的观看次数增加,因为有更多的空闲时间在 Netflix 上观看节目。

观测指标对照

如果我们将过去一周的波动图放在当前的波动图之上,就像上图中当前的图线是红色,上一周的图线是黑色,以求找出其中的差异。由此,我们可用“受 SPS 影响”或“不影响 SPS”来衡量业务的状况。此外,由于 SPS 随时间的变化可以预期,所以我们可用一周前的 SPS 波动图作为稳定状态的模型,并通过使用预期 SPS 级别与实际 SPS 级别来衡量业务的可用性。Netflix SPS 指标的这种特性,也提醒我们应以观测指标的稳定状态进行对照。


不过可行性评估中,我们发现有很多的用户还是无法定义一个合适的业务指标,如无法准确定义一个稳定状态,那么我们也可以退而求其次,使用多个指标进行联合分析来对照。具体的联合分析方法包括:静态阈值、指数平滑、双指数平滑、贝叶斯检测、马尔可夫链蒙特卡罗方法(MCMC)、鲁棒主成分分析(PCA)等等,后面我们可以专门来详细讨论。

实验场景和环境的设计

实验场景和环境的设计要努力遵循以下三大设计目标:


  • 在生产环境运行实验

  • 持续自动化运行实验

  • 最小化实验场景的“爆炸半径”

实验场景设计

以下是亚马逊 AWS 云上常见的实验场景:


故障注入场景具体描述
依赖型故障AWS 托管服务异常:ELB/S3 / DynamoDB/Lambda,…
主机型故障EC2 实例异常终止,EC2 实例异常关闭,EBS 磁盘卷异常卸载,容器异常终止,容器异常关闭,RDS 数据库实例故障切换,ElastiCache 实例故障切换,…
操作系统内故障CPU、内存、磁盘空间、IOPS占满或突发过高占用,大文件,只读系统,系统重启,熵耗尽,…
网络故障网络延迟,网络丢包,DNS 解析故障,DNS 缓存毒化,VIP 转移,网络黑洞,…
服务层故障不正常关闭连接,进程被杀死,暂停/启用进程,内核奔溃,…
请求拦截型故障异常请求,请求处理延迟,…


这些场景的实施能力,依赖于实验工具和平台框架的选型,后面我们会专门来深入讨论。

实验环境设计


实验环境的不同,带来不同的业务风险。生产环境的业务风险最大,开发环境的业务风险最小,其他依次类推。我们会建议用户在生产环境上进行混沌工程实验,当然前提是这些实验场景和工具已经在开发/测试和预生产环境得到了验证。当然在生产环境上进行混沌工程实验也不是强制的,用户可以选择适合自己的推进节奏,逐步向生产环境靠拢。因为实验越接近生产环境,从结果中学到的越多。同时,为了体现实验对照的效果,在生产环境进行的混沌实验可以通过真实生产流量分支的方式,组建控制组和对照组,以此区分故障注入的影响,从一定程度上控制了爆炸半径。对于非生产环境的混沌工程实验,可采用模拟生产流量的方式,尽量和生产流量相似,来验证实验场景和工具的可靠性。


综上,本文是混沌工程专栏的第三篇,首先我们回顾了专栏前两篇中的重要结论,由此引申出“如何进行对照实验设计”这个实施性问题,并从实验可行性评估、观测指标设计与对照、实验场景和环境的设计三个维度,深入分析和讨论了混沌工程实验的对照设计原则和方法,后续我们还会针对特定专题进行剖析。


作者介绍:


黄帅


亚马逊 AWS 专业服务团队云架构咨询顾问。负责企业级客户的云架构设计和优化、DevOps 组织咨询和技术实施。在软件研发领域有多年架构设计和运维、团队管理经验,对 DevOps、云原生微服务治理框架、容器化平台运维、混沌工程实践等有深入的研究和热情。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/aws-cloud-chaos-engineering-experiment-designs-contract/


2019-09-30 15:20928
用户头像

发布了 1843 篇内容, 共 110.2 次阅读, 收获喜欢 77 次。

关注

评论

发布
暂无评论
发现更多内容

如何进行晶体负载电容的调试

元器件秋姐

电路设计 电子电路 元器件知识 元器件科普 负载电容

2022阅读总结

俞凡

阅读

软件测试丨工具在接口测试中发挥什么样的作用?

测试人

软件测试 自动化测试 接口测试 测试开发

软件测试的本质是什么?

测试人

软件测试 自动化测试 测试开发

Java技术学习培训机构哪个好

小谷哥

用优质俘获人心,贾斯特里尼&布鲁克斯葡萄酒成送礼首选

联营汇聚

OSCS开源安全周报第23期:Foxit PDF Reader/Editor 任意代码执行漏洞

墨菲安全

开源 安全

倒酒也是学问,贾斯特里尼&布鲁克斯葡萄酒专家教你如何倒酒

联营汇聚

一键导出Gerber文件教学实操,我设计的PCB再也没出过问题!

华秋PCB

工具 PCB PCB设计

皇室用酒贾斯特里尼&布鲁克斯,用匠心成就经典

联营汇聚

高效协同: 打造分布式系统的三种模式

俞凡

架构

前端程序员培训哪家比较好?

小谷哥

跑付活动:跑付南宁(联营)健身服务中心盛大开业

Geek_2d6073

在今年的数字生态大会上,云原生数据库前进了一大步

腾讯云数据库

数据库 云原生 TDSQL-C 腾讯云数据库

开源 高性能 云原生!时序数据库 TDengine 上线亚马逊Marketplace

TDengine

数据库 tdengine 开源 时序数据库

啊哈!缓存

孟君的编程札记

redis 缓存 cache canal Guava

内存多维数据分析引擎

元年技术洞察

大数据 数据中台 数字化转型 多维数据库

运维自动化之Kubernetes 云原生CICD部署管理系统

大V

golang DevOps CI/CD kubernetes 运维 webssh

培训大数据技术后的职业规划介绍

小谷哥

书单 | 这几本书被输出到德国啦!

博文视点Broadview

华为儿童手表5X系列“腕上学习天地”全新升级,首月0元畅享华为教育中心精品内容

最新动态

HMS Core 3D流体仿真技术,打造移动端PC级流体动效

HarmonyOS SDK

HMS Core

【JVM规范】第一章 前言

四月

Java JVM

为什么NoSQL数据库这么受欢迎?

腾讯云数据库

数据库 nosql 腾讯云数据库

适合前端程序员培训的人群有哪些

小谷哥

大数据参加培训学习靠谱吗?

小谷哥

有备无患!DBS高性价比方案助力富途证券备份上云

腾讯云数据库

数据库 腾讯云 备份 腾讯云数据库 富途证券

希捷发布2023年数据市场趋势预测,指引企业数据决策

Geek_2d6073

Dragonfly 和 Nydus Mirror 模式集成实践

SOFAStack

葡萄酒选择有技巧,贾斯特里尼&布鲁克斯皇室佳酿值得品尝

联营汇聚

测试监控和测试控制

FunTester

AWS云上混沌工程实践之对照实验设计篇_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章