QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Slack 借助 Z 分数监控克服部署恐惧

作者:Matt Saunders

  • 2024-04-23
    北京
  • 本文字数:1168 字

    阅读完需:约 4 分钟

大小:565.88K时长:03:13
Slack借助Z分数监控克服部署恐惧

团队沟通平台Slack的一位工程师写了一篇文章,讲述了他们如何克服部署恐惧,并成功地实现了一个机器人来监控部署过程。

 

Slack 高级软件工程师Sean McIlroy记录了他们如何从由一群开发人员轮流监控其 Webapp 部署,转变为使用机器人每天部署 150 个变更。McIlroy 在一篇博文中详细解释了赋予 ReleaseBot 关键角色的原因和逻辑。他描述了一个看似可怕的责任委派如何最终归结为一个检测图表峰值的数学问题。

 

工程师在将变更部署到像 Slack 这样的大型平台时会面临一系列独特的挑战,因为大多数服务都是在一个名为“The Webapp”的单体应用上运行,每周变更达数百次。Slack 采用了持续交付的部署理念,旨在根据反馈快速迭代,并将开发人员的工作快速交付给客户。然而,管理一个经常使用的变更流(平均每天 150 次左右)需要谨慎权衡,既要避免使系统不堪重负,又要将错误风险降至最低。

 

传统上,Slack 依赖于部署指挥官(DC),即负责在轮班期间执行部署步骤的人。但是,DC 的轮转性质和系统复杂性的日益增加对于信心和专门知识的构建构成了挑战。因此,发布工程团队试图通过为 DC 提供更清晰的决策指导来解决这个问题。

 

这就是开发 ReleaseBot 的初衷。ReleaseBot 是一个具备异常检测和监控功能的自动部署系统。从手动部署到自动部署的过渡是一个渐进的过程。最开始的时候,ReleaseBot 与 DC 一起操作,并逐步证明了它的可靠性和效率。它可以比人更快地捕获问题,且提供了更高的一致性。虽然起初,人们对自动化部署可能带来的风险感到担忧,但 ReleaseBot 的性能超出了预期,使人们对其自主处理部署的能力充满了信心。

 

ReleaseBot 的有效性在于它的异常检测机制,特别是使用了 z 分数(z-score)。Z分数量化了数据点与平均值的偏差,能够识别指示潜在问题的统计异常值。如果应用程序在部署后的表现与之前的表现不同,就会触发问题的“高置信度”信号,并通知工程师可能存在需要干预的问题。实际上,这是一种检测图形峰值的数学技术。高置信度信号由与历史数据的显著偏差触发,可立即引起注意,而低置信度信号通常由静态阈值控制,可作为补充预警。



Slack 发送给团队的通知其严重程度根据高置信度信号的频率和范围来确定,并用白、蓝、红构成的三色标尺来表示信号的紧急程度。Slack 还使用静态阈值通知作为低置信度预警,但也会把它们作为 ReleaseBot 的输入来计算动态阈值。动态阈值考虑了部署时组件的正常负载和性能。ReleaseBot 会使用历史数据来区分部署期间的异常峰值和预期波动。这种方法使得 Slack 可以过滤掉常规变化,同时标记出需要干预的真正异常。

 

最后,McIlroy 着重说明了部署监控与普通监控的不同之处。Slack 利用这些知识构建了一个工具,使部署变得不再那么可怕。与让开发人员盯着仪表板相比,使用这个工具来管理部署会让他们更有信心。点击这里阅读全文。

 

原文链接:

https://www.infoq.com/news/2024/03/slack-z-score-monitoring/

2024-04-23 08:003520

评论

发布
暂无评论
发现更多内容

你知道什么是IP地址全生命周期吗?

郑州埃文科技

IP

创新+1+1+1+1!筑牢算力底座,助推AI产业繁荣发展!

天翼云开发者社区

云计算 云原生

Lightroom Classic(Lrc)与Lightroom(Lr)有哪些区别?如何选择LRC和Lr?

Rose

让你的 Mac 用上最美的屏保,Aerial 使用教程

Rose

Flink 实时湖仓,为汽车行业数字化加速!

阿里云大数据AI技术

大数据 flink 车联网 实时计算

50亿美元亏损背后:解析生成式 AI 的商业模式之争

Baihai IDP

程序员 AI 白海科技 LLMs GenAI

释放时序数据活力:Greptime 边云一体解决方案白皮书发布!

Greptime 格睿科技

数据库 开源 数据分析 物联网 边云一体

仓储管理系统-综合管理(源码+文档+部署+讲解)

深圳亥时科技

JavaScript 与 Rust 和 WebAssembly 集成

京东科技开发者

Final Cut Pro X 插件不能使用出现叹号的解决办法

Rose

Mac怎么创建txt文件?如何设置新建txt的快捷键?

Rose

笔记 20240530

Geek_d01095

RocketMQ

笔记 20240611

Geek_d01095

Elastic Search

亚马逊云科技宣布为 Amazon ElastiCache 提供预留节点灵活性

伊克罗德信息科技

淘宝1688跨境电商API接口接入指南:跨境卖家必备知识

代码忍者

pinduoduo API

笔记 20240604

Geek_d01095

Spring Cloud Gateway

数据资产也能入表?企业将迎来哪些变革?

郑州埃文科技

数据 数据资产入表

photoshop弹出Time to update 提示框,如何关闭

Rose

积分超市系统(源码 + 文档 + 部署 + 讲解)

深圳亥时科技

Mac桌面多窗口整理神器Moom,Moom使用教程

Rose

使用Creative Cloud Cleaner Tool mac轻松彻底卸载删除Adobe系列软件

Rose

pr lut插件如何安装? lut预设导入Premiere Pro教程分享

Rose

枫清·天枢多模态智能引擎 V2.1.2 版本正式发布!

Fabarta

图数据库 #人工智能 #大模型 多模态数据库

笔记 20240524

Geek_d01095

camunda

笔记 20240615

Geek_d01095

RocketMQ

了解一下,CST软件的TLM求解器

思茂信息

仿真软件 cst使用教程 电磁仿真

Slack借助Z分数监控克服部署恐惧_后端_InfoQ精选文章