写点什么

MeilleursAgents 是如何监控分布式任务队列的

  • 2018-03-04
  • 本文字数:1106 字

    阅读完需:约 4 分钟

看新闻很累?看技术新闻更累?试试下载 InfoQ 手机客户端,每天上下班路上听新闻,有趣还有料!

MeilleursAgents 网站能够列出资产卖家的资产及其评估的价格,该网站分享了他们基于Celery 的分布式任务队列是如何监控的。由Python、StatsD、Bucky、Graphite 和Grafana 联合组成的管道能够监控任务的生命周期和执行率。

该文主要关注他们是如何监控Celery 运行的。 Celery 是一个由 Python 编写的分布式任务队列,它使用 broker- 客户端模式来分配任务给工作者(worker)。监控分布式任务队列是非常困难的,因为工作者节点是分布式的,很难跟踪特定请求的状态,如果跨多个系统的话,则会更加困难。但是,这种情况下的监控是关于整体成功 / 失败以及执行率的。每个阶段任务的累积数量,即已接收的(received)、已处理的(processed),也能反映出任务队列是否有速度减缓的情况。InfoQ 联系到了 MeilleursAgents 的工程主管 Pierre Boeuf 来学习这一话题。

指标收集管道包含 Python 客户端,它会监听 Celery 事件并使用 StatsD API 将数据推送至 StatsD 。然后,数据会被发送至 Bucky,Bucky 会将数据写入到 Graphite 中。 Bucky 会运行一个服务器,将传入的指标数据进行处理并转换成 Graphite 能够理解的格式。Bucky 所接收的指标可以是 StatsD 或 Collectd 这种指标工具所收集到的原始数据,如果 Graphite 无法理解传入的指标格式的话,那么 Bucky 就派上用场了。在 MeilleursAgents,Graphite 安装时使用了 Whisper 作为后端数据库。Boeuf 说团队在使用 Graphite 中还没有遇到扩展性方面的问题:

我们遇到的唯一扩展性相关的问题是因为将 StatsD 和 Graphite 放到了同一台服务器上。随着请求的增加,它出现了过载,所以我们现在在每台机器上都有本地 Bucky,它会推送指标数据。

Grafana 用来作为查询指标的前端。监控项包括任务、broker 以及工作者。按照 Boeuf 的说法,Web 和数据团队会使用仪表盘。

图片来源: https://medium.com/meilleursagents-engineering/how-we-monitor-asynchronous-tasks-da25728173d6?__s=6cjguhzuufdark8he4bm

他们组合使用 diffseries (在 Graphite 中,抽取时间序列的方式)和 Grafana着色(coloring)相关的配置可视化高亮显示可能存在的问题,比如红色背景代表某个应该为零的指标出现了非零的状况。 NewRelic Google Cloud Monitoring ,前者是一个外部工具,后者是产品所部署的云环境的一部分,这两个工具会负责告警部分。另外,NewRelic 还会监控 Celery 进程本身,确保它们处于运行状态。Grafana 也有内置的告警支持以及像 Pagerduty OpsGenie 这样的集成服务,但是团队并没有采用它们。

查看英文原文 Monitoring Distributed Task Queues at MeilleursAgents

2018-03-04 18:001259

评论

发布
暂无评论
发现更多内容

架构实战营模块三作业

冷大大

作业 架构实战营 模块三

假如只剩下canvas标签

执鸢者

大前端 canvas

霸气!这份清华学霸整理的Java线程池笔记,2小时从入门到入坟

飞飞JAva

Java

架构实战营 模块三课后作业

iProcess

架构实战营

架构实战营-模块3-作业

笑春风

模块三作业 - 消息队列系统架构设计文档

青鸟飞鱼

架构实战营

挖矿探索一:狗狗币-mac普通电脑

程序员架构进阶

比特币 区块链 28天写作 5月日更

作业三架构设计文档

大肚皮狒狒

模块3作业 3

杨彬

#架构实战营

MySQL索引原理浅析

逸少

MySQL 索引结构 索引

GreenPlum的CURD

数据社

greenplum 5月日更

架构训练营模块3作业《消息队列架构设计文档》-江哲

江哲

架构师实战营 模块三作业(基于自研集群 + MySQL 存储的消息队列系统架构设计文档)

好吃不贵

业务架构

初识Golang之err概述

Kylin

Go 语言 5月日更

架构实战营 - 模块三作业

凯迪

架构实战营 模块三:学习总结

👈

架构实战营

自研集群 + MySQL 存储详细架构文档

@oo?金樱子

applet跨域访问安全性问题(java.security.AccessControlException:access denied)

xcbeyond

跨域 5月日更 疑难杂症

架构实战训练营 - 模块三课后作业

Johnny

架构实战营

消息队列详细设计架构文档

Hesher

架构 MQ Architecture 消息队列 架构实战营

第三课作业

杰语

自研集群+MySQL架构设计文档模板

9527

架构实战营

架构实战营 - 模块三总结

凯迪

架构实战营

一文看懂 Go 的数据类型

Rayjun

Go 语言

前端百题斩[001]——typeof和instanceof

执鸢者

面试 大前端

消息中间件详细架构设计文档

白发青年

架构实战营

【LeetCode】制作 m 束花所需的最少天数Java题解

Albert

算法 LeetCode 5月日更

服务器又被挖矿了,怎么防?

运维研习社

挖矿 5月日更 Linux安全

架构训练营——模块2作业

圆心角

优秀程序员都在注意的十个点

好好学习,天天向上

Java 设计模式 代码 技巧

ARTS - week 8 补打卡

steve_lee

MeilleursAgents是如何监控分布式任务队列的_DevOps & 平台工程_Hrishikesh Barua_InfoQ精选文章