AICon 上海站|90%日程已就绪,解锁Al未来! 了解详情
写点什么

CAT 3.0 开源发布,支持多语言客户端及多项性能提升

  • 2020-02-25
  • 本文字数:2248 字

    阅读完需:约 7 分钟

CAT 3.0 开源发布,支持多语言客户端及多项性能提升

项目背景


CAT(Central Application Tracking),是美团点评基于 Java 开发的一套开源的分布式实时监控系统。美团点评基础架构部希望在基础存储、高性能通信、大规模在线访问、服务治理、实时监控、容器化及集群智能调度等领域提供业界领先的、统一的解决方案,CAT 目前在美团点评的产品定位是应用层的统一监控组件,在中间件(RPC、数据库、缓存、MQ 等)框架中得到广泛应用,为各业务线提供系统的性能指标、健康状况、实时告警等服务。


本文会对 CAT 的客户端、性能等做详细深入的介绍,前不久我们也发过一篇 CAT 相关的文章,里面详细介绍了 CAT 客户端和服务端的设计思路,欲知更多细节,欢迎阅读《深度剖析开源分布式监控CAT》

产品价值

  • 减少故障发现时间。

  • 降低故障定位成本。

  • 辅助应用程序优化。

技术优势

  • 实时处理:信息的价值会随时间锐减,尤其是在事故处理过程中。

  • 全量数据:全量采集指标数据,便于深度分析故障案例。

  • 高可用:故障的还原与问题定位,需要高可用监控来支撑。

  • 故障容忍:故障不影响业务正常运转、对业务透明。

  • 高吞吐:海量监控数据的收集,需要高吞吐能力做保证。

  • 可扩展:支持分布式、跨 IDC 部署,横向扩展的监控系统。

使用现状

目前,CAT 已经覆盖了美团点评的外卖、酒旅、出行、金融等核心业务线,几乎已经接入美团点评的所有核心应用,并在生产环境中大规模地得到使用。


2016 年初至今,CAT 接入的应用增加了 400%,机器数增加了 900%,每天处理的消息总量高达 3200 亿,存储消息量近 400TB,高峰期集群 QPS 达 650 万/秒。


面对流量的成倍增长,CAT 在通信、计算、存储方面都遇到了前所未有的挑战。整个系统架构也经历了一系列的升级和改造,包括消息采样聚合、消息存储、业务多维度指标监控、统一告警等等,项目最终稳定落地。为公司未来几年内业务流量的稳定增长,打下了坚定的基石。


经过 7 年的持续建设,CAT 也在不断发展,我们也希望更好的回馈社区,将 CAT 提供的服务惠及更多的外部公司。我们今年将对开源版本进行较大的迭代与更新,未来也会持续把公司内部一些比较好的实践推广出去,欢迎大家跟我们一起共建这个开源社区。

新版特性

CAT 3.0.0 Release Notes

多语言客户端

随着业务的不断发展,很多产品和应用需要使用不同的语言,CAT 多语言客户端需求日益增多,除 Java 客户端外,目前提供了 C/C++、Python、Node.js、Golang 客户端,基本覆盖了主流的开发语言。对于多语言客户端,核心设计目标是利用 C 客户端提供核心 API 接口作为底层基石,封装其他语言 SDK。



目前支持的主流语言使用指南:


性能提升

  • 消息采样聚合


消息采样聚合在客户端应对大流量时起到了至关重要的作用,当采样命中或者内存队列已满时都会经过采样聚合上报。采样聚合是对消息树拆分归类,利用本地内存做分类统计,将聚合之后的数据进行上报,减少客户端的消息量以及降低网络开销。



  • 通信协议优化


CAT 客户端与服务端通信协议由自定义文本协议升级为自定义二进制协议,在大规模数据实时处理场景下性能提升显著。目前服务端同时支持两种版本的通信协议,向下兼容旧版客户端。


  • 测试环境:CentOS 6.5,4C8G 虚拟机

  • 测试结果:新版相比旧版,序列化耗时降低约 3 倍

  • 消息文件存储


新版消息文件存储进行了重新设计,解决旧版本的文件存储索引、数据文件节点过多以及随机 IO 恶化的问题。


新版消息文件存储为了同时兼顾读写性能,引入了二级索引存储方案,对同一个应用的 IP 节点进行合并,并且保证一定的顺序存储。下图是索引结构的最小单元,每个索引文件由若干个最小单元组成。每个单元分为 4×1024 个桶,第一个桶作为我们的一级索引 Header,存储 IP、消息序列号与分桶的映射信息。剩余 4×1024 - 1 个桶作为二级索引,存储消息的地址。



新版消息文件存储文件节点数与应用数量成正比,有效减少随机 IO,消息实时存储的性能提升显著。以下为美团点评内部 CAT 线上环境单机消息存储的数据对比:


未来规划

  • 技术栈升级

  • 拥抱主流技术栈,降低学习和开发成本,使用开源社区主流技术工具(Spring、Mybatis 等),建设下一代开源产品。

  • 产品体验

  • 对产品、交互进行全新设计,提升用户体验。

  • 开源社区建设

  • 产品官网建设、组织技术交流。

  • 更多语言 SDK

关于开源

https://github.com/dianping/cat


自 2014 年开源以来,Github 收获 7700+ Star,2800+ Forks,被 100+ 公司企业使用,其中不乏携程、陆金所、猎聘网、平安等业内知 名公司。在每年全球 QCon 大会、全球架构与运维技术峰会等都有持续的技术输出,受到行业内认可,越来越多的企业伙伴加入了 CAT 的开 源建设工作,为 CAT 的成⻓贡献了巨大的力量。



美团点评基础架构部负责人黄斌强表示,在过去四年中,美团点评在架构中间件领域有比较多的积累沉淀,很多系统服务都经历过大规模线上业务实际运营的检验。我们在使用业界较多开源产品的同时,也希望能把积累的技术开源出去,一方面是回馈社区,贡献给整个行业生态;另一方面,让更多感兴趣的开发工程师也能参与进来,共同加速系统软件的升级与创新。所以,像 CAT 这样的优秀项目,我们将陆续开源输出并长期持续运营,保证开源软件本身的成熟度、支撑度与社区的活跃度,也欢迎大家给我们提出更多的宝贵意见和建议。

结语

这是一场没有终点的长跑,我们整个 CAT 项目组将长期有耐心地不断前行。愿同行的朋友积极参与我们,关注我们,共同打造一款企业级高可用、高可靠的分布式监控中间件产品,共同描绘 CAT 的新未来!


这次开源仅仅是一个新的起点,如果你对 CAT 新版本有一些看法以及建议,欢迎联系我们:cat@dianping.com or Github issues


2020-02-25 20:331144

评论

发布
暂无评论
发现更多内容

如何管理LAXCUS计算机集群

JAVA活菩萨

Java 程序员 后端 大厂技能 大厂实践

设计模式:里氏替代原理(LSP)

flow

签约计划第三季

Linux的难题,终于有解了!

Jackpop

关于 SAP UI5 floating footer 显示与否的单步调试以及使用 SAP UI5 的收益

汪子熙

前端开发 SAP SAP UI5 ui5 8月月更

头脑风暴:零钱兑换

HelloWorld杰少

8月月更

数据中台建设(十一):数据中台解决方案参考与未来发展方向

Lansonli

大数据 数据中台 8月月更

React组件应用于Spring MVC工程

JAVA活菩萨

Java 程序员 后端 大厂技能 大厂实践

什么是好的应用程序?

flow

签约计划第三季

C++为什么始终无法取代 C 吗?

Jackpop

架构实战营课程学习感受

极客土豆

百家号打击挂载恶意导流链接行为,必须严厉打击恶意挂链灰产

石头IT视角

云渲染掀起虚拟演唱会新热潮

3DCAT实时渲染

IT人才知道的二进制爱情,羡慕ing

ioik

爱情 二进制 java; 签约计划第三季

备份和恢复Kubernetes集群中的Etcd数据

JAVA活菩萨

Java 程序员 后端 大厂技能 大厂实践

如何进行技术面试?

flow

签约计划第三季

Nacos配置中心之服务端长轮询处理机制

急需上岸的小谢

8月月更

为什么企业需要使用 Wiki 工具?

Geek_da0866

华为研究院19级研究员几年心得终成趣谈网络协议文档,附大牛讲解

JAVA活菩萨

Java 程序员面试 大厂技能 秋招 大厂面经

最好的编程语言

flow

签约计划第三季

Docker基础:Docker 常用命令梳理

天使不哭

#开源 8月月更

使用 Monaco Editor 开发 SQL 编辑器

CRMEB

为什么互联网大厂一边疯狂裁员,一边不停招聘?

Jackpop

Service Mesh迁移原则

阿泽🧸

Service Mesh 8月月更

云渲染平台是互联网和云计算的发展产物

Finovy Cloud

云渲染 渲染农场 渲染价格

Kubernetes微服务Pod 影响力

CTO技术共享

开源 Kubernetes 集群 签约计划第三季 8月月更

技术内幕 | StarRocks Community Champion、阿里云技术专家解读 Optimizer 实现

StarRocks

数据库

SRv6网络典型部署场景

穿过生命散发芬芳

8月月更 SRv6

VS Code如何打造C/C++开发环境?

Jackpop

在常州“超级虚拟工厂”,中国智造正在“原力觉醒”

脑极体

如何设置跨域隔离启用 SharedArrayBuffer

JAVA活菩萨

Java 程序员 后端 大厂技能 大厂实践

C++深拷贝与浅拷贝,初始化列表,对象成员,静态成员相关分析

CtrlX

8月月更

CAT 3.0 开源发布,支持多语言客户端及多项性能提升_文化 & 方法_美团技术团队_InfoQ精选文章