写点什么

CAT 3.0 开源发布,支持多语言客户端及多项性能提升

  • 2020-02-25
  • 本文字数:2248 字

    阅读完需:约 7 分钟

CAT 3.0 开源发布,支持多语言客户端及多项性能提升

项目背景


CAT(Central Application Tracking),是美团点评基于 Java 开发的一套开源的分布式实时监控系统。美团点评基础架构部希望在基础存储、高性能通信、大规模在线访问、服务治理、实时监控、容器化及集群智能调度等领域提供业界领先的、统一的解决方案,CAT 目前在美团点评的产品定位是应用层的统一监控组件,在中间件(RPC、数据库、缓存、MQ 等)框架中得到广泛应用,为各业务线提供系统的性能指标、健康状况、实时告警等服务。


本文会对 CAT 的客户端、性能等做详细深入的介绍,前不久我们也发过一篇 CAT 相关的文章,里面详细介绍了 CAT 客户端和服务端的设计思路,欲知更多细节,欢迎阅读《深度剖析开源分布式监控CAT》

产品价值

  • 减少故障发现时间。

  • 降低故障定位成本。

  • 辅助应用程序优化。

技术优势

  • 实时处理:信息的价值会随时间锐减,尤其是在事故处理过程中。

  • 全量数据:全量采集指标数据,便于深度分析故障案例。

  • 高可用:故障的还原与问题定位,需要高可用监控来支撑。

  • 故障容忍:故障不影响业务正常运转、对业务透明。

  • 高吞吐:海量监控数据的收集,需要高吞吐能力做保证。

  • 可扩展:支持分布式、跨 IDC 部署,横向扩展的监控系统。

使用现状

目前,CAT 已经覆盖了美团点评的外卖、酒旅、出行、金融等核心业务线,几乎已经接入美团点评的所有核心应用,并在生产环境中大规模地得到使用。


2016 年初至今,CAT 接入的应用增加了 400%,机器数增加了 900%,每天处理的消息总量高达 3200 亿,存储消息量近 400TB,高峰期集群 QPS 达 650 万/秒。


面对流量的成倍增长,CAT 在通信、计算、存储方面都遇到了前所未有的挑战。整个系统架构也经历了一系列的升级和改造,包括消息采样聚合、消息存储、业务多维度指标监控、统一告警等等,项目最终稳定落地。为公司未来几年内业务流量的稳定增长,打下了坚定的基石。


经过 7 年的持续建设,CAT 也在不断发展,我们也希望更好的回馈社区,将 CAT 提供的服务惠及更多的外部公司。我们今年将对开源版本进行较大的迭代与更新,未来也会持续把公司内部一些比较好的实践推广出去,欢迎大家跟我们一起共建这个开源社区。

新版特性

CAT 3.0.0 Release Notes

多语言客户端

随着业务的不断发展,很多产品和应用需要使用不同的语言,CAT 多语言客户端需求日益增多,除 Java 客户端外,目前提供了 C/C++、Python、Node.js、Golang 客户端,基本覆盖了主流的开发语言。对于多语言客户端,核心设计目标是利用 C 客户端提供核心 API 接口作为底层基石,封装其他语言 SDK。



目前支持的主流语言使用指南:


性能提升

  • 消息采样聚合


消息采样聚合在客户端应对大流量时起到了至关重要的作用,当采样命中或者内存队列已满时都会经过采样聚合上报。采样聚合是对消息树拆分归类,利用本地内存做分类统计,将聚合之后的数据进行上报,减少客户端的消息量以及降低网络开销。



  • 通信协议优化


CAT 客户端与服务端通信协议由自定义文本协议升级为自定义二进制协议,在大规模数据实时处理场景下性能提升显著。目前服务端同时支持两种版本的通信协议,向下兼容旧版客户端。


  • 测试环境:CentOS 6.5,4C8G 虚拟机

  • 测试结果:新版相比旧版,序列化耗时降低约 3 倍

  • 消息文件存储


新版消息文件存储进行了重新设计,解决旧版本的文件存储索引、数据文件节点过多以及随机 IO 恶化的问题。


新版消息文件存储为了同时兼顾读写性能,引入了二级索引存储方案,对同一个应用的 IP 节点进行合并,并且保证一定的顺序存储。下图是索引结构的最小单元,每个索引文件由若干个最小单元组成。每个单元分为 4×1024 个桶,第一个桶作为我们的一级索引 Header,存储 IP、消息序列号与分桶的映射信息。剩余 4×1024 - 1 个桶作为二级索引,存储消息的地址。



新版消息文件存储文件节点数与应用数量成正比,有效减少随机 IO,消息实时存储的性能提升显著。以下为美团点评内部 CAT 线上环境单机消息存储的数据对比:


未来规划

  • 技术栈升级

  • 拥抱主流技术栈,降低学习和开发成本,使用开源社区主流技术工具(Spring、Mybatis 等),建设下一代开源产品。

  • 产品体验

  • 对产品、交互进行全新设计,提升用户体验。

  • 开源社区建设

  • 产品官网建设、组织技术交流。

  • 更多语言 SDK

关于开源

https://github.com/dianping/cat


自 2014 年开源以来,Github 收获 7700+ Star,2800+ Forks,被 100+ 公司企业使用,其中不乏携程、陆金所、猎聘网、平安等业内知 名公司。在每年全球 QCon 大会、全球架构与运维技术峰会等都有持续的技术输出,受到行业内认可,越来越多的企业伙伴加入了 CAT 的开 源建设工作,为 CAT 的成⻓贡献了巨大的力量。



美团点评基础架构部负责人黄斌强表示,在过去四年中,美团点评在架构中间件领域有比较多的积累沉淀,很多系统服务都经历过大规模线上业务实际运营的检验。我们在使用业界较多开源产品的同时,也希望能把积累的技术开源出去,一方面是回馈社区,贡献给整个行业生态;另一方面,让更多感兴趣的开发工程师也能参与进来,共同加速系统软件的升级与创新。所以,像 CAT 这样的优秀项目,我们将陆续开源输出并长期持续运营,保证开源软件本身的成熟度、支撑度与社区的活跃度,也欢迎大家给我们提出更多的宝贵意见和建议。

结语

这是一场没有终点的长跑,我们整个 CAT 项目组将长期有耐心地不断前行。愿同行的朋友积极参与我们,关注我们,共同打造一款企业级高可用、高可靠的分布式监控中间件产品,共同描绘 CAT 的新未来!


这次开源仅仅是一个新的起点,如果你对 CAT 新版本有一些看法以及建议,欢迎联系我们:cat@dianping.com or Github issues


2020-02-25 20:33984

评论

发布
暂无评论
发现更多内容

跨平台.NET IDE 集成开发环境JetBrains Rider 2024 for Mac

Mac相关知识分享

集成开发环境 mac软件开发

火山引擎数智平台:A/B测试个性化配置能力发布,拓展多场景策略最优解

字节跳动数据平台

大数据 A/B测试 对比实验 数字化增长

基于LangChain手工测试用例转Web自动化测试生成工具

测试人

人工智能 软件测试 测试用例

新兴产业怎么定义?需要堡垒机有什么用?

行云管家

网络安全 堡垒机 新兴产业

京东平台内容合规的技术与挑战

京东零售技术

合规 内容合规

在AI最火热的时候,AI大牛写了本小说

博文视点Broadview

深入京东API世界:商品详情返回值的秘密

技术冰糖葫芦

API Explorer API 测试 API 策略 pinduoduo API

Dapp/dEFI丨质押挖矿模式系统开发讲解【附源码合约实例】

V\TG【ch3nguang】

开源活动预告|抖音集团专家聚焦电商、PB级实时场景带来数据技术分享

字节跳动数据平台

邮件管理软件Microsoft Outlook 2021 LTSC for Mac

Mac相关知识分享

微软 办公软件

LED广告屏深受欢迎的原因分析

Dylan

广告 科技 LED display LED显示屏 零售电商市场

智能终端密码模块的三重防护

芯盾时代

信息安全 终端安全 密码

京东搜索重排:基于互信息的用户偏好导向模型

京东零售技术

搜索 企业号2024年8月PK榜

深入解析淘宝商品详情API返回值中的商品材质与成分

代码忍者

API 测试 API 策略

阐述(中心/去中心)交易所系统开发技术理念丨源码搭建丨技术分享

V\TG【ch3nguang】

云桌面如何深度解决传统办公场景应用难题?

上海锐起科技

MySQL 延迟从库介绍

Simon

MySQL MySQL主从复制

神途元宇宙游戏打金模式系统开发功能搭建设计

V\TG【ch3nguang】

Microsoft PowerPoint LTSC 2021 for Mac( ppt 2021)办公软件中文版

Mac相关知识分享

办公软件 mac软件下载

TimeWheel 算法介绍及在应用上的探索

vivo互联网技术

dubbo TimeWheel 时间轮模型

飞桨框架3.0核心升级:动静统一自动并行,轻松开发大模型

百度Geek说

百度 百度飞桨 #大模型

Mac 的云盘本地加载工具CloudMounter mac

Mac相关知识分享

云盘本地加载工具

《悠然垂钓记》模拟垂钓游戏模式开发步骤实行

V\TG【ch3nguang】

《全民养猪》模式系统开发搭建/规范设计

V\TG【ch3nguang】

袋鼠云《数据资产管理白皮书》重磅发布,提供数据资产管理新思路,激发数据资产新动能(附下载)

袋鼠云数栈

OpenAI“草莓项目”最快今年秋季发布!苹果将于9月10号推出首款AI iPhone|AI日报

可信AI进展

数业智能心大陆开学 “收心” 全指南

心大陆多智能体

智能体 AI大模型 心理健康 数字心理

浅谈大模型生成类应用的需求分析设计与实践

鲸品堂

文档 大模型 生成式 企业号2024年8月PK榜

家装辅助设计软件Sweet Home 3D for Mac

Mac相关知识分享

室内家居设计软件 室内设计软件

唐山等保测评机构有吗?在哪里?

行云管家

等保 等级保护 唐山

核心技术揭秘:AI、低代码与定制开发的三重奏,如何应对复杂业务需求

天津汇柏科技有限公司

低代码平台 软件开发定制 AI 人工智能

CAT 3.0 开源发布,支持多语言客户端及多项性能提升_文化 & 方法_美团技术团队_InfoQ精选文章