作为一个分布式的消息发布 - 订阅系统, Apache Kafka 在 Yahoo 内部已经被很多团队所使用,例如媒体分析团队就将其应用到了实时分析流水线中,同时,Yahoo 整个 Kafka 集群处理的峰值带宽超过了 20Gbps(压缩数据)。为了让开发者和服务工程师能够更加简单地维护 Kafka 集群,Yahoo 构建了一个基于 Web 的管理工具,称为 Kafka Manager ,日前该项目已经在 GitHub 上开源。
通过Kafka Manager 用户能够更容易地发现集群中哪些主题或者分区分布不均匀,同时能够管理多个集群,能够更容易地检查集群的状态,能够创建主题,执行首选的副本选择,能够基于集群当前的状态生成分区分配,并基于生成的分配执行分区的重分配,此外,Kafka Manager 还是一个非常好的可以快速查看集群状态的工具。
Kafka Manager 使用 Scala 语言编写,其 Web 控制台基于 Play Framework 实现,除此之外,Yahoo 还迁移了一些 Apache Kafka 的帮助程序以便能够与 Apache Curator 框架一起工作。
安装 Kafka Manager 需要 Kafka 0.8.1.1 或者 0.8.2-beta、sbt 0.13.x 以及 Java 7+,同时还必须要配置一个 zookeeper 的主机用来管理 Kafka Manager 的状态。如果想要了解更多与安装配置相关的信息,可以点击这里。另外,在HackerNews 上还有一些有关于该开源项目的讨论,感兴趣的读者不妨查看这里。
感谢郭蕾对本文的审校。
给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。
活动推荐:
2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。
评论