AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

如何找到 Kafka 集群的吞吐量极限?

  • 2019-02-26
  • 本文字数:2578 字

    阅读完需:约 8 分钟

如何找到Kafka集群的吞吐量极限?

Kafka 是非常流行的分布式流式处理和大数据消息队列解决方案,在技术行业已经得到了广泛采用,在 Dropbox 也不例外。Kafka 在 Dropbox 的很多分布式系统数据结构中发挥着重要的作用:数据分析、机器学习、监控、搜索和流式处理,等等。在 Dropbox,Kafka 集群由 Jetstream 团队负责管理,他们的主要职责是提供高质量的 Kafka 服务。他们的一个主要目标是了解 Kafka 在 Dropbox 基础设施中的吞吐量极限,这对于针对不同用例做出适当的配置决策来说至关重要。最近,他们创建了一个自动化测试平台来实现这一目标。这篇文章将分享他们所使用的方法和一些有趣的发现。


更多干货内容请关注微信公众号“AI 前线”(ID:ai-front)

测试平台


上图描绘了本文所使用的测试平台的设置。我们在 Spark 中使用 Kafka 客户端,这样就可以以任意规模生成和消费流量。我们搭建了三个不同大小的 Kafka 集群,要调整集群大小,只需要将流量重定向到不同的集群。我们创建了一个 Kafka 主题,用于生成测试流量。为简单起见,我们将流量均匀地分布在 Kafka broker 之间。为实现这一目标,我们创建了测试主题,分区数量是 broker 数量的 10 倍,这样每个 broker 都是 10 个分区的首领。因为写入单个分区是串行的,所以如果每个 broker 的分区太少会导致写入竞争,从而限制了吞吐量。根据我们的实验,10 是一个恰到好处的数字,可以避免写入竞争造成吞吐量瓶颈。


由于基础设施的分布式特性,客户端遍布在美国的不同地区。因为测试流量远低于 Dropbox 网络主干的限制,所以我们可以安全地假设跨区域流量的限制也适用于本地流量。

是什么影响了工作负载?

有一系列因素会影响 Kafka 集群的工作负载:生产者数量、消费者群组数量、初始消费者偏移量、每秒消息数量、每条消息的大小,以及所涉及的主题和分区的数量,等等。我们可以自由地设置参数,因此,很有必要找到主导的影响因素,以便将测试复杂性降低到实用水平。


我们研究了不同的参数组合,最后得出结论,我们需要考虑的主要因素是每秒产生的消息数(mps)和每个消息的字节大小(bpm)。

流量模型

我们采取了正式的方法来了解 Kafka 的吞吐量极限。特定的 Kafka 集群都有一个相关联的流量空间,这个多维空间中的每一个点都对应一个 Kafka 流量模式,可以通过参数向量来表示:<mps、bpm、生产者数量、消费者群组数量、主题数量……>。所有不会导致 Kafka 过载的流量模式都形成了一个封闭的子空间,其表面就是 Kafka 集群的吞吐量极限。


对于初始测试,我们选择将 mps 和 bpm 作为吞吐量极限的基础,因此流量空间就降到二维平面。这一系列可接受的流量形成了一个封闭的区域,找到 Kafka 的吞吐量极限相当于绘制出该区域的边界。

自动化测试

为了以合理的精度绘制出边界,我们需要用不同的设置进行数百次实验,通过手动操作的方式是不切实际的。因此,我们设计了一种算法,无需人工干预即可运行所有的实验。

过载指示器

我们需要找到一系列能够以编程方式判断 Kafka 健康状况的指标。我们研究了大量的候选指标,最后锁定以下这些:


  • IO 线程空闲低于 20%:这意味着 Kafka 用于处理客户端请求的工作线程池太忙而无法处理更多工作负载。

  • 同步副本集变化超过 50%:这意味着在 50%的时间内至少有一个 broker 无法及时复制首领的数据。


Jetstream 团队还使用这些指标来监控 Kafka 运行状况,当集群承受过大压力时,这些指标会首当其冲发出信号。

找到边界

为了找到一个边界点,我们让 bpm 维度固定,并尝试通过更改 mps 值来让 Kafka 过载。当我们有一个安全的 mps 值和另一个导致集群接近过载的 mps 值时,边界就找到了。我们将安全的值视为边界点,然后通过重复这个过程来找到整条边界线,如下所示:



值得注意的是,我们调整了具有相同生产速率的生产者(用 np 表示),而不是直接调整 mps。主要是因为批处理方式导致单个生产者的生产速率不易控制。相反,改变生产者的数量可以线性地缩放流量。根据我们早期的研究,单独增加生产者数量不会给 Kafka 带来明显的负载差异。


我们通过二分查找来寻找单边界点。二分查找从一个非常大的 np[0,max]窗口开始,其中 max 是一个肯定会导致过载的值。在每次迭代中,选择中间值来生成流量。如果 Kafka 在使用这个值时发生过载,那么这个值将成为新的上限,否则就成为新的下限。当窗口足够窄时,停止该过程。我们将对应于当前下限的 mps 值视为边界。

结果


我们在上图中绘制了不同大小的 Kafka 的边界。基于这个结果,我们可以得出结论,Dropbox 基础设施可以承受的最大吞吐量为每个 broker 60MB/s。


值得注意的是,这只是一个保守的极限,因为我们测试用的消息大小完全是随机的,主要是为了最小化 Kafka 内部消息压缩机制所带来的影响。在生产环境中,Kafka 消息通常遵循某种模式,因为它们通常由相似的过程生成,这为压缩优化提供了很大的空间。我们测试了一个极端情况,消息全部由相同的字符组成,这个时候我们可以看到更高的吞吐量极限。


此外,当有 5 个消费者群组订阅测试主题时,这个吞吐量限制仍然有效。换句话说,当读取吞吐量是当前 5 倍时,仍然可以实现这样的写入吞吐量。当消费者群组增加到 5 个以上时,随着网络成为瓶颈,写入吞吐量开始下降。因为 Dropbox 生产环境中的读写流量比远低于 5,所以我们得到的极限适用于所有生产集群。


这个结果为将来的 Kafka 配置提供了指导基础。假设我们允许最多 20%的 broker 离线,那么单个 broker 的最大安全吞吐量应为 60MB/s * 0.8 ~= 50MB/s。有了这个,我们可以根据未来用例的估算吞吐量来确定集群大小。

对未来工作的影响

这个平台和自动化测试套件将成为 Jetstream 团队的一笔宝贵的财富。当我们切换到新硬件、更改网络配置或升级 Kafka 版本时,可以重新运行这些测试并获得新的吞吐量极限。我们可以应用相同的方法来探索其他影响 Kafka 性能的因素。最后,这个平台可以作为 Jetstream 的测试平台,以便模拟新的流量模式或在隔离环境中重现问题。

总结

在这篇文章中,我们提出了一种系统方法来了解 Kafka 的吞吐量极限。值得注意的是,我们是基于 Dropbox 的基础设施得到的这些结果,因此,由于硬件、软件栈和网络条件的不同,我们得到的数字可能不适用于其他 Kafka 实例。我们希望这里介绍的技术能够帮助读者去了解他们自己的 Kafka 系统。


英文原文:


https://blogs.dropbox.com/tech/2019/01/finding-kafkas-throughput-limit-in-dropbox-infrastructure/



2019-02-26 08:008512
用户头像

发布了 38 篇内容, 共 32.0 次阅读, 收获喜欢 208 次。

关注

评论 1 条评论

发布
用户头像
有个好奇的问题:每个 broker 10 个分区这个值是在什么样的机器配置下压出来的?
2020-12-18 08:57
回复
没有更多了
发现更多内容

鸿蒙生态以“新机遇、新体验、新服务”赋能游戏产业发展

最新动态

我的数字书库:华为阅读免费本地导入,让阅读更自由

最新动态

《Django 5 By Example》阅读笔记:p543-p550

codists

Python django

华为周智勇:“一切即一,一即一切”,加速优化智能企业数字治理

极客天地

宋章明|工业数据管理模式变革驱动下,重新想象工业设备管理

麦杰研究院

微信native支付对接案例详解

恩爸编程

微信支付 微信支付开发 微信native支付对接

拿到HUAWEI Mate70后,别忘了下载这个“新应用”

YG科技

亮相AICon,火山引擎边缘云揭秘边缘AI Agent探索与实践

火山引擎边缘云

边缘计算 智能体 AI 大底座 边缘智能

“明星级”人形机器人[波士顿动力]宣布裁员!

机器人头条

波士顿动力 特斯拉 人形机器人 具身智能

一文讲清数据库的分库分表

王中阳Go

数据库 后端

2024-12-14:K 周期字符串需要的最少操作次数。用go语言,给定一个长度为n的字符串 word 和一个整数k,k是n的因数。每次操作可以选择两个下标i和j,使得i和j都可以被k整除,然后用从j

福大大架构师每日一题

福大大架构师每日一题

苹果电脑可以玩《赛博朋克2077》吗?赛博朋克对苹果电脑的配置要求

阿拉灯神丁

赛博朋克 虚拟机软件 Mac游戏分享 苹果电脑游戏推荐 CrossOver 24

国产游戏横扫全球、鸿蒙再度进化:中国游戏最好的时代真来了

最新动态

如何找到Kafka集群的吞吐量极限?
_数据库_Peng Kang_InfoQ精选文章