Apache 软件基金会发布了包含许多新特性和改进的 Kafka 3.3.1。这是第一个标志着可以在生产环境中使用KRaft（Kafka Raft）共识协议的版本。在几年的开发过程中，它先是在 Kafka 2.8 早期访问版本中发布，然后又在 Kafka 3.0 预览版本中发布。
KRaft 是一种共识协议，可以直接在 Kafka 中管理元数据。元数据的管理被整合到了Kafka当中，而不需要使用像ZooKeeper这样的第三方工具，这大大简化了 Kafka 的架构。这种新的 KRaft 模式提高了分区的可伸缩性和弹性，同时简化了 Kafka 的部署，现在可以不依赖 ZooKeeper 单独部署 Kafka 了。
KRaft 使用了Raft共识算法的一种基于事件的变体，因此得名。
/filters:no_upscale()/news/2022/10/apache-kafka-kraft/en/resources/2event-driven-consensus-internals-1666684453761.png)
随 KRaft 引入的新的仲裁控制器确保元数据在整个仲裁中可以被准确复制。活动控制器将元数据存储在事件源日志主题中，仲裁中的其他控制器对活动控制器创建的事件做出响应。事件日志定期进行快照，确保日志不会无限增长。与基于 ZooKeeper 的控制器不同，如果出现了问题，仲裁控制器不需要从 ZooKeeper 加载状态，因为集群的内部状态已经分布在元数据主题中。这大大减少了不可用时间窗口，缩短了系统最坏情况恢复时间。
下图显示了使用新的仲裁控制器比使用 ZooKeeper 更快地关闭具有 200 万个分区的 Kafka 集群。
/filters:no_upscale()/news/2022/10/apache-kafka-kraft/en/resources/1timed-shutdown-1666684453761.jpg)
新的 KRaft 共识算法和仲裁控制器使得 Kafka 集群可以扩展到数百万个分区，不仅提升了稳定性，让 Kafka 变得更容易监控、管理和支持，而且让整个系统可以有一个单一的安全模型，使控制器故障转移接近瞬时。
Kafka 社区计划在下一个版本（3.4）中弃用 ZooKeeper，然后在 4.0 版本中完全删除它。
此外，Kafka 3.3 还提供了其他一些新特性，比如添加了与元数据日志处理错误相关的指标，允许用户为其他用户创建委托令牌，以及严格统一的粘性分区器，以缩短分区时间。
对于 Kafka Streams，这个版本增加了源/接收器指标，如消费/生产吞吐量、暂停/恢复拓扑，并集成了 KStream transform()和 process()方法。Kafka Connect 增加了对源连接器的精确一次语义支持。
原文链接：
https://www.infoq.com/news/2022/10/apache-kafka-kraft/
相关阅读：
使用 Strimzi 将 Kafka 和 Debezium 迁移到 Kubernetes
Flink 读写多套 Kerberos 认证的 Kafka 方案
中国开发者画像洞察研究报告 2024
分析开发者的行为模式、工作价值、职业发展等内容，帮助整个行业生态更深入地理解开发者，为他们提供更精准...
评论