最近，微软正式发布Azure Event Hubs for Kafka。用户将获得两方面的好处——Kafka的生态系统和工具，以及Azure的安全性和全球规模。此外，通过将两个功能强大的分布式流媒体平台集成在一起，用户无需管理服务器或网络即可访问Kafka生态系统应用程序。

6月初，InfoQ报道了Kafka与Azure Event Hubs集成预览版，当时负责Azure Event Hubs的工程团队为他们的用户提供了一个Kafka端点，用于将事件数据通过流式的方式导入其中。现在，集成已经具备了一般可用性，并且该团队还添加了新功能，让用户能够从使用Kafka协议的应用程序将数据以流式的方式传输到Event Hubs，而且只需要修改连接字符串。此外，用户可以继续使用现有的Kafka应用程序、框架和工具与Event Hub进行通信。

有了Event Hubs for Kafka，用户可以使用Kafka协议直接将事件从应用程序流式传输到Event Hubs。微软负责管理这项服务，用户不需要运行Zookeeper，也不需要控制或配置任何群集。此外，Azure Service Bus项目经理Shubha Vijayasarathy在最近的Azure Friday节目中说：

使用Azure Event Hubs for Kafka的最大好处是你不需要修改客户端，也不需要更改代码、生产者、应用程序、工具或框架。

用户也可以使用Kafka Connect或MirrorMaker与Event Hubs通信，也无需更改任何代码。

根据公告博客，Kafka与Azure Event Hub集成的其他好处是：

利用Event Hubs将数据发送到Blob存储或Data Lake存储，以便进行长期保留或使用Event Hubs Capture微批次处理。
从兆字节数据级别扩展到太字节数据级别，同时通过Auto-Inflate控制何时以及可以扩展多少。
支持Event Hubs for Geo Disaster-Recovery。
Event Hubs与Azure Databricks、Azure Stream Analytics和Azure Functions等其他Azure服务深度集成。因此，用户可以进行进一步的分析和处理。

Event Hubs for Kafka支持Apache Kafka 1.0及更高版本——该工程团队已经将Apache Kafka协议映射到原生AMQP 1.0协议。此外，这种协议转换允许其他基于AMQP 1.0的应用程序与Kafka应用程序通信。基于JMS的应用程序可以使用Apache Qpid向基于Kafka的消费者发送数据。

Azure Event Hubs和Kafka都旨在处理大规模的实时流摄取，而且是分布式、分区的复制提交日志服务。此外，两者都使用了具有客户端游标概念的分区消费者模型，为工作负载提供了水平可伸缩性。通过为Kafka添加端点，Event Hub可以模拟Kafka。在Azure Friday节目中，Shubha Vijayasarathy解释了两者的概念架构：

在Event Hubs的概念架构中，你有一个Event Hub或Kafka主题，两者非常相似。Event Hubs或Kafka获取数据的方式都是通过分区，数据就分布在这些分区中。你有一群事件生产者，以及一群对这些数据感兴趣的事件接收者，数据以统一的模式分布在Event Hubs或Kafka主题中。

有关Azure Event Hubs for Apache Kafka的更多详细信息，请参见网站文档。定价页面提供了定价详情

查看英文原文：Microsoft Announces the General Availability of Azure Event Hubs for Apache Kafka

创作场景

微软正式发布 Azure Event Hubs for Kafka