Confluent 平台是基于 Apache Kafka 构建的一个企业级流平台。该平台的 5.0 版本支持 LDAP 授权、Kafka 主题检查以及用于物联网(IoT)集成的 Confluent MQTT 代理。最新版本基于 Apache Kafka 2.0 的特性构建,致力于保证基础设施安全、可靠以及管理使用流数据的应用程序。
运营团队可以使用新的 LDAP 授权插件来保证消息传递基础设施的安全。该插件可以用于设置 Kafka 的访问控制,使消费者可以使用 LDAP 服务器中定义的用户 - 组映射。该插件支持基于用户主体和基于组的访问控制列表(ACL)。
借助 Confluent Replicator 提供的“自动偏移转换(automatic offset translation)”特性,运营人员还可以提供灾难恢复(DR)支持。这个 Replicator 工具会自动复制主题消息及相关元数据。最新版本的 Confluent 平台还会保证消费者偏移在辅助集群上可用。当消费者客户端应用程序故障转移到辅助集群,Replicator 可以处理消费者偏移转换,那样,它们就可以在最靠近原来集群上停止消费的点恢复消费。这可以最小化消费者在灾难情况下需要的重新处理而又不会跳过消息。
在 Confluent 控制中心,运营人员可以查看多个 Kafka 集群的代理配置,检查具体代理的配置值,比较同一集群中的差异,识别潜在的风险,如不同代理和下载配置中安全配置不匹配。他们还可以检查消费者延迟,确保使用 Kafka 的应用有一个更好的性能。
使用新的主题查看特性,控制中心使用户可以洞察发布到 Kafka 主题的实际数据。用户可以看到主题中的消息流,读取消息属性,如键、头、值数据。与 Schema Registry 的集成使得主题查看特性可以支持 JSON、字符串和 Avro 等数据格式。用户还可以查看较旧的模式版本,并把它们和当前的版本进行比较,方便找出模式演化过程中的差异。
控制中心提供了一个新的用户界面,用于编写 KSQL 。KSQL 的最新版本引入了嵌套数据、用户定义函数(UDF)、用户定义聚合函数(UDAF)、新型联合(流 - 流、表 - 表、流 - 表联合)及增强 REST API 支持。
Confluent 平台的新版本还包含 Confluent MQTT 代理,用于把基于物联网(IoT)的应用程序和 Kafka 集成。MQTT 代理使用 Kafka 原生 MQTT 代理代替了第三方 MQTT 代理,可以用于联网汽车、制造业生产线和预测性维护应用程序中。
使用传输层安全(TLS)加密和基本身份验证,MQTT 代理支持 MQTT 3.1.1 协议,可以发布所有三个 MQTT 服务质量级别的消息。服务级别包括把消息发送给消费者:1)最多一次(即发即弃);2)至少一次(需要确认);3)恰好一次。
Confluent 平台有两个版本: Confluent 开源版本(下载地址),包括Schema Registry、KSQL 支持、REST 代理、预置外围系统(Elasticsearch、HDFS、S3)连接器等开源组件。 Confluent 企业版本(下载地址)包括Confluent 开源特性,同时增加了Confluent 控制中心、自动数据均衡、Replicator 及产品的商业支持。
查看英文原文: Confluent Platform 5.0 Supports LDAP Authorization and MQTT Proxy for IoT Integration
评论