【大咖分享】AI 大模型时代,架构师有哪些机遇和挑战? 了解详情
写点什么

Confluent 宣布企业版 Kafka 支持多数据中心复制功能

  • 2016-10-12
  • 本文字数:982 字

    阅读完需:约 3 分钟

最新的 Confluent 企业版支持多数据中心复制、自动数据平衡和云迁移功能。Confluent 是基于 Apache Kafka 的流平台提供商,它宣布了 Confluent 企业版的新特性,这些特性有助于构建流数据管道和开发流处理应用。

新的版本将会在本月底发布,其中包括了 Confluent 的两个版本:

  • Confluent 平台:这是开源版本。它包括了 Apache Kafka 以及针对 C、C++、Python 和 Go 编程语言的客户端,它还打包了针对 JDBC、ElasticSearch 和 HDFS 的连接器,一个用于管理 Kafka 主题元数据的模式注册表(Schema Registry)以及与 Web 应用进行集成的 REST 代理;
  • Confluent 企业版:这是针对企业提供的版本,包含了开发企业级流应用的额外功能。它包括了监控事件流的 Confluent 控制中心(Confluent Control Center)、MDC 复制以及自动化的数据平衡功能。

新的数据复制和数据平衡功能有助于更好地管理Kafka 集群。

多数据中心复制(Multi-datacenter replication):借助多数据中心( MDC )复制功能能够实现安全的多集群副本,并且能够通过中心化的配置维护这些位于不同地理位置的集群。每个数据中心的 Kafka 集群是同步的,所以不同数据中心上的应用和配置能够保持同步。

它提供了持久化的跨数据中心复制功能并且与安全进行集成,能够在 Apache Kafka 中加密和认证复制的数据。我们可以针对整个集群或特定的主题子集进行复制操作。

MDC 副本自带了完整的安全支持,包括跨数据中心对副本数据进行自动化的访问控制。认证采用的是 SASL 机制,支持与 Kerberos 和 Active Directory 集成。授权能够基于主题进行 MDC 的流复制。加密是基于 SSL 和 Mirror Maker 的。

自动化数据平衡:自动化数据平衡特性允许从Kafka 集群中添加和移除节点,因此我们甚至可以创建跨集群的工作负载。它会监控集群的统计数据,比如节点的数量、分区(partition)的大小、分区的数量以及集群中leader 的数量,并且会采用机架感知(rack aware)的算法来重平衡跨集群的分区。

云迁移: Confluent 企业版产品对云功能的支持有助于将数据流创建到云端,并且能够将云集群与内部的Kafka 集群进行同步。基于Confluent 的复制功能,能够允许组织从某种云策略转换为将来的其他策略。

如果你对新特性感兴趣的话,可以注册即将开始的webinar 或者最近上线的免费在线系列演讲

查看英文原文 Confluent Announces Kafka for the Enterprise with Multi-Datacenter Replication

2016-10-12 19:002352

评论

发布
暂无评论
发现更多内容

软件测试/测试开发丨Python控制流–分支判断和循环

测试人

Python 软件测试 自动化测试 测试开发

Seata 的可观测实践

阿里巴巴云原生

阿里云 云原生 seata

Wallys miniPCIe wlan modules/ QCA9880 /2.4G&5G

Cindy-wallys

QCA9880

软件测试/测试开发丨Python基本数据类型之字符串

测试人

Python 软件测试 自动化测试 测试开发

2023语言与智能技术竞赛开辟“双赛道”:寻找“全民测评官”,探索AI多模态能力

飞桨PaddlePaddle

为什么我们拥有庞大的语言模型,而Vision Transformers的规模却很小?

Baihai IDP

人工智能 深度学习 计算机视觉 白海科技 Vision Transformers

深度学习基础入门篇[9.2]:卷积之1*1 卷积(残差网络)、2D/3D卷积、转置卷积数学推导、应用实例

汀丶人工智能

人工智能 神经网络 深度学习 卷积网络 卷积核

线上问题处理案例:出乎意料的数据库连接池 | 京东云技术团队

京东科技开发者

数据库 GC 线上问题 数据库连接池 企业号 5 月 PK 榜

TF游戏Ai智能系统开发

Congge420

系统开发 区块链、 智能运维AIOps

2023数字中国建设峰会:百度点石获开放群岛开源社区优秀共建单位

百度安全

硬核!互联网资深大佬手码高并发编程速成笔记(2023版)限时开源

做梦都在改BUG

Java 并发编程 高并发

GitHub标星30k!基于Spring MVC Mybatis分布式开发系统-zheng项目(内附源码)

Java你猿哥

开源 架构设计 分布式架构 JavaEE zheng

刷爆LeetCode!字节技术官亲码算法面试进阶神技太香了

做梦都在改BUG

Java 数据结构 算法 LeetCode

看完这篇,DWS故障修复不再愁

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 5 月 PK 榜

rt下降40%?程序并行优化六步法 | 京东云技术团队

京东科技开发者

性能优化 异步编程 企业号 5 月 PK 榜 多线程优化 并发框架

【实践篇】领域驱动设计:DDD工程参考架构 | 京东云技术团队

京东科技开发者

领域驱动设计 DDD 企业号 5 月 PK 榜 工程架构

OpenHarmony社区运营报告(2023年4月)

OpenHarmony开发者

OpenHarmony

2023牛客网最全互联网大厂Java面试八股文上线

架构师之道

Java 面试

如何使用、部署 Auto-GPT?系统开发技术分析

Congge420

系统开发 区块链、 autogpt

关于PCBA元器件布局的重要性

攻城狮华哥

工具 元器件 PCB 布局 PCB设计

用写代码的方式画图-试下PlantUML吧 | 京东云技术团队

京东科技开发者

开发工具 PlantUML 画图软件 企业号 5 月 PK 榜

BSC智能链游戏链系统开发解析

Congge420

区块链追溯系统开发 元宇宙 元宇宙系统开发

2023新版Java面试题1300问,刷完直接拿offer!

采菊东篱下

java面试

面试官:你能和我说一下 CMS 垃圾回收器吗?

Java你猿哥

算法 CMS JVM 垃圾回收器 垃圾收集器

真香!阿里最新产出分布式进阶实战手册,涵盖分布式架构所有操作

Java你猿哥

架构 微服务架构 Spring Cloud Spring Boot ssm

聊聊 万亿流量场景下的负载均衡实践

Java你猿哥

负载均衡 ssm 高并发 DNS 负载均衡架构

深度学习基础入门篇[9.1]:卷积之标准卷积:卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解

汀丶人工智能

人工智能 神经网络 深度学习 卷积网络 卷积相关算子

【程序员日记】——从业务编排到低代码 | 京东云技术团队

京东科技开发者

低代码 业务 企业号 5 月 PK 榜 业务编排

LED显示屏如何做到节能

Dylan

效率 能源 节能 LED显示屏

火山引擎DataTester:小改动带来大收益,A/B实验助力幸福里APP精准优化

字节跳动数据平台

ab测试 A/B 测试

IPQ8072 or IPQ8072A with the QCN9074/9024 chipset / well-suited for high-end routers.

Cindy-wallys

IPQ8072

  • 扫码加入 InfoQ 开发者交流群
Confluent宣布企业版Kafka支持多数据中心复制功能_大数据_Srini Penchikala_InfoQ精选文章