写点什么

HiveMQ 开源:把 MQTT 和 Kafka 集成在一起

  • 2019-05-06
  • 本文字数:1029 字

    阅读完需:约 3 分钟

HiveMQ开源:把MQTT和Kafka集成在一起

HiveMQ 最近发布了HiveMQ Enterprise Extension for Kafka,旨在集成 Kafka 和 MQTT,以实现物联网应用程序的实时流。


HiveMQ Enterprise Extension for Kafka 是 HiveMQ broker 的 Kafka 协议实现,支持 broker 充当 Kafka 客户端,并让来自物联网设备的消息流式传输到一个或多个 Kafka 集群中。




HiveMQ 首席技术官 Dominik Obermaier 表示,Kafka 可以为物联网解决方案带来很多价值,因为它可以可以处理大量实时数据的能力,并提供了高吞吐量和低延迟。


有些受访的 HiveMQ 客户表示,他们有数百万台设备和消息吞吐量非常高的集群,我们发现很有必要为创建 MQTT broker Kafka 扩展[…]。他们希望使用 MQTT 和 HiveMQ 把数据从设备移动到不同的后端系统。这些后端系统既包括 Kafka 系统,也包括非 Kafka 系统。


但是,Kafka 本身不是特别适用于物联网应用程序,因为典型的流式处理解决方案和这些物联网解决方案的要求根本就不匹配。Obermaier 提到, 特别是与物联网应用程序中可能使用的数百万主题相比较,Kafka 的消费者和生产者可以处理的主题数量是有限的。Kafka API 实现的复杂性使它不容易在受约束的设备上使用,无法获得物联网的关键特性,如:keep alivelast will and testament,等等。


这就是 HiveMQ Enterprise Extension for Kafka 可以大展身手的地方。事实上,其关键特性之一是能够把 MQTT 主题映射到 Kafka 主题,这样就解决了 Kafka 不适合处理大量主题的问题。同样,所有物联网设备将只看到 MQTT broker,因此,它们可以继续使用 MQTT,并完全支持 keep alive、last will and testament。此外,如果网络的不可靠性可能破坏 broker 和 Kafka 集群之间的连接,那么,前者将缓存所有接收到的消息,确保它们不会丢失。


HiveMQ Enterprise Extension for Kafka 不是唯一能够实现 MQTT-Kafka 互操作性的解决方案。竞争对手的解决方案是Confluent Kafka Connect MQTT,提供了 Kafka Connect 插件,另外还有一些其他的开源解决方案


基于发布和订阅模型的 Kafka 是处理和分发实时数据流应用最广泛的平台之一。MQTT 是发布和订阅协议,由于其占用空间小、实时保证并适用于高延迟、低吞吐量及不可靠的网络,因此,它特别适合物联网应用程序。


在相关的说明中,HiveMQ 最近宣布开源HiveMQ社区版本、MQTT broker 和HiveMQ MQTT客户端。MQTT 客户端是和 BMW Car IT 合作构建的,特别针对内存和 CPU 受限设备的高吞吐量和性能进行了调优。


阅读英文原文:HiveMQ Goes Open Source, Brings MQTT and Kafka Together


2019-05-06 08:0022836
用户头像

发布了 199 篇内容, 共 85.3 次阅读, 收获喜欢 295 次。

关注

评论 1 条评论

发布
用户头像
开源版本并不支持和kafka的集成,只有收费的Professional和Enterprise支持
2020-05-11 17:45
回复
没有更多了
发现更多内容

程序员应该多久跳一次槽?怎样跳槽才是正确的跳槽?

Java架构师迁哥

iPhone如何拍摄惊人的照片

懒得勤快

520到了,吟湿几首

花花

520 520单身福利 520 单身福利

实现高性能MySQL,深入探索数据库索引

奔着腾讯去

数据库 数据库事务 innodb 索引 MySQL 高可用

视频分割修整功哪一款视频剪辑软件更好用?

奈奈的杂社

短视频 视频剪辑 视频处理 视频制作

MemVerge认为PB级内存池将随CXL而来

Steven Xu

内存 存储 高性能服务器

商业落地页端到端性能优化实践

百度Geek说

大前端

省钱、省时、省力的音视频通信服务

anyRTC开发者

音视频 WebRTC 云服务 RTC

大厂面试题之计算机网络重点篇(附答案)

linux大本营

c++ Linux 网络协议 udp TCP/IP

Go sync.Pool 浅析

HHFCodeRv

Go 语言

只有程序猿才能看懂的520内涵表白

三掌柜

520 520单身福利 520 单身福利

浅析决策树的生长和剪枝

华为云开发者联盟

数据 决策树 预测模型 剪枝 过拟合

Nginx高并发调优中常被忽略的参数

运维研习社

nginx 运维 并发 性能调优 5月日更

项目开发中ARM单片机芯片分类及选型

不脱发的程序猿

嵌入式 ARM单片机 ARM芯片分类及选型 单片机选型

张一鸣退隐江湖

池建强

字节跳动 张一鸣

云小课 | 玩转HiLens Studio之手机实时视频流调试代码

华为云开发者联盟

华为 华为HiLens HiLens Studio EI智能体 实时视频

面向服务体系结构的领域驱动设计

码语者

DDD

PCB天线无线模组如何布局摆放?

不脱发的程序猿

物联网 嵌入式设计 PCB天线无线模组 无线模组布局摆放 PCB产品

细节爆炸!阿里架构师总结出:共计23版块Java架构师“成长笔记”

Java架构追梦

Java 阿里巴巴 架构 面试 成长笔记

人人矿场提供真实稳定算力,形成全球分布式算力供给网络

DT极客

程序员兼职网站推荐~

MY

浅谈虚拟偶像背后的舞蹈生成

行者AI

人工智能

211本硕如何通过字节跳动、百度、美团Android面试?复习指南

欢喜学安卓

android 程序员 面试 移动开发

350道Android面试真题分享,大厂直通车!

欢喜学安卓

android 程序员 面试 移动开发

华云大咖说 | 华云超融合在论文期刊行业的应用实践

华云数据

【LeetCode】前K个高频单词Java题解

Albert

算法 LeetCode 5月日更

GO语言平均薪资为什么比Java高?

Java架构师迁哥

嵌入式系统降低功耗的设计技术

不脱发的程序猿

嵌入式设计 嵌入式系统 低功耗

520特辑丨码神VS爱神:盘点程序员的四大男友力,你偏爱哪一种?

华为云开发者联盟

程序员 代码 520 男朋友 男友力

网易云课堂 Service Worker 运用与实践

有道技术团队

Service Worker

OCR性能优化:从认识BiLSTM网络结构开始

华为云开发者联盟

OCR Seq2Seq BiLSTM 网络结构 OCR网络

HiveMQ开源:把MQTT和Kafka集成在一起_开源_Sergio De Simone_InfoQ精选文章