写点什么

生于云、长于云,RocketMQ 5.0 再出发

  • 2022-07-28
  • 本文字数:4535 字

    阅读完需:约 15 分钟

生于云、长于云,RocketMQ 5.0 再出发

7 月 21 日-7 月 22 日,由 Apache RocketMQ 社区主办,阿里云天池平台、云原生应用平台承办的首届 RocketMQ Summit 全球开发者峰会拉开帷幕。Apache RocketMQ 联合创始人林清山发布 RocketMQ 能力全景图,为众多开发者阐述 RocketMQ 5.0 的技术定位与发展方向,来自快手、小米、字节跳动等互联网头部企业的 40 位演讲嘉宾与众多开发者分享各自行业的最佳实践与技术探索经验。

 

阿里云云原生应用平台负责人丁宇表示,开源让云计算更加标准化,云计算让开源产品化和规模化,未来的数字世界将构建在云计算和开源之上。开源已经成为阿里巴巴技术战略的重要组成部分。

 

今天,阿里巴巴的开源项目总数超过 3000 个,涵盖云计算、大数据、AI、中间件、数据库、容器、Serverless、高可用等领域,拥有超过 30000 名 Contributor,超过百万 Star,位列中国企业社区贡献榜首,连续十年蝉联中国厂商开源活跃度第一、影响力第一。未来,阿里云也将会持续投入 RocketMQ 的开源建设,构建更加繁荣的社区生态。希望与更多的开发者、贡献者一起,追求极致、开放共享,实现开源技术的普惠。



基于自身实践,RocketMQ 社区对于消息队列演进趋势的洞察

 

消息队列作为最经典的中间件之一,已经有三十多年历史。伴随着技术发展,消息队列领域不断扩展,迸发新生命力,作为国内大规模实践先行者,RocketMQ 社区认为消息领域将迎来以下趋势变化:

 

  1. 全面拥抱云原生

消息队列将向上演进消息型的产品形态,更好去支撑微服务、事件驱动、Serverless 化等云原生应用架构;向下演进消息系统自身云原生架构,通过系统重构充分释放基础设施的弹性计算、存储、网络等能力,全方位提升消息技术指标,降低消息成本,提高消息队列弹性能力。


  1. 全面拥抱物联网

物联网技术将更广泛落地到各行各业,万物互联、边缘计算会进一步拓展消息的边界。面向物联网的消息队列要海量异构设备接入,海量消息队列存储,能够随处运行,具备云边端一体的无边界部署能力。

 

  1. 全面拥抱实时数据

企业的数字化转型的步伐不断加速,从业务数字化迈向数字业务化。数字化企业持续产生业务数据,对业务数据实时洞察与决策,才能帮助企业快速响应商机、把握商机,使得业务获得更大成功。同时,消息队列也将从在线业务架构的基础设施延伸到实时数据架构的基础设施,达到事务分析一体化。

 

四大方向,全面解读 RocketMQ 5.0 架构演进



1. 面向微服务


引入微服务架构,数字化企业以“高内聚、低耦合”的方式高效协作。微服务架构也带来新问题,比如大量同步微服务会面临延迟增大、可用性降低等风险。为了解决这个问题,越来越多的企业引入消息队列建设异步微服务体系,进一步提高微服务的韧性,降低响应延迟。

 

微服务技术领域,Spring Cloud 体系、Dubbo 体系、HTTP、AMQP 等通信协议已经形成了事实标准。下一代微服务体系也在快速发展中,主要体现在基础设施下沉,比如 Service Mesh、Serverless 等技术。

 

在这个趋势下,RocketMQ 5.0 在 SDK 层面将原来的重型客户端往轻量客户端演进,基于标准 gRPC 作为 remoting 层实现 SDK,同时也将更多客户端逻辑下沉到服务端,比如消息重试、负载均衡等,大幅度降低多语言 SDK 的实现成本。轻量客户端更好地匹配了 Service Mesh 的需求,RocketMQ 的 Mesh 能力已正式合入 CNCF Envoy 官方社区。

 

在负载均衡方面,RocketMQ 从原来的队列粒度负载均衡演进到了消息粒度负载均衡模式,消息粒度负载均衡更加匹配 Serverless 应用的场景,无状态 Serverless 应用弹性伸缩过程不会触发频繁的队列重平衡,降低消息重复率和端到端延迟。

 

RocketMQ 5.0 提供无状态 proxy,通过 proxy 可以很方便地扩展更多标准消息协议以及流量治理功能。无状态 proxy 也具备良好的网络穿透能力,可以灵活应对企业在上云过程中面临的复杂跨网络访问场景。

 

今天我们以 RocketMQ 5.0 核心能力为基础,支撑了阿里云 RocketMQ、MNS、RabbitMQ 等多款云消息产品。其中,阿里云 RabbitMQ 是一款兼容 AMQP 协议、RabbitMQ SDK 的消息服务,可以帮助开源存量用户无缝上云。同时,它也充分释放了底层 RocketMQ 云原生架构的技术红利,具备和 RocketMQ 一致的高性能、无限扩展、高可用等特点,是云原生的 RabbitMQ。

 

2. 事件驱动(EDA)


事件驱动在 2018 年被 Gartner 评为年度十大技术趋势。在未来新型的数字化商业解决方案中,会有 60% 以上的商业数字化解决方案采纳 EDA 架构。EDA 为软件架构带来彻底解耦,实现更灵活的业务扩展和业务敏捷能力,不仅可以用于单一业务领域的微服务解耦,还可以用于跨部门、跨组织、跨业务领域的事件集成。消息队列是 EDA 架构中最核心的组件,承担 eventbroker 的职责。随着 EDA 架构被大规模跨组织落地,要进一步提高行业级生产力,标准化也迫在眉睫。为此, CNCF 推出了 CloudEvent 规范,基于统一的规范,跨系统、跨组织的数字化协同有了共同的“语言”,能够实现更高效的系统集成,有了规范也方便沉淀面向事件的统一基础软件设施,提高研发效率。

 

面向 EDA 趋势,RocketMQ 5.0 发布全新产品形态——EventBridge。整个领域模型以事件为中心,并拥抱 CloudEvent 规范,CloudEvent 社区开源 SDK 可无缝接入 EventBridge;同时,EventBridge 还提供各种低代码事件编排、过滤、路由能力,灵活实现各种事件集成。

 

今天我们以 RocketMQ 5.0 核心能力为基础,支撑了阿里云 EventBridge 产品,助力云客户实现事件驱动、事件集成的商业生态。

 

3. 物联网


全球的 IoT 设备爆发式增长,预计到 2025 年将达到 200 多亿台,并且物联网也带来了边缘计算的兴起,未来将有 75% 的数据在传统数据中心或云环境之外进行处理。目前物联网行业已经形成了多个标准协议,其中最流行的莫过于 MQTT,这是"发布-订阅"模式的消息协议,除此之外还有各种车联网协议、工业协议等等,物联网消息队列要具备多样化异构海量设备接入能力。RocketMQ 可作为物联网应用的基础通信设施,用于 IoT、移动设备的数据上报,还有指令下行,为 IoT 业务连接云边端。

 

面向 IoT 的趋势,RocketMQ 5.0 发布轻量级百万队列引擎,轻量元数据服务。在新存储内核之上,建设物联网形态消息队列 MQTT,支持标准物联网协议,支持海量物联网设备接入和海量队列存储。

 

RocketMQ 5.0 遵循零外部依赖的精简架构原则,新 HA 架构为低资源消耗场景提供更多选择,用户可以权衡可靠性、成本、可用性,选择最优副本策略。比如,边缘场景由于资源受限,RocketMQ 不一定需要提供三副本存储,可以是两副本,甚至是单副本就能满足业务需求。

 

今天以 RocketMQ 5.0 核心能力为基础,支撑了阿里云微消息队列 MQTT,为客户提供云端一体化消息解决方案,实现万物互联、云端互联。

 

4. 实时大数据


未来大数据将走向实时化,预测在 2025 年实时大数据的比例将达到 30%。数字化企业通过实时感知、实时分析、实时决策,能够抓住商机、快速响应用户,实时大数据的重要性愈发突出。消息队列是实时大数据的关键技术之一,作为事件流的核心存储,它承担数据分发、数据缓冲以及轻量的流处理等作用。

 

事件流技术越来越多地在 IoT 场景进行使用,IDC 预测未来 95% 的实时事件流将来自 IoT 场景;另外,有越来越多的交易事件需要进行实时分析,挖掘更多业务价值,事件流技术也开始呈现事务分析一体化的趋势。

 

面向事件流的趋势,RocketMQ 5.0 在流存储和流分析能力进行重点打造:

  • 流存储方面,支持批量索引,大幅度提高 RocketMQ 吞吐量。支持 compacttopic,用于实现流处理过程中的状态存储,零外部依赖。除了功能特性之外,RocketMQ 5.0 的流存储同时进行了云原生架构改造,引入逻辑队列的概念,解耦了数据逻辑分区跟物理存储之间的绑定关系,能够实现全局固定分区前提下进行无缝扩缩容,零数据迁移。

 

  • 流分析方面,RocketMQ 5.0 全新发布了轻量的流计算引擎,它可以兼容 Flink SQL,方便用户在不同场景无缝切换。如果用户需要大而全的流计算能力,可以使用大型计算平台。如果用户有边缘计算、资源受限、简单流处理场景,可以直接使用 RocketMQ 的 RSQL 来支持。

 

今天我们以 RocketMQ 5.0 事件流能力为基础,支撑了阿里云 Kafka 产品,存量 Kafka 用户实现无缝上云;同时基于 RocketMQ 的逻辑队列能力,阿里云 Kafka 具备快速弹性伸缩能力,提供了 Serverless 化的产品形态,让存量 Kafka 用户也能够体验到云原生架构的红利。

 

不断演进,RocketMQ 正式迈进 5.0 时代

 

在过去七年大规模云计算实践中,RocketMQ 不停自我演进。今天, RocketMQ 正式迈进 5.0 时代,从互联网业务消息中间扩展到“消息、事件、流”超融合处理平台,解锁了更全面的能力。

 

在消息领域,全面拥抱云原生技术,以获得更好的弹性伸缩。在事件领域产品形态进行全面升级,拥抱行业标准,让事件驱动架构无处不在,从单一业务的数字化系统扩展到跨组织跨业务的数字化商业生态事件驱动的架构,也同时让云计算原生的技术能够更大规模的落地,提高云产品跟用户业务的集中度。让 Serverless 的技术能够被更大范围的采纳,帮助企业客户去降本增效。在流存储和流计算领域,流存储增强批量的特性,大幅度提高 RocketMQ 数据吞吐量,新增逻辑队列能力,解耦逻辑资源跟物理资源,在流场景也具备无缝伸缩能力;新增轻量流处理引擎也提供了实时事件流处理、流分析能力。

 

RocketMQ 基于端云一体化架构,实现完整物联网消息队列能力,从原来连接应用扩展到连接物联网设备。同时 RocketMQ 5.0 也继续保持着极简架构原则,即便产品能力全面提升,也依然能够以最低资源消耗,最低运维代价去搭建服务。

 

现在的 RocketMQ 已经真正具备连接一切、随处运行的能力,提供云边端一体化的实时数据解决方案。物联网设备持续产生数据,边缘 RocketMQ 可以进行实时数据分析,快速响应业务。通过实时 ETL,实时决策产生的高价值事件,或者数据可以传输到云端,通过 RocketMQ  eventing 能力连接更强大的公有云平台,利用云的一站式平台技术,进一步放大每份数据的价值。


不止于开源,RocketMQ 赋能海量行业客户

 

今天,基于 RocketMQ 5.0 为内核,阿里云也打造一站式消息平台,在统一云原生消息内核基础上,提供 6 种消息产品形态,有面向 IoT 场景的微消息队列 MQTT,有面向 EDA 场景的 EventBridge,也有面向开源用户无缝上云的托管开源产品(如 Kafka、RabbitMQ、RocketMQ)。

 

通过多样化产品形态,RocketMQ 在阿里云上已服务数万个企业用户,帮助其完成数字化转型的同时,也得到业界的广泛认可,获得了包括 OSCHINA 优秀技术团队奖、中国开源云联盟优秀基础软件、“科创中国”·年度优秀开源产品等在内的多个奖项,并进入 Apache 中国开源项目领导者象限。在信通院测评中,RocketMQ 通过信通院可信云分布式消息队列服务“增强级”认证,并通过信通院金融级消息队列服务稳定性评测“先进级”认证。

 

随着潜在用户数的增大,RocketMQ 的商业价值也被进一步放大。目前已经有十家云厂商提供 Apache RocketMQ 的商业服务,几乎覆盖了国内主流的公共云厂商。这让 RocketMQ 的用户有了更多选择,真正实现了无厂商锁定,RocketMQ 已经成为云原生消息的事实标准。

 

万物皆云的时代,RocketMQ 让数字化转型更简单高效,也将消息、事件、流的价值最大程度释放。Apache RocketMQ 将不断推动技术演进与落地实践,帮助企业真正实现高质量数字化转型与创新。

2022-07-28 11:397213

评论 1 条评论

发布
暂无评论
发现更多内容

2022-12-16:给你一个长度为n的数组,并询问q次 每次询问区间[l,r]之间是否存在小于等于k个数的和大于等于x 每条查询返回true或者false。 1 <= n, q <= 10^5 k

福大大架构师每日一题

golang 算法 福大大

直播继续!华为云Solution as Code一键高效上云,解决方案开箱即用

科技怪授

华为云

大数据培训出来就业前景如何

小谷哥

场景 | 大型电商企业运营管理数字化解决方案

九科Ninetech

凭借这份Java面试复盘笔记,我在2022寒冬之际也斩获了多张Offer!

程序员小毕

spring 程序员 后端 架构师 java面试

C++开发,这些GUI库一定不要错过!

Jackpop

来聊一聊 ElasticSearch 最新版的 Java 客户端

江南一点雨

Java elasticsearch springboot ES

极客时间运维进阶训练营第八周作业

好吃不贵

Verilog的语句块

梦笔生花

Verilog Verilog语法 Verilog语句块

多名网络主播因恶意炒作被列入警示名单,如何打击这种违规行为

石头IT视角

ZBC陆续在主要CEX开启Staking,锁定市场大部分流通量成大利好

BlockChain先知

Chrome浏览器竟然可以用ChatGPT了!

Jackpop

java自学好还是培训好?

小谷哥

大数据培训工作就业前景怎么样

小谷哥

浪潮 KaiwuDB 陈磊:布局数字能源,创新助力 “双碳”

KaiwuDB

架构实战模块1作业

Geek_e3a35c

云渲染是什么?云渲染和自己渲染有什么区别?

Renderbus瑞云渲染农场

云渲染 渲染农场 云渲染平台

横空出世!阿里巴巴Spring全家桶实战笔记真香

Java永远的神

spring 源码 架构师 springboot SpringCloud

SpringBoot整合Swagger2,再也不用维护接口文档了!

@下一站

12月日更 12月月更 springboot整合 swagger2

关于K8s集群环境工作组隔离配置多集群切换的一些笔记

山河已无恙

k8s管理 K8s 多集群管理 12月月更

选取数据的原则

穿过生命散发芬芳

数据分析 12月月更

Python开发游戏?也太好用了吧!

Jackpop

打造算力新引擎!安擎上海智能制造基地正式运营

科技热闻

声网管浩森:元宇宙派对场景的最佳实践

声网

实践 元宇宙 RTE2022

相见恨晚!Git这些功能太好用了!

Jackpop

终于被我发现了这个推特视频下载的方法!超级简单!支持苹果安卓双系统!

frank

推特视频下载

华为云12·12直播EI专场即将开始,满足电商行业全场景搜索需求

科技怪授

华为云

下一个AI舞台,名叫煤矿

脑极体

模块二 -- 朋友圈高性能复杂度分析

陈实

「架构实战营」

ZBC陆续在主要CEX开启Staking,锁定市场大部分流通量成大利好

股市老人

生于云、长于云,RocketMQ 5.0 再出发_大数据_Tina_InfoQ精选文章