写点什么

OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?

  • 2024-04-23
    北京
  • 本文字数:3666 字

    阅读完需:约 12 分钟

大小:1.84M时长:10:44
OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?

OceanBase 又有了新动态。


4 月 20 日,在第二届 OceanBase 开发者大会上,OceanBase 宣布了其 4.3 版本的正式发布。在这一新版本中最引人瞩目的进展是推出了列式存储引擎,旨在打造 PB 级别的实时分析数据库,从而进一步强化其 TP/AP 一体化的能力。


随着这一技术的突破,OceanBase 的应用场景得以进一步拓展,从传统的 TP、HTAP 领域,拓展到了更广泛的 TP、HTAP、AP 领域。在发布会现场,OceanBase CTO 杨传辉表示,将重点打造“PB 级实时分析数据库的最强六边形战士”。



如果说 OceanBase 的几个版本满足了用户对于一体化数据库的想象,那么这一次的 4.3 版本更让我们看到了 OceanBase 的更深层价值。在一体化战略的加持下,它正在成长为全行业能力最全面的数据库产品之一。

那么,为何 OceanBase 会选择将 AP 能力作为发展重点,OceanBase 4.3 又实现了怎样的能力升级?走进 OceanBase 开发者大会,或许能找到你想要的答案。

 

AP 数据库的核心痛点,TP/AP 一体化或提供解法?


对于 OceanBase 来说,TP/AP 一体化是自然而然的选择。杨传辉认为,之所以要补足 OceanBase 的 AP 能力,是 OceanBase 产品自然发展的必然路径之一。无论是单机分布式,还是 TP/AP,都是一体化产品战略发展之下的产物。


在 OceanBase 4.2.1 等版本的升级之下,产品的核心业务场景的 TP 能力已经打磨得非常成熟,那么一体化的核心能力自然而然地转向了 AP。秉持着“用一套系统解决 80%问题”的目标,OceanBase 必然要深化并补全产品的 AP 能力。


更重要的是,越来越多的开发者及企业对于 AP 的需求也在逐渐上升。


归根结底,在当下时代,数据蕴含的价值正在日渐提升。对于企业来说,想要提升核心业务,加强场景服务,对于数据的挖掘变得越来越重要,AP 技术的地位也日益凸显。作为数据处理的核心,企业对于数据库实时分析能力的要求日渐增加,AP 数据库开始收获全行业的关注。


但在这个数据井喷的时代,传统的 AP 数据库已经难以满足很多企业的需求。它们往往大查询能力很强,AP 生态的适配性很强,但是无法做到实时的写入。在兼容性、功能性等方面,又跟 OLTP 系统有着巨大的差距。与此同时,目前已有的大部分 AP 系统往往缺乏业务场景的打磨,对于许多企业来说,其可靠性和稳定性仍要打一个问号。


而伴随着 AI 与大模型技术的成熟,AP 技术无疑将会在未来发挥更加重要的作用。无论是金融、电商还是更多行业,都需要通过 AP 技术来挖掘数据的价值,为企业的发展提供有力的支持。



但这些行业往往也有着较大的 TP 需求,于是企业们不得不选择使用 TP+AP 两套数据库系统,或是多种数据库搭配使用。尽管这暂时性地解决了需求问题,但数据系统冗杂、分析链路复杂、自研成本高等问题仍旧困扰着每家企业,亟待解决。


需求与现实之间的巨大落差促使数据库产品们走向进化。HTAP 也成为了近年来炙手可热的概念之一,但对于 OceanBase 团队来说,HTAP 远远称不上完美,他们要真正实现 TP/AP 的一体化。


用户的实践与期望是最大的动力。在 OceanBase 4.2 发布后,基于其 OLTP Plus 能力,许多客户选择通过 OceanBase 替代以往复杂的数据库系统。据杨传辉在大会现场介绍,包括海底捞、携程、贝壳在内的许多企业都在选择用 OceanBase 替代以往的多数据库方案,实现了一定程度上的链路优化。OceanBase 的 AP/TP 一体化战略已经初见成效。


但这并不是 OceanBase 所认为的终点。


“尽管 OceanBase 有着更灵活的部署方式,但我们仍认为 HTAP 并不是万能的。”杨传辉将视野放到了更大的数据需求上,“在几百 GB 到几百 TB 这样的场景里,HTAP 还可以适用,但面对更大的数据量,其往往无能为力。这也是大公司们往往将 AP 与 TP 分开,通过两套系统进行处理的原因。”


针对更大数据量级场景,并加强其实时性、可靠性,在一体化、易用理念的加持下,OceanBase 4.3 最终诞生。这款产品想要通过真正意义上的 TP/AP 一体化,解决客户及开发者们面临的数据领域“最后一公里”难题。



OceanBase 4.3:三大核心技术升级,做最强六边形战士


相比于 HTAP,OceanBase 的 TP/AP 一体化到底有何不同?

 

“我今天想抛出一个新的概念,‘TP/AP 一体化’不一定是把 TP 跟 AP 放到一个系统,也可以是把 OceanBase 分布式数据库的 TP 能力直接融合到 AP 系统里面,做出更好更实时更易用的新型实时数据库。”


在大会现场,杨传辉进一步解析了 OceanBase 的 TP/AP 一体化思路:将已有的 TP 及 HTAP 能力融入进 AP 数据库系统中,打造一套全新的一体化数据库。换句话说,OceanBase 4.3 不再是 OLTP 的延伸,而是在 OLAP 的基础上融入已有的 TP 能力,某种程度上来说,AP 成为了 OceanBase 4.3 最核心的功能之一。


在 OceanBase 看来,一体化概念并非仅限于狭窄的 HTAP 定义,而是更广泛地指用一套系统充分复用底层系统能力,从而支持各种各样的工作负载。OceanBase 4.3 的实时 AP 能力负载已经达到了 PB 量级。在 TB 到 PB 这个最广泛的数据量级范围内,OceanBase 4.3 能够胜任大部分企业对 TP 与 AP 的需求。



据杨传辉介绍,OceanBase 4.3 主要有三大核心技术升级:


首先,基于 LSM-Tree 架构推出列式存储引擎,实现行存、行列混存和列存等多种存储方式,同时融入分布式 TP 核心能力小事务写入技术,有效消除数据导入延迟,满足更严苛的 AP 实时分析需求。此外,OceanBase 还利用列式存储的特点,实现了高效的数据压缩和编码,进一步提高了存储效率。


其次,全新推出基于列数据格式描述的 2.0 向量化引擎和物化视图,进一步提升了深度 AP 场景下的性能表现,可实现秒级实时分析,极大提升了 OLAP 实时分析的能力。相较于实时分析数仓,OceanBase 在实时分析这一场景上具备实时写入、读写强一致、大规模并行处理、管理运维难度低等优点。


最后,OceanBase 4.3 的 TP 性能、易用性进一步增强。在 KV 的场景中,OceanBase 4.3 版本的性能相比 4.2.1 有了大幅度的提升,单行读写能力提升了 70%,批量读写能力提升了 80%。在估行系统、统计信息、代价模型、Online DDL、会话管理、日志流、租户克隆等方面都得以优化,提升了数据库在关键业务负载中的性能和稳定性。


从 TP 能力的持续打磨,再到 AP 分析能力提升、AP 实时性能提升,OceanBase 4.3 实现了全方位升级。通过全新列式存储引擎,打造 PB 级实时分析数据库,可实现秒级实时分析。针对实时数仓在使用、管理更为复杂的短板,在 TP、HTAP 的能力加持下,OceanBase 4.3 为行业提供了一个全新的解法。


针对 AP 性能,发布会现场,OceanBase 也延续了“传统”,开启了一场现场跑分 PK。在同等硬件条件下,OceanBase 4.3 与业内一流的列存大宽表数据库 ClickHouse 进行了跑分 PK。结果显示,在大宽表场景,两者的查询性能处于同一水平,这也直接证明了 OceanBase 4.3 的 AP 能力。在 TB 到 PB 的量级范围内,OceanBase 已经拥有了不错的实时分析能力。



通过对旁路导入、外部表的支持,以及行式存储与列式存储之间的动态转化的实现,OceanBase 4.3 进一步满足了 OLAP 的多元需求场景,如物化视图、联邦查询计算的下压等。


通过分布式计算引擎的能力的提升,OceanBase 4.3 也构建了更好的 MPP 架构,并且支持向量化引擎以及 DOP。4.3 版本增强了对 JSON 等半结构化数据的支持,OceanBase 4.3 版本也与最主流的流式数据库做了很好的兼容适配。


而在可靠性与稳定性方面,OceanBase 4.3 在开发、测试流程上也做到了双线并行,稳步迭代。另一方面,背靠蚂蚁集团的庞大生态,在核心业务场景的应用角度,OceanBase 有着得天独厚的优势。在大流量场景的实践应用之下,OceanBase 4.3 能够抵御大多数类型的风险与问题。


总结来看,在 TP 性能、分布式、兼容性、AP 存储、AP 计算、AP 工具生态能力六大方面,对于 PB 以下企业在 AP 应用场景中,OceanBase 正在成长为一个“六边形战士”。一个可以预见的事实是,在未来,对于有 HTAP 及 OLAP 需求的 PB 以下企业来说,OceanBase 将非常具有吸引力。


 

从开源开放出发,OceanBase 走向未来


从 TP 到 HTAP,再到 AP,OceanBase 已经能够实现对数据库大多数需求的响应,这也是其在“关键业务负载”一体化战略上迈出的重要一步。


在大会现场,杨传辉也再度强调了 OceanBase 开源生态的重要性。


自 2021 年 6 月 1 日正式开源以来,OceanBase 的开源生态蓬勃发展。现如今,其社区版部署的集群数已超过 1 万,涵盖了携程、快手、知乎等众多主流互联网公司。这些公司利用 OceanBase 开源社区版,在各种业务场景下实现了高效的数据处理与存储,进一步证明了 OceanBase 的技术实力与市场价值。


在开源生态的建设上,OceanBase 不仅注重产品的技术创新与迭代,更重视与开发者之间的沟通与协作。通过举办开发者大会、发布技术文档、提供技术支持等方式,OceanBase 积极倾听开发者的声音,不断优化产品体验,满足开发者的实际需求。



展望未来,OceanBase 将继续深化开源生态的建设,推动数据库技术的创新与发展。一方面,OceanBase 将进一步完善单机分布式一体化架构,提升产品的稳定性、性能及性价比,满足更多企业的需求;另一方面,OceanBase 将积极探索与 AI 技术的融合,构建对 KV、多模乃至未来 AI 融合的能力,支持各种各样的工作负载,为企业提供更全面、更智能的数据服务。


正是在这种开放创新的发展理念下,OceanBase 在实践中快速成长。可以预见的是,未来,随着技术的不断发展和市场的不断变化,OceanBase 将继续致力于提供更加先进、更加完善的数据库解决方案,帮助企业更好地应对数字化时代的挑战。

 

2024-04-23 12:2210221

评论

发布
暂无评论
发现更多内容

小程序技术实现前端热更新的优势

FinFish

小程序容器 小程序技术 小程序热更新 小程序运行能力

腾讯音乐:说说Redis脑裂问题?

王磊

Java 面试

提高 RAG 应用准确度,时下流行的 Reranker 了解一下?

Zilliz

Zilliz rag reranker

2024九章云极DataCanvas智算操作系统新品发布会震撼来袭!

九章云极DataCanvas

PPTX文件怎么打开?2个技巧助你轻松搞定职场办公!

彭宏豪95

效率工具 PPT 在线白板 PPT模板 办公软件

Qualcomm Chip IPQ9574/IPQ9554 and QCN9074/QCN6024-The Wireless Miracles

wifi6-yiyi

WiFi7

IPAguard–iOS代码混淆工具(免费)

雪奈椰子

RUM 最佳实践-视觉稳定性的探索与实践

观测云

前端

面试宝典

Joseph295

使用 TypeScript 从零搭建自己的 Web 框架:AOT 编译

RoyLin

typescript

腾讯会议发布腾讯天籁inside3.0,为厂商提供AI音视频算法解决方案

Geek_2d6073

哨兵模式的悲和喜

算法的秘密

这些Git事故灾难, 你经历过几个?

前夕

git 面试 前端 后端 版本控制

零基础到精通,Postman安装使用教程(一)

霍格沃兹测试开发学社

深入了解 Docker:革命性的容器化技术

霍格沃兹测试开发学社

Docker从入门到精通:Docker镜像相关命令学习

霍格沃兹测试开发学社

鸿蒙HarmonyOS实战-ArkUI组件(RelativeContainer)

蜀道山

鸿蒙 HarmonyOS 鸿蒙开发 arkui ArkTS

使用 TypeScript 从零搭建自己的 Web 框架:大语言模型与 SSE

RoyLin

typescript

发现不测的秘密:测试中常忽视的重要方面

测吧(北京)科技有限公司

测试

如何使用KPI评估研发项目

爱吃小舅的鱼

KPI 绩效指标 项目研发

JS代码混淆器:iPaGuard — 让你的代码看起来令人头大

《SQL必知必会(第5版)》PDF

程序员李木子

ChatGPT4.5:能力大提升,全新体验

蓉蓉

openai ChatGPT GPT-4

体育赛事直播平台开发:为何推荐这家源码

软件开发-梦幻运营部

从零基础到精通,抓包神器fiddler保姆级使用教程(一)

霍格沃兹测试开发学社

Docker从入门到精通:ubuntu系统安装docker

霍格沃兹测试开发学社

OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?_数据湖仓_王世昕_InfoQ精选文章