OceanBase 又有了新动态。
4 月 20 日,在第二届 OceanBase 开发者大会上,OceanBase 宣布了其 4.3 版本的正式发布。在这一新版本中最引人瞩目的进展是推出了列式存储引擎,旨在打造 PB 级别的实时分析数据库,从而进一步强化其 TP/AP 一体化的能力。
随着这一技术的突破,OceanBase 的应用场景得以进一步拓展,从传统的 TP、HTAP 领域,拓展到了更广泛的 TP、HTAP、AP 领域。在发布会现场,OceanBase CTO 杨传辉表示,将重点打造“PB 级实时分析数据库的最强六边形战士”。
如果说 OceanBase 的几个版本满足了用户对于一体化数据库的想象,那么这一次的 4.3 版本更让我们看到了 OceanBase 的更深层价值。在一体化战略的加持下,它正在成长为全行业能力最全面的数据库产品之一。
那么,为何 OceanBase 会选择将 AP 能力作为发展重点,OceanBase 4.3 又实现了怎样的能力升级?走进 OceanBase 开发者大会,或许能找到你想要的答案。
AP 数据库的核心痛点,TP/AP 一体化或提供解法?
对于 OceanBase 来说,TP/AP 一体化是自然而然的选择。杨传辉认为,之所以要补足 OceanBase 的 AP 能力,是 OceanBase 产品自然发展的必然路径之一。无论是单机分布式,还是 TP/AP,都是一体化产品战略发展之下的产物。
在 OceanBase 4.2.1 等版本的升级之下,产品的核心业务场景的 TP 能力已经打磨得非常成熟,那么一体化的核心能力自然而然地转向了 AP。秉持着“用一套系统解决 80%问题”的目标,OceanBase 必然要深化并补全产品的 AP 能力。
更重要的是,越来越多的开发者及企业对于 AP 的需求也在逐渐上升。
归根结底,在当下时代,数据蕴含的价值正在日渐提升。对于企业来说,想要提升核心业务,加强场景服务,对于数据的挖掘变得越来越重要,AP 技术的地位也日益凸显。作为数据处理的核心,企业对于数据库实时分析能力的要求日渐增加,AP 数据库开始收获全行业的关注。
但在这个数据井喷的时代,传统的 AP 数据库已经难以满足很多企业的需求。它们往往大查询能力很强,AP 生态的适配性很强,但是无法做到实时的写入。在兼容性、功能性等方面,又跟 OLTP 系统有着巨大的差距。与此同时,目前已有的大部分 AP 系统往往缺乏业务场景的打磨,对于许多企业来说,其可靠性和稳定性仍要打一个问号。
而伴随着 AI 与大模型技术的成熟,AP 技术无疑将会在未来发挥更加重要的作用。无论是金融、电商还是更多行业,都需要通过 AP 技术来挖掘数据的价值,为企业的发展提供有力的支持。
但这些行业往往也有着较大的 TP 需求,于是企业们不得不选择使用 TP+AP 两套数据库系统,或是多种数据库搭配使用。尽管这暂时性地解决了需求问题,但数据系统冗杂、分析链路复杂、自研成本高等问题仍旧困扰着每家企业,亟待解决。
需求与现实之间的巨大落差促使数据库产品们走向进化。HTAP 也成为了近年来炙手可热的概念之一,但对于 OceanBase 团队来说,HTAP 远远称不上完美,他们要真正实现 TP/AP 的一体化。
用户的实践与期望是最大的动力。在 OceanBase 4.2 发布后,基于其 OLTP Plus 能力,许多客户选择通过 OceanBase 替代以往复杂的数据库系统。据杨传辉在大会现场介绍,包括海底捞、携程、贝壳在内的许多企业都在选择用 OceanBase 替代以往的多数据库方案,实现了一定程度上的链路优化。OceanBase 的 AP/TP 一体化战略已经初见成效。
但这并不是 OceanBase 所认为的终点。
“尽管 OceanBase 有着更灵活的部署方式,但我们仍认为 HTAP 并不是万能的。”杨传辉将视野放到了更大的数据需求上,“在几百 GB 到几百 TB 这样的场景里,HTAP 还可以适用,但面对更大的数据量,其往往无能为力。这也是大公司们往往将 AP 与 TP 分开,通过两套系统进行处理的原因。”
针对更大数据量级场景,并加强其实时性、可靠性,在一体化、易用理念的加持下,OceanBase 4.3 最终诞生。这款产品想要通过真正意义上的 TP/AP 一体化,解决客户及开发者们面临的数据领域“最后一公里”难题。
OceanBase 4.3:三大核心技术升级,做最强六边形战士
相比于 HTAP,OceanBase 的 TP/AP 一体化到底有何不同?
“我今天想抛出一个新的概念,‘TP/AP 一体化’不一定是把 TP 跟 AP 放到一个系统,也可以是把 OceanBase 分布式数据库的 TP 能力直接融合到 AP 系统里面,做出更好更实时更易用的新型实时数据库。”
在大会现场,杨传辉进一步解析了 OceanBase 的 TP/AP 一体化思路:将已有的 TP 及 HTAP 能力融入进 AP 数据库系统中,打造一套全新的一体化数据库。换句话说,OceanBase 4.3 不再是 OLTP 的延伸,而是在 OLAP 的基础上融入已有的 TP 能力,某种程度上来说,AP 成为了 OceanBase 4.3 最核心的功能之一。
在 OceanBase 看来,一体化概念并非仅限于狭窄的 HTAP 定义,而是更广泛地指用一套系统充分复用底层系统能力,从而支持各种各样的工作负载。OceanBase 4.3 的实时 AP 能力负载已经达到了 PB 量级。在 TB 到 PB 这个最广泛的数据量级范围内,OceanBase 4.3 能够胜任大部分企业对 TP 与 AP 的需求。
据杨传辉介绍,OceanBase 4.3 主要有三大核心技术升级:
首先,基于 LSM-Tree 架构推出列式存储引擎,实现行存、行列混存和列存等多种存储方式,同时融入分布式 TP 核心能力小事务写入技术,有效消除数据导入延迟,满足更严苛的 AP 实时分析需求。此外,OceanBase 还利用列式存储的特点,实现了高效的数据压缩和编码,进一步提高了存储效率。
其次,全新推出基于列数据格式描述的 2.0 向量化引擎和物化视图,进一步提升了深度 AP 场景下的性能表现,可实现秒级实时分析,极大提升了 OLAP 实时分析的能力。相较于实时分析数仓,OceanBase 在实时分析这一场景上具备实时写入、读写强一致、大规模并行处理、管理运维难度低等优点。
最后,OceanBase 4.3 的 TP 性能、易用性进一步增强。在 KV 的场景中,OceanBase 4.3 版本的性能相比 4.2.1 有了大幅度的提升,单行读写能力提升了 70%,批量读写能力提升了 80%。在估行系统、统计信息、代价模型、Online DDL、会话管理、日志流、租户克隆等方面都得以优化,提升了数据库在关键业务负载中的性能和稳定性。
从 TP 能力的持续打磨,再到 AP 分析能力提升、AP 实时性能提升,OceanBase 4.3 实现了全方位升级。通过全新列式存储引擎,打造 PB 级实时分析数据库,可实现秒级实时分析。针对实时数仓在使用、管理更为复杂的短板,在 TP、HTAP 的能力加持下,OceanBase 4.3 为行业提供了一个全新的解法。
针对 AP 性能,发布会现场,OceanBase 也延续了“传统”,开启了一场现场跑分 PK。在同等硬件条件下,OceanBase 4.3 与业内一流的列存大宽表数据库 ClickHouse 进行了跑分 PK。结果显示,在大宽表场景,两者的查询性能处于同一水平,这也直接证明了 OceanBase 4.3 的 AP 能力。在 TB 到 PB 的量级范围内,OceanBase 已经拥有了不错的实时分析能力。
通过对旁路导入、外部表的支持,以及行式存储与列式存储之间的动态转化的实现,OceanBase 4.3 进一步满足了 OLAP 的多元需求场景,如物化视图、联邦查询计算的下压等。
通过分布式计算引擎的能力的提升,OceanBase 4.3 也构建了更好的 MPP 架构,并且支持向量化引擎以及 DOP。4.3 版本增强了对 JSON 等半结构化数据的支持,OceanBase 4.3 版本也与最主流的流式数据库做了很好的兼容适配。
而在可靠性与稳定性方面,OceanBase 4.3 在开发、测试流程上也做到了双线并行,稳步迭代。另一方面,背靠蚂蚁集团的庞大生态,在核心业务场景的应用角度,OceanBase 有着得天独厚的优势。在大流量场景的实践应用之下,OceanBase 4.3 能够抵御大多数类型的风险与问题。
总结来看,在 TP 性能、分布式、兼容性、AP 存储、AP 计算、AP 工具生态能力六大方面,对于 PB 以下企业在 AP 应用场景中,OceanBase 正在成长为一个“六边形战士”。一个可以预见的事实是,在未来,对于有 HTAP 及 OLAP 需求的 PB 以下企业来说,OceanBase 将非常具有吸引力。
从开源开放出发,OceanBase 走向未来
从 TP 到 HTAP,再到 AP,OceanBase 已经能够实现对数据库大多数需求的响应,这也是其在“关键业务负载”一体化战略上迈出的重要一步。
在大会现场,杨传辉也再度强调了 OceanBase 开源生态的重要性。
自 2021 年 6 月 1 日正式开源以来,OceanBase 的开源生态蓬勃发展。现如今,其社区版部署的集群数已超过 1 万,涵盖了携程、快手、知乎等众多主流互联网公司。这些公司利用 OceanBase 开源社区版,在各种业务场景下实现了高效的数据处理与存储,进一步证明了 OceanBase 的技术实力与市场价值。
在开源生态的建设上,OceanBase 不仅注重产品的技术创新与迭代,更重视与开发者之间的沟通与协作。通过举办开发者大会、发布技术文档、提供技术支持等方式,OceanBase 积极倾听开发者的声音,不断优化产品体验,满足开发者的实际需求。
展望未来,OceanBase 将继续深化开源生态的建设,推动数据库技术的创新与发展。一方面,OceanBase 将进一步完善单机分布式一体化架构,提升产品的稳定性、性能及性价比,满足更多企业的需求;另一方面,OceanBase 将积极探索与 AI 技术的融合,构建对 KV、多模乃至未来 AI 融合的能力,支持各种各样的工作负载,为企业提供更全面、更智能的数据服务。
正是在这种开放创新的发展理念下,OceanBase 在实践中快速成长。可以预见的是,未来,随着技术的不断发展和市场的不断变化,OceanBase 将继续致力于提供更加先进、更加完善的数据库解决方案,帮助企业更好地应对数字化时代的挑战。
评论