HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?

  • 2024-04-23
    北京
  • 本文字数:3666 字

    阅读完需:约 12 分钟

大小:1.84M时长:10:44
OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?

OceanBase 又有了新动态。


4 月 20 日,在第二届 OceanBase 开发者大会上,OceanBase 宣布了其 4.3 版本的正式发布。在这一新版本中最引人瞩目的进展是推出了列式存储引擎,旨在打造 PB 级别的实时分析数据库,从而进一步强化其 TP/AP 一体化的能力。


随着这一技术的突破,OceanBase 的应用场景得以进一步拓展,从传统的 TP、HTAP 领域,拓展到了更广泛的 TP、HTAP、AP 领域。在发布会现场,OceanBase CTO 杨传辉表示,将重点打造“PB 级实时分析数据库的最强六边形战士”。



如果说 OceanBase 的几个版本满足了用户对于一体化数据库的想象,那么这一次的 4.3 版本更让我们看到了 OceanBase 的更深层价值。在一体化战略的加持下,它正在成长为全行业能力最全面的数据库产品之一。

那么,为何 OceanBase 会选择将 AP 能力作为发展重点,OceanBase 4.3 又实现了怎样的能力升级?走进 OceanBase 开发者大会,或许能找到你想要的答案。

 

AP 数据库的核心痛点,TP/AP 一体化或提供解法?


对于 OceanBase 来说,TP/AP 一体化是自然而然的选择。杨传辉认为,之所以要补足 OceanBase 的 AP 能力,是 OceanBase 产品自然发展的必然路径之一。无论是单机分布式,还是 TP/AP,都是一体化产品战略发展之下的产物。


在 OceanBase 4.2.1 等版本的升级之下,产品的核心业务场景的 TP 能力已经打磨得非常成熟,那么一体化的核心能力自然而然地转向了 AP。秉持着“用一套系统解决 80%问题”的目标,OceanBase 必然要深化并补全产品的 AP 能力。


更重要的是,越来越多的开发者及企业对于 AP 的需求也在逐渐上升。


归根结底,在当下时代,数据蕴含的价值正在日渐提升。对于企业来说,想要提升核心业务,加强场景服务,对于数据的挖掘变得越来越重要,AP 技术的地位也日益凸显。作为数据处理的核心,企业对于数据库实时分析能力的要求日渐增加,AP 数据库开始收获全行业的关注。


但在这个数据井喷的时代,传统的 AP 数据库已经难以满足很多企业的需求。它们往往大查询能力很强,AP 生态的适配性很强,但是无法做到实时的写入。在兼容性、功能性等方面,又跟 OLTP 系统有着巨大的差距。与此同时,目前已有的大部分 AP 系统往往缺乏业务场景的打磨,对于许多企业来说,其可靠性和稳定性仍要打一个问号。


而伴随着 AI 与大模型技术的成熟,AP 技术无疑将会在未来发挥更加重要的作用。无论是金融、电商还是更多行业,都需要通过 AP 技术来挖掘数据的价值,为企业的发展提供有力的支持。



但这些行业往往也有着较大的 TP 需求,于是企业们不得不选择使用 TP+AP 两套数据库系统,或是多种数据库搭配使用。尽管这暂时性地解决了需求问题,但数据系统冗杂、分析链路复杂、自研成本高等问题仍旧困扰着每家企业,亟待解决。


需求与现实之间的巨大落差促使数据库产品们走向进化。HTAP 也成为了近年来炙手可热的概念之一,但对于 OceanBase 团队来说,HTAP 远远称不上完美,他们要真正实现 TP/AP 的一体化。


用户的实践与期望是最大的动力。在 OceanBase 4.2 发布后,基于其 OLTP Plus 能力,许多客户选择通过 OceanBase 替代以往复杂的数据库系统。据杨传辉在大会现场介绍,包括海底捞、携程、贝壳在内的许多企业都在选择用 OceanBase 替代以往的多数据库方案,实现了一定程度上的链路优化。OceanBase 的 AP/TP 一体化战略已经初见成效。


但这并不是 OceanBase 所认为的终点。


“尽管 OceanBase 有着更灵活的部署方式,但我们仍认为 HTAP 并不是万能的。”杨传辉将视野放到了更大的数据需求上,“在几百 GB 到几百 TB 这样的场景里,HTAP 还可以适用,但面对更大的数据量,其往往无能为力。这也是大公司们往往将 AP 与 TP 分开,通过两套系统进行处理的原因。”


针对更大数据量级场景,并加强其实时性、可靠性,在一体化、易用理念的加持下,OceanBase 4.3 最终诞生。这款产品想要通过真正意义上的 TP/AP 一体化,解决客户及开发者们面临的数据领域“最后一公里”难题。



OceanBase 4.3:三大核心技术升级,做最强六边形战士


相比于 HTAP,OceanBase 的 TP/AP 一体化到底有何不同?

 

“我今天想抛出一个新的概念,‘TP/AP 一体化’不一定是把 TP 跟 AP 放到一个系统,也可以是把 OceanBase 分布式数据库的 TP 能力直接融合到 AP 系统里面,做出更好更实时更易用的新型实时数据库。”


在大会现场,杨传辉进一步解析了 OceanBase 的 TP/AP 一体化思路:将已有的 TP 及 HTAP 能力融入进 AP 数据库系统中,打造一套全新的一体化数据库。换句话说,OceanBase 4.3 不再是 OLTP 的延伸,而是在 OLAP 的基础上融入已有的 TP 能力,某种程度上来说,AP 成为了 OceanBase 4.3 最核心的功能之一。


在 OceanBase 看来,一体化概念并非仅限于狭窄的 HTAP 定义,而是更广泛地指用一套系统充分复用底层系统能力,从而支持各种各样的工作负载。OceanBase 4.3 的实时 AP 能力负载已经达到了 PB 量级。在 TB 到 PB 这个最广泛的数据量级范围内,OceanBase 4.3 能够胜任大部分企业对 TP 与 AP 的需求。



据杨传辉介绍,OceanBase 4.3 主要有三大核心技术升级:


首先,基于 LSM-Tree 架构推出列式存储引擎,实现行存、行列混存和列存等多种存储方式,同时融入分布式 TP 核心能力小事务写入技术,有效消除数据导入延迟,满足更严苛的 AP 实时分析需求。此外,OceanBase 还利用列式存储的特点,实现了高效的数据压缩和编码,进一步提高了存储效率。


其次,全新推出基于列数据格式描述的 2.0 向量化引擎和物化视图,进一步提升了深度 AP 场景下的性能表现,可实现秒级实时分析,极大提升了 OLAP 实时分析的能力。相较于实时分析数仓,OceanBase 在实时分析这一场景上具备实时写入、读写强一致、大规模并行处理、管理运维难度低等优点。


最后,OceanBase 4.3 的 TP 性能、易用性进一步增强。在 KV 的场景中,OceanBase 4.3 版本的性能相比 4.2.1 有了大幅度的提升,单行读写能力提升了 70%,批量读写能力提升了 80%。在估行系统、统计信息、代价模型、Online DDL、会话管理、日志流、租户克隆等方面都得以优化,提升了数据库在关键业务负载中的性能和稳定性。


从 TP 能力的持续打磨,再到 AP 分析能力提升、AP 实时性能提升,OceanBase 4.3 实现了全方位升级。通过全新列式存储引擎,打造 PB 级实时分析数据库,可实现秒级实时分析。针对实时数仓在使用、管理更为复杂的短板,在 TP、HTAP 的能力加持下,OceanBase 4.3 为行业提供了一个全新的解法。


针对 AP 性能,发布会现场,OceanBase 也延续了“传统”,开启了一场现场跑分 PK。在同等硬件条件下,OceanBase 4.3 与业内一流的列存大宽表数据库 ClickHouse 进行了跑分 PK。结果显示,在大宽表场景,两者的查询性能处于同一水平,这也直接证明了 OceanBase 4.3 的 AP 能力。在 TB 到 PB 的量级范围内,OceanBase 已经拥有了不错的实时分析能力。



通过对旁路导入、外部表的支持,以及行式存储与列式存储之间的动态转化的实现,OceanBase 4.3 进一步满足了 OLAP 的多元需求场景,如物化视图、联邦查询计算的下压等。


通过分布式计算引擎的能力的提升,OceanBase 4.3 也构建了更好的 MPP 架构,并且支持向量化引擎以及 DOP。4.3 版本增强了对 JSON 等半结构化数据的支持,OceanBase 4.3 版本也与最主流的流式数据库做了很好的兼容适配。


而在可靠性与稳定性方面,OceanBase 4.3 在开发、测试流程上也做到了双线并行,稳步迭代。另一方面,背靠蚂蚁集团的庞大生态,在核心业务场景的应用角度,OceanBase 有着得天独厚的优势。在大流量场景的实践应用之下,OceanBase 4.3 能够抵御大多数类型的风险与问题。


总结来看,在 TP 性能、分布式、兼容性、AP 存储、AP 计算、AP 工具生态能力六大方面,对于 PB 以下企业在 AP 应用场景中,OceanBase 正在成长为一个“六边形战士”。一个可以预见的事实是,在未来,对于有 HTAP 及 OLAP 需求的 PB 以下企业来说,OceanBase 将非常具有吸引力。


 

从开源开放出发,OceanBase 走向未来


从 TP 到 HTAP,再到 AP,OceanBase 已经能够实现对数据库大多数需求的响应,这也是其在“关键业务负载”一体化战略上迈出的重要一步。


在大会现场,杨传辉也再度强调了 OceanBase 开源生态的重要性。


自 2021 年 6 月 1 日正式开源以来,OceanBase 的开源生态蓬勃发展。现如今,其社区版部署的集群数已超过 1 万,涵盖了携程、快手、知乎等众多主流互联网公司。这些公司利用 OceanBase 开源社区版,在各种业务场景下实现了高效的数据处理与存储,进一步证明了 OceanBase 的技术实力与市场价值。


在开源生态的建设上,OceanBase 不仅注重产品的技术创新与迭代,更重视与开发者之间的沟通与协作。通过举办开发者大会、发布技术文档、提供技术支持等方式,OceanBase 积极倾听开发者的声音,不断优化产品体验,满足开发者的实际需求。



展望未来,OceanBase 将继续深化开源生态的建设,推动数据库技术的创新与发展。一方面,OceanBase 将进一步完善单机分布式一体化架构,提升产品的稳定性、性能及性价比,满足更多企业的需求;另一方面,OceanBase 将积极探索与 AI 技术的融合,构建对 KV、多模乃至未来 AI 融合的能力,支持各种各样的工作负载,为企业提供更全面、更智能的数据服务。


正是在这种开放创新的发展理念下,OceanBase 在实践中快速成长。可以预见的是,未来,随着技术的不断发展和市场的不断变化,OceanBase 将继续致力于提供更加先进、更加完善的数据库解决方案,帮助企业更好地应对数字化时代的挑战。

 

2024-04-23 12:2210124

评论

发布
暂无评论

性能测试中唯一标识的JMH测试

FunTester

微信登陆、支付、事件监听等小程序接口调用分解

Geek_2305a8

Pixelmator Pro for Mac v3.5.8 图像编辑软件 直装激活版

iMac小白

Pixelmator Pro破解 Pixelmator Pro中文 Pixelmator Pro下载

DoubleTake for Mac v2.7.0 全景图制作软件 激活版

iMac小白

DoubleTake下载 DoubleTake mac DoubleTake直装版

如何使用Plotly和Dash进行数据可视化

华为云开发者联盟

Python 数据可视化 华为云 华为云开发者联盟 企业号2024年4月PK榜

IDC最新数据:2023年浪潮信息存储跃居中国前二

财见

ETL快速同步 用友u8数据方式

RestCloud

数据同步 用友 ETL

静态代码分析的这些好处,我竟然都不知道?

禅道项目管理

程序员 软件开发 自动化测试 知识分享 静态代码分析

什么是WAAP,对提高网络安全具有哪些重要的意义

德迅云安全杨德俊

革新鞋服零售:数据驱动的智能商品管理 解锁库存优化与高效增长

第七在线

运维数字化转型必备宝典,13位行业资深运维专家力荐之作

嘉为蓝鲸

数字化转型 数字化运维 IT 运维

4K Video Downloader Plus Pro for Mac v1.5.2 4K视频下载器 激活版

iMac小白

4K Video Downloader Plus

CADintosh X for Mac v8.8.6.736 CAD绘图软件直装版

iMac小白

CADintosh X 8 CADintosh X下载 CADintosh X直装版 CADintosh X mac CADintosh X 破解

爆火 AI 硬件遭差评,Ai Pin 上市即翻车;Grok 推出首个多模态模型丨 RTE 开发者日报 Vol.184

声网

你会拆分产品待办项(PBI)吗?

敏捷开发

项目管理 敏捷开发 软件开发 产品管理 用户故事

龙智DevSecOps解决方案:集成Jira/Confluence/HelixCore/SonarQube等知名工具的技术实践与协作场景演示

龙智—DevSecOps解决方案

更优性能与性价比,从自建 ELK 迁移到 SLS 开始

阿里巴巴云原生

阿里云 云原生 日志服务 sls

AlDente Pro for Mac v1.26.1 电池优化工具 限制最大充电比例 激活版

iMac小白

AlDente Pro下载 AlDente Pro破解版 AlDente Pro mac

Ghost Buster Pro for Mac v3.2.2 内存清理工具 激活版

iMac小白

Ghost Buster Pro下载 Ghost Buster Pro mac Ghost Buster Pro破解

海外云手机怎么解决tiktok运营难题?

Ogcloud

云手机 海外云手机 tiktok云手机 云手机海外版 海外原生IP

ODI(境外投资备案)作用、类别和申请流程详解

元太科技携手生态圈伙伴合作开发新一代电子纸货架标签

财见

YashanDB亮相数据技术嘉年华,展自主创新力量

YashanDB

Tinderbox 9 for Mac v9.7.3 可视化个人笔记工具 激活版

iMac小白

Tinderbox 9下载 Tinderbox 9 mac Tinderbox 9破解

ON1 NoNoise AI 2024 for Mac v18.3.0.15302 AI图片降噪工具 激活版

iMac小白

企业网络日益突出的难题与SD-WAN解决方案

Ogcloud

SD-WAN 企业网络 SD-WAN组网 SD-WAN服务商 SDWAN

DR4019|IPQ4019-Based Industrial Board

wallyslilly

2024上海国际智能汽车电子展览会

AIOTE智博会

自动驾驶展 智能驾驶展 汽车电子展

Topaz Photo AI for Mac v3.0.0 智能AI降噪软件 照片清晰度修复

iMac小白

Topaz Photo AI下载 Topaz Photo AI mac Topaz Photo AI破解

OceanBase4.3 发布,实时分析数据库领域的最强六边形战士?_数据湖仓_王世昕_InfoQ精选文章