写点什么

蚂蚁金服 OceanBase 挑战 TPCC 丨 TPC-C 基准测试之链路层优化

  • 2019-10-21
  • 本文字数:3165 字

    阅读完需:约 10 分钟

蚂蚁金服OceanBase挑战TPCC丨TPC-C基准测试之链路层优化

在 TPC-C 标准定义中,测试系统分为 RTE(Remote Terminal Emulator)和 SUT 两部分。在实际的 TPC-C 测试流程中,不只是对 DB 端能力的考验,对链路中的所有组件都存在极大的资源消耗和压力。以这次 6088 万 tpmC 测试结果看,我们一共在 64 台 64C128G 的云服务器上运行了 960 个 RTE 客户端,来模拟总计 47942400 个用户 Terminal,最后还需要基于这么多 RTE 统计结果进行一致性和持久化审计验证。而 SUT 又拆分为三部分:WAS(Web Application Server) 、OceanBase Proxy(OBProxy) 和 OceanBaseServer(OBServer)。RTE 的请求到 WAS,然后 WAS 通过 OceanBase 客户端来访问 OBProxy,OBProxy 会将请求转发到后端 OceanBase 集群中最佳的 ObServer 去执行请求。WAS 和 OBProxy 是 RTE 和 OBServer 之间的桥梁,这个桥梁对于承载压力起着至关重要的作用。本次 TPC-C 基准测试中,OceanBase 访问链路上主要涉及两个组件:

ODBC 接口及驱动

TPC-C 测试中,WAS 请求 OceanBase 采用了 ODBC 接口。ODBC(Open Database Connectivity)是 Microsoft 提出的数据访问规范,ODBC 在大多数 DBMS 上都可以使用,OceanBase 也提供了 ODBC 接口访问能力。感兴趣的用户可以查阅 ODBC API 说明 快速上手使用,使用 ODBC 的用户可以直接使用该接口无缝迁移的访问 OceanBase。ODBC 接口及驱动集成到 WAS 内部,作为请求 OceanBase 的客户端。

OBProxy 代理

OceanBase 实现了 OBProxy 代理服务器来解决数据库链路上的路由及容灾问题。OBProxy 会感知数据副本地址和分区规则,不参与 SQL 引擎参与执行计划的生成调度,主要负责 SQL 路由和转发。这种架构设计中,OBProxy 承担了基础的路由和容灾功能,而数据库的功能全部交由 ObServer 实现。这样更加简单明确的分工可以各组件性能做的更加极致,OBProxy 也做到了完全无状态,只需要添加节点即可实现代理能力的水平扩容,OceanBase 整体也能做到数据库的最高性能。



TPC-C 基准 OceanBase 链路访问图


TPC-C 是一个非常严苛的基准测试模型,考验的是一个完备的关系数据库系统全链路的能力,任何一个环节有瓶颈均无法发挥数据库的最大性能,接下来本文会分别在性能、成本及服务持续三个方面来说明下是如何优化 OceanBase 链路上的组件。

链路性能优化

在 蚂蚁金服 OceanBase 挑战 TPCC | TPC-C 基准测试之 SQL 优化 已经提到,从整个链路的角度来看,SQL 所需要的执行时间是非常短暂的,大量时间花费在与客户端的交互过程中,造成资源的浪费和耗时的增加,为此 OBServer 提供 Prepared Statement、存储过程和 ARRAY BINDING 能力。客户端和 OBProxy 针对该能力进行支持以使其真正发挥作用。同时客户端本身也进行一些优化提升链路性能,接下来主要介绍链路性能部分的优化点:

提供异步接口能力

通常使用数据库访问都是同步接口,同步接口开发方便,但客户端受网络交互耗时影响大,并发能力受到限制。使用多线程的方式可以帮助提升并发能力,但机器的线程资源是宝贵的,过多的线程会增加机器线程切换的开销,限制了并发能力。为使 WAS 可以达到更高的吞吐能力,我们基于事件驱动机制在 ODBC 接口内增加异步接口的支持。使用异步接口,WAS 单个线程内可以在发送请求后无需等待执行结果继续在其他 Session 上发送请求,通过充分使用线程资源从而大幅提升吞吐能力。异步接口本身参考 ODBC 接口规范,用户调用异步接口会立即返回,如果尚未执行完成则返回 SQL_STILL_EXECUTING,用户可以轮询接口直到执行完成返回成功(SQL_SUCCESS)或者失败(SQL_ERROR),也可以基于网络事件驱动,在有结果返回时再次调用接口获取结果。使用异步接口,可以在少量线程资源下轻松支持大量的并发连接,极大的提升了 WAS 的并发能力,机器资源的利用率也得到提升,大幅降低压测成本。

提供 Prepared Statement 能力

PreparedStatement 是一种二进制的请求交互协议,一次 PSSQL 文本传输,多次执行,OBProxy SQL 引擎会缓存 PS SQL 文本以及解析结果,每条 PS SQL 只需要执行一次 Prepare 操作,后续所有 Session 上的每次执行只需要传入对应的 Statement Id,就可以从缓存中找到对应的 SQL 解析结果,结合传入的参数,可以很快的计算出 OBServer 的路由信息,转发性能更为高效。同时,作为代理层的 OBProxy 也很好的支持了 OBServer 的分布式特性,当 Client Session 需要切换 Server Session 时,无需再次发送 PS SQL 和 Execute 阶段时的类型数据,OBProxy 可以自行判断并决定是否需要同步 PS SQL 或加上类型数据。通过 Prepared Statement 能力,可以有效减低系统间的交互成本,提升性能,相比普通 SQL 文本的交互方式,省去了大量 SQL 文本的传输以及请求文本解析的 CPU 开销。

存储过程

对于存储过程,OBProxy 做了大量优化,存储过程通常包含多条 SQL,不同 SQL 通常需要路由到不同 OBServer 上执行,产生大量远程执行。远程执行不仅会增加 RT,也会占用更多的 CPU 资源,因此,OBProxy 的 SQL 引擎会解析存储过程中的 SQL,计算最优策略,将存储过程调用发往最合适的 OBServer 上执行,尽可能的减少远程执行次数。OBProxy 也会缓存存储过程的解析结果和路由信息,用以省去每次硬解析带来的 CPU 开销。

复杂类型

我们在 OceanBase 原有传输协议上重新做了扩展,使得整个链路支持复杂类型的传输。同时,OBProxy 新增了复杂数据类型的解析,能够根据复杂类型数据来计算路由和分区裁剪。通过支持复杂类型,可以提高每次传输携带的数据信息,有效减少交互次数,也能够根据复杂类型的数据计算最佳路由策略,尽可能的路由到分区更多的 OBServer 上,减少远程执行次数。正是有了 OBProxy 对于数组等复杂类型的支持,才使得客户端可以更好的使用存储过程和 ARRAY BINDING 的能力。

代理资源占用

OBProxy 代理采用多线程异步框架和透明流式转发的设计,保证了数据的高性能转发(单核 5 万 QPS、转发 RT 30~50us),以及自身对机器资源的最小消耗。在 TPC-C 基准测试中,我们也采用了本地的形式部署到 WAS 端,这样可以最大程度的的减少客户端到代理层的网络开销。在本次测试中,OBProxy 代理层部署到 64 台客户端机器上,每台机器上使用到了 10 个 Core,一共占用 640 Cores,仅占整体 CPU 测试成本的 7% 左右,几乎没有使用存储资源,资源占用比例小且支持水平扩容。

持续服务能力

OceanBase 提供了高可用的数据库服务,在出现机器不可用的场景下,不需要有任何人工干预数据库依然能够持续提供服务,在本次 TPC-C 做 Durability 测试强制断电操作中,OceanBase 就表现出无人工干预下的数据库持续服务的能力,大大超出审计员的期望。


OceanBase 针对强制断电这种单机故障场景,OBProxy 有包含黑名单和灰名单两种机制,用于处理 OBServer 错峰合并、升级、宕机、启动/停止,网络分区等状态。黑名单采取定期刷新维护,由 OBServer 反馈哪些服务器节点不能提供服务。灰名单则采取主动触发维护,当 OBProxy 转发请求给 OBServer,如果发现 OBServer 返回特定的系统错误,或者 OBServer 在一段时间内有多次连续不可用,则将该 OBServer 加入灰名单。黑名单中的 OBServer 不会被访问,灰名单中的 OBServer 每隔一段时间会重试一次,检查是否需要洗白,以避免长时间将 OBServer 降级。通过 OceanBase 这样的机制,能够保障 TPC-C Durability 测试过程中的数据库持续服务能力。

总结

OceanBase 链路层为客户提供了端到端的完整解决方案,其自研的传输协议能够非常灵活的支持 SQL 特性和交互协议,实现了标准的数据库访问接口并支持 Oracle 兼容模式,可以达到数据库的易用性、高性能、服务持续的最大平衡。后续会持续优化传输协议以达到最高的传输及交互效率,完善数据库访问标准接口,为用户提供一个更为成熟的数据库服务。


本文转载自公众号蚂蚁金服科技(ID:Ant-Techfin)。


原文链接:


https://mp.weixin.qq.com/s/cuINP3QocrQE47qSQXsCgg


2019-10-21 08:001165

评论

发布
暂无评论
发现更多内容

华为云发布多项场景化解决方案助力制造业企业加速上云

IT科技苏辞

制造企业如何解决数据分散和管理困难的问题,实现数字化转型?

IT科技苏辞

智能汽车主题 Meetup 线下报名开启!IoTDB X EMQ 为智慧车联和智能制造打造数据基础设施平台

Apache IoTDB

智能汽车 IoTDB Apache IoTDB

读懂一个项目的研发效能 之 项目人效

思码逸研发效能

研发效能 功能更新

有关TCP协议,这是我看过讲的最清楚的一篇文章了!

三十而立

狂刷《Java 权威面试指南(阿里版)》,冲击“金三银四”有望了

三十而立

不想做架构师的Gopher不是好程序员

王中阳Go

Docker 高效工作 学习方法 面试题 Go 语言

KubeVela:云原生应用和平台工程之路

阿里巴巴云原生

阿里云 开源 云原生 KubeVela

Excelize 发布 2.7.1 版本,Go 语言 Excel 文档基础库

xuri

开源 编程 Excel Go 语言 Excelize

喜讯!索信达荣获CCSA TC601年度“优秀成员单位”

索信达控股

2023年最强手机远程控制横测:ToDesk、向日葵、Airdroid三款APP免Root版本

陈橘又青

远程连接

如何过好4000周:关于重新校准人生时间的建议

宇宙之一粟

时间管理

探索网络世界的核心:TCPIP协议四层模型解析

做梦都在改BUG

Java 计算机网络 网络协议 TCP/IP

阿里正式加入ChatGPT战局,“通义千问”上线后表现如何?

引迈信息

AI 阿里 低代码 语言模型 ChatGPT

云原生:驱动企业数字化新模式

北京好雨科技有限公司

云原生 数字化 rainbond 企业号 4 月 PK 榜

[翻译]反生产力宣言

宇宙之一粟

人生 时间管理 高效能

“PMC零距离” 赖晖:在 IoTDB 我实现了参与贡献共识协议的兴趣方向!

Apache IoTDB

IoTDB Apache IoTDB

一站式开发平台 加速企业数字化发展

力软低代码开发平台

面试造火箭?GitHub 飙升“2023(Java 岗)面试真题汇总”转载 40 万

三十而立

ChatGPT-5到底有多强?Battle!咱貌似也不输呀!

加入高科技仿生人

人工智能 AI 低代码 ChatGPT GPT-4

借力函数计算 FC,HEROZ 打造专业级 AI 日本将棋服务

阿里巴巴云原生

阿里云 云原生 函数计算

Apifox:API 接口自动化测试完全指南

Apifox

测试 自动化测试 测试工具 接口工具免费 免费工具

阿里巴巴内网 Java 面试 2000 题解析(2023 最新版

三十而立

【亲测有效】30 岁测试工程师的 12 个破除内卷技能!

禅道项目管理

职场 互联网人 敏捷测试 测试工程师

华为云开源项目OpenTiny的TinyCLI是什么时候开源的?

英勇无比的消炎药

前端 开源项目 cli UI组件库

真下饭!字节技术官DDD(领域驱动设计)手册,拆解业务代码首选

做梦都在改BUG

Java 架构 领域驱动设计 DDD

华为云开源项目OpenTiny的TinyNG组件库的设计理念是什么?

英勇无比的消炎药

前端 开源项目 OpenTiny UI组件库

软件测试/测试开发丨如何开始webView 性能测试

测试人

软件测试 性能测试 自动化测试 测试开发

联想超融合加入龙蜥社区,多产品完成与 Anolis OS 适配

OpenAnolis小助手

开源 操作系统 龙蜥社区 龙腾计划 联想超融合

Go 语言读取文件的几种方式

宇宙之一粟

Go 语言

MobTech MobPush|推送的下发逻辑是什么样的

MobTech袤博科技

蚂蚁金服OceanBase挑战TPCC丨TPC-C基准测试之链路层优化_文化 & 方法_易鸿伟_InfoQ精选文章