【AICon】 如何构建高效的 RAG 系统?RAG 技术在实际应用中遇到的挑战及应对策略?>>> 了解详情
写点什么

华为云 TaurusDB 计算存储分离架构:让数据“身”分离,“心”凝聚

  • 2019-12-16
  • 本文字数:2572 字

    阅读完需:约 8 分钟

华为云TaurusDB计算存储分离架构:让数据“身”分离,“心”凝聚

随着企业的不断发展,企业产生大量的数据,这些数据既要保存下来,又要它们产生相应的价值。事实上,如何将数据存储并产生价值是每个企业不容忽视的问题。而在数字化和云端数据库蓬勃发展的今天,数据上云成为了众多企业数据库的首选。


在 2019 年华为全联接大会上,华为重磅推出最新一代高扩展海量存储分布式数据库——TaurusDB,它拥有一个最大的特点就是将存储和计算以一种分离的架构形式运行。


很多人就会问到,华为云为什么会设计这款产品?核心竞争力是什么?对比原生 MySQL 的优势有哪些?借此时机,我们有幸采访到了华为云 TaurusDB 数据库资深技术专家,现在就请他来为我们一一解答。



华为云数据库专家

缘起:TaurusDB 数据库的设计初衷

当前,中国有近 70% 新型企业的业务因数据挑战而受影响。现在随着互联网的飞速发展,所产生的数据量是以几何的模式在增长。数据量大、数据种类多对数据库的性能、可靠性等要求也越来越高。像金融行业,不仅需要高可靠的存储设备性能,更要保障数据的安全。



传统的数据库及数据库上云模式,越来越不能满足客户业务的快速扩展和智能运维需求,客户需要的是一套能够灵活扩展、智能诊断、支持跨云融合的新一代云端原生数据库系统。与大数据相辅相成的云数据库,尤其是基于云场景架构设计的云原生分布式数据库,成为了企业的最佳选择。



华为云数据库专家在谈及 TaurusDB 设计初衷时讲到,分布式数据库现在是一个大的新趋势,而 TaurusDB 的定位是企业级分布式数据库,针对企业的高并发、海量吞吐等需求,有着非常优异的表现。


华为云数据库专家介绍到:



TaurusDB 是第一个基于 MySQL 8.0 开发的高性能新一代企业级分布式数据库,设计目标是利用云原生设计解决传统的关系型数据库问题。它支持并行查询,DDL 操作的原子性,异步写日志等优化。


业界同类型的数据库都是基于 MySQL 5.6、5.7 开发的,而 TaurusDB 的设计研发充分发挥了华为公司的全栈优势,利用数据库软件与底层硬件、CPU、网络、存储芯片等垂直产品技术的整合,发挥出华为软硬件结合后的整体最大优势,并且使用了自研 Hi1822 芯片,以及下一代高性能 DFV 存储服务器、RDMA 网络。


蝶变:左手计算,右手存储

TaurusDB 作为一个分布式集群架构,采用计算与存储分离、日志即数据的架构设计,支持 1 写 15 读的模式,性能可达到原生 MySQL 的 7 倍。此外,TaurusDB 是构建在共享分布式存储上,存储空间最高达 128T,能跨 AZ 部署。



TaurusDB 利用计算存储分离架构,可以把数据库逻辑下推到存储层进行计算,充分发挥存储层的分布式计算能力,进一步提升数据库的性能,减少网络开销。针对 TaurusDB 的架构优势,华为云数据库专家分别就计算和存储两个层面做了阐述:

计算层

在计算层,TaurusDB 采用了无锁优化,异步提交,主备机同步不再使用 Binlog 的模式。这个模式的好处就是大大释放了主机的压力,主机只管做“自己”的事情,无需和备机进行交互。


相比传统的 MySQL 数据库,TaurusDB 只需要 5 分钟就可以增加一个备机,即使增加到 15 个备机也不会有任何影响,而 MySQL 最多可加到 5 个左右的备机。


华为云数据库专家在采访中举例,Binlog 的缺点是需要同步给所有的备机,相当于有多少备机就要同步到多少台机器中,这样做的后果就是直接拉低了主机的正常工作性能。因此,传统架构最多可以增加到 5 台备机,再增加备机就会导致无法正常工作。

存储层

TaurusDB 存储层实现数据分片存储,保证故障快速恢复。例如:一共有 1TB 数据,即使只有 1 个字节的内容损坏,也需要恢复 1TB 的数据,且恢复时间非常长。但是如果实现分片存储,我们只需要恢复被破坏数据所在的分片即可。比如 1TB 数据,TaurusDB 把它分成 100 个 10GB 的数据分片,如果只是某个分片坏了,就只需要恢复这 10GB 的数据即可。



存储池化带来的好处就是,用户不需要担心存储空间不够用,存储层会根据当前容量进行自动扩容。专家表示,客户无需担心存储容量的问题,TaurusDB 自动在后台进行扩容。



“按需收费,自动扩容”为客户带来非常人性化的产品体验服务。


谈及数据,“安全”就是不得不提的一个话题。在安全方面,TaurusDB 的安全性能比原生 MySQL 更高。


  • 首先,数据分布式存储,并且是跨可用区的多副本,确保数据 0 丢失。

  • 其次,存储层本身就有一套成熟的数据隔离和加密机制。

  • 再次,MySQL8.0 相对比原生 MySQL 5.6、MySQL 5.7,在安全性方面也做了很多的优化和提升。

  • 最后,TaurusDB 通过与 DBSS(数据库安全服务)的透明化集成,不用修改应用,只需在界面配置即可享受智能化的安全保障,可以防御各种网络攻击,防护数据泄露。


当前,华为云数据库已通过可信云认证,可提供国际级的隐私和数据保护。


目前,关系型数据库的场景都可以使用 TaurusDB,尤其像读写负载极高的场景,例如社交应用,大型网站等。这些系统的数据量很大,并且增长较快,数据库并发访问量很高。传统的做法是使用分库表中间件,但是中间件对应用的开发有较高的要求,而且有比较多的使用限制。


而 TaurusDB 本身就支持 128TB 的容量,在使用上和 MySQL 也没有任何区别,不需要客户自己做分库分表。另外,对性能和数据可靠性上有较高要求的业务,TaurusDB 也是一个很好的选择。

升华:探索技术高峰,赋能行业发展

现在的企业都在走向信息化、互联网化,既要保存海量数据,还要使用和分析这些海量数据,那么未来 OLTP 和 OLAP 的混合型数据库也是一个重要的发展趋势,客户能够在一个数据库上快速完成交易和分析业务。未来云上的分布式数据库,计算存储分离是一个大趋势,在此架构之下,可以做很多的优化和提供更多的新功能。


现在 TaurusDB 产品即将公测上线,明年正式对外商用。华为云数据库专家表示,在接下来的产品研发中,会结合华为硬件优势,软硬件结合,进一步优化和提升性能。同时基于计算存储分离的架构,在多写、HTAP、算子下推等方面做进一步的研发。


不仅如此,华为云也将同步更新社区,让用户同时享受商业级的技术服务和开源软件的生态红利。


华为云数据库专家表示:



现在的 MySQL 用户可以零门槛地切换到 TaurusDB,只要对 SQL 有所了解,就能操作 TaurusDB。华为云数据库团队还在今年组织了 TaurusDB 性能挑战赛,希望吸引更多开发者关注 TaurusDB 产品,使其能够在不同的场景下产生价值。



——转自 CSD


本文转载自 HW 云数据库公众号。


原文链接:https://mp.weixin.qq.com/s/VfHYQmpguO87Q2kNxd3HBg


2019-12-16 15:51979

评论

发布
暂无评论
发现更多内容

Kubernetes网络模型

CTO技术共享

开源 Kubernetes 集群 签约计划第三季 8月月更

如何克服紧张

踏雪痕

Centos7安装系统安装docker

Geek_8d9022

Kubernetes DevOps 工具

CTO技术共享

开源 签约计划第三季 8月月更

电动汽车充电站的部署优化策略

乌龟哥哥

8月月更

Kubernetes 怎么调度管理CPU

CTO技术共享

开源 签约计划第三季 8月月更

kubernetes灰度发布

CTO技术共享

开源 签约计划第三季 8月月更

一起学习集合框架之 TreeSet

宇宙之一粟

Java 8月月更

关于在谷歌浏览器,vue-video-player 实现断点续播,currentTime不生效问题。

泉城老铁

Angular 为什么要引入 injection token 的概念

Jerry Wang

前端开发 angular web开发 依赖注入 8月月更

Spring Cloud 入门 -- 搭建Eureka注册中心 实现服务者与消费者的服务调用

Bug终结者

Java 云原生 8月月更

Kubernetes 架构知识

CTO技术共享

开源 签约计划第三季 8月月更

数据库日增20万条数据,用读写分离和分库分表加持破它

知识浅谈

8月月更

Spring(一、快速入门)

开源 Spring5 8月月更

GItHub又火了!2022最全 Java面试手册终于开源了,包含了29个知识点

Java工程师

Java 面试

Kubernetes构建Redis 集群

CTO技术共享

redis 开源 签约计划第三季 8月月更

Kubernetes证书过期怎么玩

CTO技术共享

开源 签约计划第三季 8月月更

【ELT.ZIP】OpenHarmony啃论文俱乐部——学术科研方法论沉淀辑

ELT.ZIP

方法论 OpenHarmony ELT.ZIP 啃论文

数据治理(一):为什么要数据治理

Lansonli

大数据 数据治理 8月月更

Kubernetes内存泄露怎么玩

CTO技术共享

开源 内存泄漏 签约计划第三季 8月月更

Kubernetes微服务框架

CTO技术共享

开源 签约计划第三季 8月月更

Kubernetes 原生接口

CTO技术共享

开源 签约计划第三季 8月月更

kubernetes 常见架构图

CTO技术共享

开源 签约计划第三季 8月月更

Kubernetes 调度器优化

CTO技术共享

开源 Kubernetes 集群 签约计划第三季

Kubernetes 部署策略

CTO技术共享

开源 签约计划第三季 8月月更

kubernetes日常命令

CTO技术共享

开源 签约计划第三季 8月月更

纯色山鹪莺

猫猫巧克力

Kubernetes 实现灰度和蓝绿发布

CTO技术共享

开源 灰度发布 蓝绿发布 签约计划第三季 8月月更

Kubernetes Cilium展示

CTO技术共享

开源 cilium Kubernetes 集群 签约计划第三季

Android 应用安全机制实现方案探究

No Silver Bullet

android 签约计划第三季 8月月更 安全机制

SAP API 开发方法大全

Jerry Wang

API SAP abap 全栈开发 8月月更

华为云TaurusDB计算存储分离架构:让数据“身”分离,“心”凝聚_文化 & 方法_HW云数据库_InfoQ精选文章