写点什么

第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值

天翼云

  • 2023-09-14
    北京
  • 本文字数:2356 字

    阅读完需:约 8 分钟

大小:1.31M时长:07:37
第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值

近日,天翼云联合权威科技媒体 InfoQ 举办了以“存储难题新解法,揭秘极致易用的 HBlock”为主题的线上技术分享会”。天翼云国际业务事业部研发专家武志民与存储产品线总监魏玮参与了第二期分享,以“天翼云存储资源盘活系统 HBlock,深挖独创技术亮点与实战演练”为主题,讲解了 HBlock 在安装部署、数据可靠性和安全性保障、混沌测试与性能分析等方面的内容,本文将对其观点进行详细阐述。

安装部署超易用,打造企业数据存储底座


随着数字经济的蓬勃发展,数据作为核心生产要素,已成为数字经济发展的重要基石。与此同时,数据规模持续爆炸性增长,数据类型不断丰富,企业对数据处理与分析速度要求越来越高,带来了一系列存储的新挑战。


尽管市场上的分布式存储产品和解决方案层出不穷,但如何提高企业存储资源利用率,同时满足安全可靠、高性能、方便易用、降本增效等需求,是一件非常不容易的事情。在天翼云最新发布的存储资源盘活系统 HBlock 中,我们看到了分布式存储的全新“解题思路”。


作为天翼云自主研发的业内第一款全用户态的软件定义存储产品,HBlock 采用极简设计模式,相比于传统存储存在建设周期长、安装部署复杂、扩容难等问题,HBlock 安装包只有 170MB 左右,可安装在任何主流 Linux 操作系统上,不依赖于 NTP 服务器,3 个命令行完成安装部署,3 分钟即可建立数据中心级别集群,大幅降低安装部署门槛,同时可以按需扩容,为用户带来极佳的使用体验。


与传统存储软硬一体的模式不同,HBlock 对底层基础设施完全解耦,可以完美适配存量异构服务器环境,解决了硬件兼容性问题,可将 X86、ARM、龙芯等不同架构服务器上的存储资源进行统一管理,转换成高性能的虚拟存储阵列,通过标准 iSCSI 协议提供分布式块存储服务。

高可用技术架构,保障企业数据安全


通常,人们都认为传统集中式存储的软硬件结合模式才具有极高的可用性,HBlock 用出色的技术架构在纯软件上实现了令人刮目相看的高可用性。HBlock 基于 MPIO 的“一主多备”方案,故障场景下支持数据链路自动切换,集群中所有服务都采用冗余模式部署,数据处理过程不依赖任何时钟服务器,使用天翼云自研的分布式租约和心跳机制进行主备切换,从发生故障到故障发现,再到完成服务接管,整个过程几秒内就能完成。在切换过程中,分布式多控制器保证了两个缓存之间的数据是强一致的,确保数据不丢失。


针对不同容量、不同性能表现、不同负载的节点及磁盘组成的集群,数据应当如何分布,由 HBlock 的多因子权重算法来决定:针对空间总量、使用量、使用率的空间因子;针对读写并发数、内存、磁盘负载的负载因子;针对时延、带宽的网络因子。三种因子通过综合计算得出总体权重,用来确定数据存放的节点或磁盘,充分发挥各个部件的性能,同时可避免性能差、负载高的节点及磁盘成为性能瓶颈。


HBlock 还通过灵活的 QoS(Quality of Service,服务质量)特性来保障读写的服务质量。在空间和内存紧张时,会触发一个平滑的降速,同时在管理侧通过告警、系统事件、发邮件等方式通知管理员人为干预,这样可以避免存储资源耗尽导致业务突然中断的问题。HBlock 具有读写分离控制的机制,对于不同的资源,降速的请求是不一样的,空间紧张时降低写速度,内存紧张时同时降低读写速度。扩容后,由多因子权重算法决策平衡方案,负载向新节点倾斜,可灵活配置业务优先或数据恢复优先策略,满足不同需求场景。


HBlock 可以设置节点或磁盘级别的故障域,每个存储卷都可以选择纠删码或副本等不同的冗余方式。可以检测数据静默错误,保障数据完整性。另外,HBlock 是面向混沌环境的设计的,在各种弱电(电源不稳定、时钟抖动、CPU 降速)、弱盘(老化降速、读写失败)、弱网(网卡降速、丢包、错包)等情况下,通过分布式租约、实时感知故障、多因子空间分配、坏盘后快速重构等技术手段确保数据不丢。

高性能实战表现,激活企业数据潜力


HBlock 的存储性能表现优异,单卷 IOPS 可达 15 万次、读写延迟 200 微秒的性能表现完全能够胜任多种业务场景的性能需求,HBlock 支持 1024 节点弹性扩展和 PB 级存储资源池。HBlock 之所有具有如此出色的性能,要归功于领先的分布式多控制器架构和智能调度算法,通过多模式写缓存与读缓存的设计来实现高性能。


HBlock 具有 WriteBack、WriteThrough、WriteAround 三种写缓存模式,可以根据不同场景的读写需求来动态调整;同时,HBlock 会根据网络距离和节点负载选择最合适的节点,将数据放在缓存中,避免对磁盘频繁的小 IO 操作,更好地发挥存储介质的性能。


通过与开源 Ceph 的对比测试发现,在 1MB 大 IO、三副本读写的场景下,HBlock 读带宽 300 多 MB,写带宽 350 多 MB,是 Ceph 的 2 倍以上。随机读、随机写的带宽也是 Ceph 的 1 倍以上。用 4K 小 IO 进行读写,HBlock 性能表现有更突出的优势,单线程读写场景下 HBlock 的读、写、随机写性能均为是 Ceph 的 3-5 倍。即使是在 32 个并发的场景下,HBlock 的性能也是 Ceph 的 1-2 倍。而 EC 更是 HBlock 的优势领域,用 EC2+1 模式代替三副本模式,HBlock 的性能可以达到 Ceph 的 5 倍以上,在空间使用率方面,得盘率由 33.3% 翻倍,达到 66.7%,可在提升性能的同时显著降低存储成本。

福利来了!HBlock 尝鲜活动震撼发布!


为帮助更多政企客户高效、低成本搭建软件定义存储平台,天翼云推出了 HBlock 尝鲜活动,尝鲜期内用户将有机会免费使用 HBlock。活动规则如下:


报名时间:2023.8.21-2023.10.31

用户特权:尝鲜期报名且激活授权的用户,将获得上限 1PB、1024 节点的永久免费 License,欢迎企业客户、集成商伙伴踊跃报名!

特别说明:免费尝鲜版本为 HBlock 3.4,HBlock 支持 PB 级部署,用户需自行准备硬件设备,天翼云提供 HBlock 重大缺陷修复、邮件和电话咨询服务,但不提供产品新增功能,尝鲜期内报名未激活授权或尝鲜期后报名需正常付费。



2023-09-14 14:454397

评论

发布
暂无评论
发现更多内容

一个平凡者的阅读故事

卷尚

Ruoyi Vue前后端分离版本添加UReport设计器

赵欣

Vue Ruoyi uReport

从少儿编程讲讲开发行业的大趋势

kimmking

在线教育 少儿编程

远程办公钉钉使用体验

冯夷

钉钉

ANTLR入门(一)

zane

编程语言 ANTLR

Filebeat + Kafka + Elasticsearch + Kibana 实现日志收集与管理

AlwaysBeta

大数据 kafka elasticsearch elastic 数据分析

程序员不可不知的:2020年测试六大趋势

禅道项目管理

人工智能 开源 DevOps 敏捷开发 测试

SpringBoot+Mybatis Plus多租户动态数据源

zane

数据库 Spring Cloud mybatis

如何写作一本书(1):写前须知

英子编辑

技术 写作 读书

读 Guide to Java String Pool

shengjk1

Java string pool

彻底明白如何设计一个良好的 API

Yezhiwei

翻译: Effective Go (3)

申屠鹏会

翻译 gol

Laravel 7 新特性 - 流畅的字符串操作

Middleware

php laravel string

《代码整洁之道》原则整理

insight

编程

程序员到底应该学习什么语言好?

页面仔小杨

字节码编程,Javassist篇二《定义属性以及创建方法时多种入参和出参类型的使用》

小傅哥

Java 字节码编程 字节码插桩 小傅哥

JDK源码分析之 ArrayList

Wh1

源码分析

OKR实践中的痛点(2):对不qi,对不qi

大叔杨

OKR Scrum 敏捷 敏捷开发

曾国藩家书嘉言钞(六)

熊小北同学

曾国藩 曾国藩家书 嘉言钞

100字:对数时间复杂度

韩小非

算法 时间复杂度

从高盛的技术“开源”看金融业软件发展未来

FinClip

open-source 金融科技 数字化生态

spring-cloud-stream 集成 rocketmq

再见孙悟空

RocketMQ Spring Cloud

招聘小思考

水色

字节码编程,Javassist篇一《基于javassist的第一个案例helloworld》

小傅哥

Java 字节码编程 字节码插桩 小傅哥

本地开发环境搭建利器--vagrant

aoho

DevOps 运维 vagrant

讲一个程序员如何副业月赚三万的真实故事

非著名程序员

程序员 副业 副业赚钱 提升认知

告诉你一个学习编程的诀窍(建议收藏)

ithuangqing

学习 编程 自学编程

高性能交易系统设计原理

廖雪峰

架构

DDD 实践手册(1.Get Started)

Joshua

领域驱动设计 DDD 系统架构 架构模式

变革之路的思考

龙眼果

ANTLR 入门(二)

zane

编程语言 ANTLR

第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值_云计算_InfoQ精选文章