写点什么

第一期观点:一文读懂轻量存储 HBlock 的设计理念与场景实践

天翼云

  • 2024-08-14
    北京
  • 本文字数:3003 字

    阅读完需:约 10 分钟

大小:1.55M时长:09:00
第一期观点:一文读懂轻量存储 HBlock 的设计理念与场景实践

近日,天翼云联合 InfoQ 举办了以“新存储,更轻量”为主题的线上技术分享会。天翼云存储产品线总监潘亚莲以“轻量级存储集群控制器 HBlock 的设计理念与场景实践”为主题,讲解了 HBlock 在产品理念、价值主张、应用场景等方面的内容,本文将对其观点进行详细阐述。


自研·创新·可控 HBlock 开启存储新纪元


IDC 预测,全球 2024 年将生成 159.2ZB 数据,2028 年将增加一倍以上,达到 384.6ZB,这给企业存储系统的容量、性能、运维、成本、灵活性带来挑战。此外,由于过度配置、数据孤岛、冗余备份以及中断性的传输和迁移等操作,企业普遍面临存储资源利用率低的问题。为了帮助用户应对以上挑战,天翼云自研了业界首款存储资源盘活系统——HBlock。


HBlock 是轻量级存储集群控制器,可实现全用户态软件定义存储,能将闲置存储资源转换成高可用虚拟盘,通过标准 iSCSI 协议提供分布式块存储服务,挂载给本地或远程服务器使用。


HBlock 对下兼容多种硬件,对上支持多种场景。对下:一个集群中可存在不同配置的服务器,如不同 CPU 架构(x86、ARM、龙芯等)、内存和硬盘大小、磁盘类型等,帮助用户充分利用硬件资源;对上:支持 iSCSI 协议,适配文件协议,提供 CSI 和 Cinder 插件,适用于并行文件存储、虚拟化平台、数据库、容器平台等技术场景,能满足备份、监控、医疗影像、大数据分析及大模型训练等应用场景的需求。


存储资源盘活系统HBlock架构图


2024 年,HBlock 进入国家工业和信息化领域节能降碳技术装备推荐目录,体现了其轻量、绿色的优势。HBlock 已加入国产化自主可控图谱,在天翼云官网上线,是业内唯一支持官网下载使用的软件定义存储产品。


稳定·高效·易用:HBlock 划定存储新标准


HBlock 为企业存储注入全新活力,提高系统稳定性,确保业务运行不间断;提升资源利用率,让每一寸存储空间发挥最大效能;提高运维便捷性,让管理变得轻松愉快。


1.提高系统稳定性

  • 高可用存储池:HBlock 将低可用的物理盘整合成高可用的虚拟盘,将应用部署在虚拟盘上,低成本实现了应用的高可用,支持自动秒级故障切换,一主多备,无单点故障。

  • 故障域隔离:通过集群拓扑,HBlock 可映射物理环境中服务器的分布情况,包括服务器所在的机房和机柜位置。基于此拓扑结构,用户可以创建机房、机柜、服务器、数据目录等不同故障域级别的存储池,精细管理存储资源。

  • 副本折叠:HBlock 允许在同一故障域内存放多个(而非一个)副本,在有限的硬件资源条件下,能够显著提高数据冗余度和系统的容错能力。


2.提升资源利用率

  • 多存储池:HBlock 将分散的空闲存储空间盘活为统一的分布式集群,一个集群中可创建多个存储池,更灵活地管理不同类型的存储资源。如:将 SSD 组成高性能池,将 HDD 组成大容量池;或将 SSD 用作高速缓存池,数据写入时,先存储在高速缓存池中提高性能表现,随后自动迁移到普通池,实现冷热分层,既能发挥 SSD 的性能优势,又能利用 HDD 的大容量优势,降低整体存储成本。

  • 混合部署:HBlock 支持应用和存储系统混合部署,用最少的节点实现高可用,降低购置服务器的整体成本。

  • 灵活数据冗余:HBlock 提供卷级别的多副本和纠删码(EC)的冗余配置,EC N+M 最高可达 128,实现 98%超高得盘率。EC 副本和分片大小均支持设置,可以减少写放大、减少空间浪费。


3.提高运维便捷性

  • 轻量交付:HBlock 安装包仅 170MB,1 核 4GB 内存即可部署,3 分钟即可搭建集群,物理机、虚拟机、容器都可使用。

  • 管理多样化:HBlock 支持 RESTful API、命令行、Web 控制台三种管理接入方式;提供统一监控告警视图,易操作易维护。在用户主动开放权限后,售后团队可快速接入环境,协助解决问题,消除物理距离的限制,提高工作效率。

  • 全面监控:HBlock 可监控系统中所有的资源,提供一页式概览及详情查看功能,当系统中的组件或资源出现异常时,自动触发告警通知用户。HBlock 引入了硬件环境监控功能。通过与业内常用的运维平台 Prometheus 和 Grafana 结合,HBlock 可以采集并监控部署在服务器上的硬件数据(如 CPU、内存、负载、端口等)以及 HBlock 软件本身的运行指标。


盘活·统一·融合:HBlock 突破存储新挑战


随着数字化转型的深入推进,如何高效利用现有 IT 设备、实现不同架构的兼容与融合成为了关键挑战。HBlock 不仅能有效盘活存量资源,还能够实现异构设备的混合部署,为以上挑战提供轻量灵活的解决方案。同时 HBlock 也能最大化发挥硬件性能和服务器空间,提供高可用高性能存储能力。


场景 1:盘活存量资源

随着业务的发展,硬件设备也需要更新换代,HBlock 可以将这些闲置资源有效利用起来,提高存储资源利用率。


以某公司云网运营部的云计算业务调度系统为例,该公司通过部署 HBlock,将 7 台旧服务器的存储资源盘活,用于数据库日志存储。无需对业务进行改造,HBlock 可确保数据的高可用性,旧服务器也能让业务平稳运行。


HBlock 的盘活能力还表现在某媒体客户的文件存储方案中。该客户通过 HBlock 将 16 台 x86 设备整合,通过 NFS 和 CIFS 协议的支持,满足了客户对海量小文件的存储的需求。


场景 2:异构设备混合

在信息化建设中,企业往往会面临 IT 设备异构的挑战,HBlock 可以将不同型号的硬盘设备统一管理。


以某证券公司云电脑升级项目为例,客户需要将原有的系统迁移到国产化自主可控的系统中,要兼顾旧设备的继续利用和国产化设备的滚动更新需求。HBlock 通过其强大的兼容性,成功将 x86、ARM 等不同架构的服务器整合管理,为云电脑提供了稳定的日志和备份存储支持。HBlock 灵活的故障域设置,确保了数据的冗余和可靠性,即便在异构环境中,业务也能平稳运行。


场景 3:应用混合部署

HBlock 可与应用混合部署在同一台服务器上,HBlock 提供高可用块存储给应用,上层应用无需修改即可解耦底层硬件,适用于高性能存储场景,如与并行文件系统混合部署构建高性能文件存储用于 AI 大模型。可为用户解耦硬件、平滑扩容节奏、降低应用改造费用与周期。


以某智算项目为例,客户需要为 AI 计算模型的训练和推理提供高性能、高带宽的存储支持。HBlock 通过与并行文件服务的混合部署,在同一台服务器上实现了计算和存储的深度融合。通过对高性能磁盘调优,HBlock 成功为该项目提供了高性能存储支持,充分验证了其在高性能计算场景下的强大能力。


此外,HBlock 在轻量级边缘私有云、混合云备份等场景也有优秀的表现。究其背后原因,是 HBlock“三降一提高”理念


  • 降低使用门槛:HBlock 安装与部署非常简便,无需进行复杂的业务改造便可快速上手。

  • 降低硬件要求:HBlock 支持多种网络和设备架构的混合部署,减少对特定硬件的依赖。

  • 降低数据异常:通过高性能、高可靠的存储架构,HBlock 可减少数据异常的风险。

  • 提高扩容效益:HBlock 能够灵活应对存储需求的增长,通过滚动更新和线性扩容,进一步提升设备的利用效率。


HBlock 不仅是一款创新性的软件定义存储产品,更是企业在数字化转型过程中可靠的伙伴,随着其功能的拓展与升级,HBlock 将在更多企业应用场景中展现出独特的价值。


天翼云 HBlock 线上分享会第二期来咯!


8 月 14 日 19:00,天翼云存储产品线总监武志民将为大家深入分享轻量存储背后的黑科技,欢迎扫码报名,期待与您相约!



天翼云 HBlock 众测活动火热进行中


为了让“轻量存储”走进更多企业,InfoQ 和天翼云联合举办“HBlock 有奖众测活动”,欢迎广大存储 Geek 踊跃报名,深度体验 HBlock 并将使用心得发布在 InfoQ 写作社区,即可参与 InfoQ 技术评选并有机会获得丰厚礼品!



推荐阅读

革命性软件定义存储 HBlock,极致易用背后的技术解析

天翼云存储资源盘活系统 HBlock,全面释放企业数据价值


直播回放

2024第一期:新存储 更轻量丨 HBlock的设计理念与场景实践


2024-08-14 09:404002
用户头像

发布了 105 篇内容, 共 45.0 次阅读, 收获喜欢 84 次。

关注

评论

发布
暂无评论
发现更多内容

Java线程中的wait、notify和notifyAll解析

共饮一杯无

Java 多线程 三周年连更

基于阿里云物联网平台设计的实时图传系统_采用MQTT协议传输图像

DS小龙哥

三周年连更

全栈开发实战|Spring Boot文件上传与下载

TiAmo

Spring Boot 三周年连更 Apache Commons 文件上传下载

《设计模式之禅》Proxy_Pattern--代理模式

浅辄

设计模式 代理模式 三周年连更

一篇神文就把java多线程,锁,JMM,JUC和高并发设计模式讲明白了

做梦都在改BUG

Java 多线程 高并发

“分割一切”大模型SAM、超轻量PP-MobileSeg、工业质检工具、全景分割方案,PaddleSeg全新版本等你来体验!

飞桨PaddlePaddle

计算机视觉 飞桨 图像分割

使用 docker manifest 构建跨平台镜像

江湖十年

Docker Desktop docker image docker build Docker 镜像

跨平台应用开发进阶(五十)uni-app ios web-view嵌套H5项目白屏问题分析及解决

No Silver Bullet

uni-app ios 跨平台应用开发 三周年连更 web-view

Springboot如何手动连接库并获取指定表结构|超级详细,建议收藏

bug菌

springboot 三周年连更

Intents ,快速完成任务的最强辅助

鼎道智联

AI

《社区人员管理》实战案例设计&个人案例分享

京东科技开发者

架构 测试 编码 在线设计平台 企业号 4 月 PK 榜

Spring Boot整合多数据源实践

做梦都在改BUG

Java Spring Boot

软件架构生态化-多角色交付的探索实践

京东科技开发者

架构 架构师 交付能力 企业号 4 月 PK 榜

SAP Emarsys 的前后台技术栈

汪子熙

SaaS Cloud SAP 思爱普 三周年连更

leetcode-2335. 装满杯子需要的最短总时长

肥晨

三周年征文

缓存与数据库双写一致性几种策略分析

京东科技开发者

数据库 缓存 高并发 数据一致性 企业号 4 月 PK 榜

如何在业务开发中使用适配器模式?

做梦都在改BUG

极光笔记 | 让运营“从心”出发,打造身临其境的客户体验!

极光JIGUANG

运营 消息推送 极光推送

Java枚举和注解

timerring

Java 三周年连更

CentOS7 离线安装 Zabbix5.0

A-刘晨阳

Linux zabbix 三周年连更 离线安装

DeepSpeed Chat: 一键式RLHF训练,让你的类ChatGPT千亿大模型提速省钱15倍

汀丶人工智能

人工智能 自然语言处理 深度学习 ChatGPT

Karmada v1.5发布:多调度组助力成本优化

华为云开发者联盟

云原生 后端 华为云 华为云开发者联盟 企业号 4 月 PK 榜

实习生疑问:为什么要在需要排序的字段上加索引呢?

架构精进之路

MySQL 数据库 索引 三周年连更

企业微信接入系列-自建应用

六月的雨在InfoQ

企业微信 应用配置 三周年连更 自建应用

通过小程序容器技术让App实现灰度发布

没有用户名丶

MobPush Android SDK厂商通道申请指南

MobTech袤博科技

再聊 MySQL 聚簇索引

江南一点雨

Java MySQL

Typescript-类型检测和变量的定义

格斗家不爱在外太空沉思

typescript 三周年连更

漫谈前端自动化测试演进之路及测试工具分析

京东科技开发者

前端 自动化测试 前端测试 企业号 4 月 PK 榜

MySQL8.0 优化器介绍(三)

GreatSQL

MySQL greatsql greatsql社区

跨平台图像浏览器:XnViewMP 中文激活版

真大的脸盆

Mac Mac 软件 图像查看 图像浏览

第一期观点:一文读懂轻量存储 HBlock 的设计理念与场景实践_云计算_InfoQ精选文章