写点什么

第一期观点:一文读懂轻量存储 HBlock 的设计理念与场景实践

天翼云

  • 2024-08-14
    北京
  • 本文字数:3003 字

    阅读完需:约 10 分钟

大小:1.55M时长:09:00
第一期观点:一文读懂轻量存储 HBlock 的设计理念与场景实践

近日,天翼云联合 InfoQ 举办了以“新存储,更轻量”为主题的线上技术分享会。天翼云存储产品线总监潘亚莲以“轻量级存储集群控制器 HBlock 的设计理念与场景实践”为主题,讲解了 HBlock 在产品理念、价值主张、应用场景等方面的内容,本文将对其观点进行详细阐述。


自研·创新·可控 HBlock 开启存储新纪元


IDC 预测,全球 2024 年将生成 159.2ZB 数据,2028 年将增加一倍以上,达到 384.6ZB,这给企业存储系统的容量、性能、运维、成本、灵活性带来挑战。此外,由于过度配置、数据孤岛、冗余备份以及中断性的传输和迁移等操作,企业普遍面临存储资源利用率低的问题。为了帮助用户应对以上挑战,天翼云自研了业界首款存储资源盘活系统——HBlock。


HBlock 是轻量级存储集群控制器,可实现全用户态软件定义存储,能将闲置存储资源转换成高可用虚拟盘,通过标准 iSCSI 协议提供分布式块存储服务,挂载给本地或远程服务器使用。


HBlock 对下兼容多种硬件,对上支持多种场景。对下:一个集群中可存在不同配置的服务器,如不同 CPU 架构(x86、ARM、龙芯等)、内存和硬盘大小、磁盘类型等,帮助用户充分利用硬件资源;对上:支持 iSCSI 协议,适配文件协议,提供 CSI 和 Cinder 插件,适用于并行文件存储、虚拟化平台、数据库、容器平台等技术场景,能满足备份、监控、医疗影像、大数据分析及大模型训练等应用场景的需求。


存储资源盘活系统HBlock架构图


2024 年,HBlock 进入国家工业和信息化领域节能降碳技术装备推荐目录,体现了其轻量、绿色的优势。HBlock 已加入国产化自主可控图谱,在天翼云官网上线,是业内唯一支持官网下载使用的软件定义存储产品。


稳定·高效·易用:HBlock 划定存储新标准


HBlock 为企业存储注入全新活力,提高系统稳定性,确保业务运行不间断;提升资源利用率,让每一寸存储空间发挥最大效能;提高运维便捷性,让管理变得轻松愉快。


1.提高系统稳定性

  • 高可用存储池:HBlock 将低可用的物理盘整合成高可用的虚拟盘,将应用部署在虚拟盘上,低成本实现了应用的高可用,支持自动秒级故障切换,一主多备,无单点故障。

  • 故障域隔离:通过集群拓扑,HBlock 可映射物理环境中服务器的分布情况,包括服务器所在的机房和机柜位置。基于此拓扑结构,用户可以创建机房、机柜、服务器、数据目录等不同故障域级别的存储池,精细管理存储资源。

  • 副本折叠:HBlock 允许在同一故障域内存放多个(而非一个)副本,在有限的硬件资源条件下,能够显著提高数据冗余度和系统的容错能力。


2.提升资源利用率

  • 多存储池:HBlock 将分散的空闲存储空间盘活为统一的分布式集群,一个集群中可创建多个存储池,更灵活地管理不同类型的存储资源。如:将 SSD 组成高性能池,将 HDD 组成大容量池;或将 SSD 用作高速缓存池,数据写入时,先存储在高速缓存池中提高性能表现,随后自动迁移到普通池,实现冷热分层,既能发挥 SSD 的性能优势,又能利用 HDD 的大容量优势,降低整体存储成本。

  • 混合部署:HBlock 支持应用和存储系统混合部署,用最少的节点实现高可用,降低购置服务器的整体成本。

  • 灵活数据冗余:HBlock 提供卷级别的多副本和纠删码(EC)的冗余配置,EC N+M 最高可达 128,实现 98%超高得盘率。EC 副本和分片大小均支持设置,可以减少写放大、减少空间浪费。


3.提高运维便捷性

  • 轻量交付:HBlock 安装包仅 170MB,1 核 4GB 内存即可部署,3 分钟即可搭建集群,物理机、虚拟机、容器都可使用。

  • 管理多样化:HBlock 支持 RESTful API、命令行、Web 控制台三种管理接入方式;提供统一监控告警视图,易操作易维护。在用户主动开放权限后,售后团队可快速接入环境,协助解决问题,消除物理距离的限制,提高工作效率。

  • 全面监控:HBlock 可监控系统中所有的资源,提供一页式概览及详情查看功能,当系统中的组件或资源出现异常时,自动触发告警通知用户。HBlock 引入了硬件环境监控功能。通过与业内常用的运维平台 Prometheus 和 Grafana 结合,HBlock 可以采集并监控部署在服务器上的硬件数据(如 CPU、内存、负载、端口等)以及 HBlock 软件本身的运行指标。


盘活·统一·融合:HBlock 突破存储新挑战


随着数字化转型的深入推进,如何高效利用现有 IT 设备、实现不同架构的兼容与融合成为了关键挑战。HBlock 不仅能有效盘活存量资源,还能够实现异构设备的混合部署,为以上挑战提供轻量灵活的解决方案。同时 HBlock 也能最大化发挥硬件性能和服务器空间,提供高可用高性能存储能力。


场景 1:盘活存量资源

随着业务的发展,硬件设备也需要更新换代,HBlock 可以将这些闲置资源有效利用起来,提高存储资源利用率。


以某公司云网运营部的云计算业务调度系统为例,该公司通过部署 HBlock,将 7 台旧服务器的存储资源盘活,用于数据库日志存储。无需对业务进行改造,HBlock 可确保数据的高可用性,旧服务器也能让业务平稳运行。


HBlock 的盘活能力还表现在某媒体客户的文件存储方案中。该客户通过 HBlock 将 16 台 x86 设备整合,通过 NFS 和 CIFS 协议的支持,满足了客户对海量小文件的存储的需求。


场景 2:异构设备混合

在信息化建设中,企业往往会面临 IT 设备异构的挑战,HBlock 可以将不同型号的硬盘设备统一管理。


以某证券公司云电脑升级项目为例,客户需要将原有的系统迁移到国产化自主可控的系统中,要兼顾旧设备的继续利用和国产化设备的滚动更新需求。HBlock 通过其强大的兼容性,成功将 x86、ARM 等不同架构的服务器整合管理,为云电脑提供了稳定的日志和备份存储支持。HBlock 灵活的故障域设置,确保了数据的冗余和可靠性,即便在异构环境中,业务也能平稳运行。


场景 3:应用混合部署

HBlock 可与应用混合部署在同一台服务器上,HBlock 提供高可用块存储给应用,上层应用无需修改即可解耦底层硬件,适用于高性能存储场景,如与并行文件系统混合部署构建高性能文件存储用于 AI 大模型。可为用户解耦硬件、平滑扩容节奏、降低应用改造费用与周期。


以某智算项目为例,客户需要为 AI 计算模型的训练和推理提供高性能、高带宽的存储支持。HBlock 通过与并行文件服务的混合部署,在同一台服务器上实现了计算和存储的深度融合。通过对高性能磁盘调优,HBlock 成功为该项目提供了高性能存储支持,充分验证了其在高性能计算场景下的强大能力。


此外,HBlock 在轻量级边缘私有云、混合云备份等场景也有优秀的表现。究其背后原因,是 HBlock“三降一提高”理念


  • 降低使用门槛:HBlock 安装与部署非常简便,无需进行复杂的业务改造便可快速上手。

  • 降低硬件要求:HBlock 支持多种网络和设备架构的混合部署,减少对特定硬件的依赖。

  • 降低数据异常:通过高性能、高可靠的存储架构,HBlock 可减少数据异常的风险。

  • 提高扩容效益:HBlock 能够灵活应对存储需求的增长,通过滚动更新和线性扩容,进一步提升设备的利用效率。


HBlock 不仅是一款创新性的软件定义存储产品,更是企业在数字化转型过程中可靠的伙伴,随着其功能的拓展与升级,HBlock 将在更多企业应用场景中展现出独特的价值。


天翼云 HBlock 线上分享会第二期来咯!


8 月 14 日 19:00,天翼云存储产品线总监武志民将为大家深入分享轻量存储背后的黑科技,欢迎扫码报名,期待与您相约!



天翼云 HBlock 众测活动火热进行中


为了让“轻量存储”走进更多企业,InfoQ 和天翼云联合举办“HBlock 有奖众测活动”,欢迎广大存储 Geek 踊跃报名,深度体验 HBlock 并将使用心得发布在 InfoQ 写作社区,即可参与 InfoQ 技术评选并有机会获得丰厚礼品!



推荐阅读

革命性软件定义存储 HBlock,极致易用背后的技术解析

天翼云存储资源盘活系统 HBlock,全面释放企业数据价值


直播回放

2024第一期:新存储 更轻量丨 HBlock的设计理念与场景实践


2024-08-14 09:404079
用户头像

发布了 186 篇内容, 共 84.6 次阅读, 收获喜欢 87 次。

关注

评论

发布
暂无评论
发现更多内容

报名|飞桨中国行- AI赋能软硬件产品创新

百度大脑

人工智能 百度 飞桨

TDSQL交易型分布式数据库背景分析

腾讯云数据库

数据库 tdsql

MyCAT、DRDS、TIDB、TDSQL、TBase 在实现分布式事务时的区别及其各自的优势?

腾讯云数据库

数据库 tdsql

一文读懂 OceanBase 数据库的SLog日志

OceanBase 数据库

oceanbase OceanBase 开源 OceanBase 社区版 OceanBase 数据库大赛

必须得会的汽车ECU研发基础--ECU是什么1

SOA开发者

中国移动5G消息开发者社区 | 主题沙龙直播预约:5G消息在文旅场景的应用探讨

5G消息

5G 5G消息 中国移动5G rcs

🚄【Redis基础指南】推荐给大家的「主从模式」+「缓存穿透」的学习小贴士(提炼优化)

码界西柚

redis Redis缓存穿透 10月月更

Python代码阅读(第34篇):列表元素出现频率字典

Felix

Python 编程 Code Programing 阅读代码

必须得会的汽车ECU研发基础—底层软件介绍4

SOA开发者

运用贝塞尔曲线绘制笔锋效果

ZEGO即构

音视频 笔锋实践 贝塞尔曲线

携程 x StarRocks:高效支持高并发查询,大幅降低人力和硬件成本

StarRocks

大数据 数据分析 高并发 StarRocks

机器人自主学习新进展,百度飞桨发布四足机器人控制强化学习新算法

百度大脑

人工智能 飞桨

数字化加速时刻,天津港解锁了“天工开物”新篇

脑极体

记不住源码?掌握这套方法,Alibaba必有你一席之地!

Java 架构 面试 程序人生 编程语言

分享一套golang实现的 IM 系统,一键部署服务端,客户端SDK全平台支持,可以替代IM云服务

OpenIM

Redis和tdsql数据异地同步(迁移)案例

腾讯云数据库

数据库 tdsql

号角声响!联想图像发起“百家百试”项目第二期,诠释“真国货之光”

解读世界互联网大会新品——智能运维2.0,管运提效再升级

云计算

软件架构思考

轻口味

android 架构设计原则 10月月更

云原生数据库TDSQL-C和传统主备方式数据库有什么区别?

腾讯云数据库

数据库 tdsql

盘盘 DevOps“衍生品”: DevSecOps、NoOps、AIOps

飞算JavaAI开发助手

出自阿里P8之手的这份微服务架构实践手册,为何能霸榜GitHub一周

进击的王小二

Java 架构 分布式 微服务

华为宣布启动“开源雨林”计划,与社区伙伴共迎开源挑战

手把手教你使用Studio Lite + Digtal car!助力智能汽车场景、轻应用开发更轻松!

SOA开发者

腾讯云原生数据库 TDSQL-C荣获“云原生卓越技术提供商”奖项

腾讯云数据库

数据库 tdsql

使用AI在原神里自动钓鱼,扫描Git仓库泄露的密码 【蛮三刀酱的Github周刊第三期】

Zhendong

GitHub

流计算 Oceanus 限量1元秒杀,立省2000元

腾讯云大数据

Hold the Door!区块链底层平台流控分析

趣链科技

区块链 流量控制 底层平台

从用户关系看产品发展

石云升

产品经理 产品思维 产品分析 10月月更

这本笔记!仅需16个小时,让你像阿里P7一样掌握Spring源码解析

Java 架构 面试 程序人生 编程语言

自动驾驶混战,剑气二宗谁能笑傲江湖?

脑极体

第一期观点:一文读懂轻量存储 HBlock 的设计理念与场景实践_云计算_InfoQ精选文章