写点什么

集成困难、数据低效:AI 热潮下,存储该怎么跟上?

  • 2024-10-09
    北京
  • 本文字数:2372 字

    阅读完需:约 8 分钟

大小:1.20M时长:06:59
集成困难、数据低效:AI热潮下,存储该怎么跟上?

根据 TDWI 今年发布的《数据管理成熟度评估(DMMA)》报告,虽然 71%的 IT 专家表示其所在企业高度重视数据,但仅有 19%的人认为企业已经制定了坚实的数据管理战略。此外,随着网络攻击事件的频发,数据管理问题更加复杂,导致 68%的 IT 领导者对其企业数据基础架构的弹性持有顾虑。


同时,生成式 AI 等新技术的涌现,使得数据处理需求呈指数级增长。许多企业在管理 AI 项目和处理大量数据方面面临着挑战。


在这样的背景下,日立集团旗下专注数据存储、基础架构与混合云管理的子公司 Hitachi Vantara 推出新一代单一混合云数据平台——Hitachi Virtual Storage Platform One(VSP One),旨在通过统一的数据生态系统,简化数据管理,消除数据孤岛,提升应用整合能力。


近日,InfoQ 与 Hitachi Vantara 的专家进行了交流,探讨在 AI 热潮下“存储”领域的未来走向。他们遇到了哪些机遇和挑战?当前推出的产品又是基于怎样的考虑?

混合云需求下,让数据自由流动


VSP One 是为满足客户混合云需求而设计的平台。随着企业越来越倾向于采用混合云策略,部分业务放在自有数据中心以确保安全和合规,部分业务放在公有云上以实现弹性扩展。


Hitachi Vantara 中国区技术销售总监谢勇表示,VSP One 允许数据在私有云和公有云之间自由流动,利用 SVOS 的成熟数据复制技术,实现数据在混合云环境中的流动。通过统一的管理工具 Hitachi Ops Center,实现了对私有云和公有云存储的统一监控和管理。这种灵活性满足了企业在混合云环境下的数据管理需求。


据介绍,VSP One 通过统一的数据平面,实现了块存储和文件存储的无缝集成。基于日立存储虚拟化操作系统(SVOS),确保每一条信息都能跨设备、跨地点进行收集、整合与访问。这样,数据就能够在高效、快速的环境中自由流动,发挥其潜在价值。


目前,VSP One 平台主要提供以下产品:

  • Virtual Storage Platform One Block(块)存储 B20 系列

  • Virtual Storage Platform One SDS Block 存储

  • Virtual Storage Platform One File(文件)存储


AI 来了,存储该怎么跟上?


针对 AI 时代的需求,谢勇表示,公司已经推出了端到端的 AI 解决方案组合 Hitachi iQ,以及适用于高性能 AI 存储的分布式文件系统 HCSF(Hitachi Content Software for File),以满足客户对高速存储的需求。


他举了个例子——拉斯维加斯的新地标 Sphere 球体场馆。这个项目对内容传输的吞吐量有极高要求,Hitachi Vantara 为其提供了基础的计算和存储平台,确保了上层应用的高速运行。


新发布的 VSP One Block 块存储利用 AI 技术,简化存储运行和管理,提高管理效率。存储管理软件内置了运维人员和开发人员的最佳实践,系统能够自动优化数据放置和条带划分,用户只需简单几步即可完成部署。


随着网络攻击的增多,数据安全成为企业最为关心的问题。针对这一点,Hitachi Vantara 提供了全面的数据安全解决方案。谢勇强调,公司在防勒索攻击方面有一套综合的策略,包括前期咨询、预防、事中恢复和后续规避。


在存储层面,VSP One 采用了 Safe Snap 技术,创建不可篡改的快照。用户可以设置定时快照,一旦数据被攻击,系统可以快速恢复。同时,这些快照被加锁,设置为不可变存储,确保数据不会被篡改或污染。此外,对象存储 HCP 进一步提供了数据的不可篡改性。


资深解决方案专家张全林补充道,VSP One 具备 100%数据完整性和 100%数据可用性的保证,背后有大量技术支持,能够在数据安全方面提供有力保障。

到底需不需要换新的存储设备?


在 AI 浪潮下,企业对于更换新存储设备和平台的意愿度如何?谢勇在接受 InfoQ 采访时表示,虽然存储可能不像 AI 那样吸引眼球,但其重要性不容忽视。数据是数字化转型和日常运营的基础,必须存好、管好、用好。没有数据,一切都无从谈起。


他打了个比方,就像换手机。有些人手机坏了才换,有些人一有新款就想换。存储设备也是一样,客户的需求各不相同。有些客户为了获得更好的性能或功能,会定期更新设备。“VSP One Block 20 系列针对需要更高性能、端到端 NVMe、更好的节能减排和压缩比的用户。”


而且,很多人以为只有大型企业才需要高级的存储设备,但事实并非如此。谢勇指出,他们的客户中既有大型企业,如电信运营商、银行,也有小型客户,比如一家奶茶店。其举例说,最近几家律师事务所购买了他们的产品,每家一般会买两到三台 B20 系列。虽然律师事务所的数据需求可能不如大型企业庞大,但对他们的业务同样重要,因为需要确保邮件系统的连续性,还需要存储大量的案件资料和证据。


张全林也进一步解释说,VSP One 是一款企业级存储产品,但并不意味着只有大规模的企业才能用。很多中小型企业也会使用,比如数据规模在几个 TB、几十个 TB 的用户。他们可能只需要一台 2U 的存储设备,就能满足需求。

自动驾驶的存储挑战,怎么解决?


谈到 AI 应用的典型场景之一——自动驾驶,如特斯拉的 FSD(全自动驾驶系统),后台训练需要大量的数据中心支持。对于这类客户,Hitachi Vantara 又是怎么应对?


谢勇表示,自动驾驶所需的存储容量通常在 200 到 500 PB 之间,数据量非常大。目前,他们有适用于自动驾驶训练使用场景下的高性能并行文件系统解决方案 HCSF,虽然尚未整合进 VSP One 平台,但这是未来的发展方向。


在自动驾驶训练中,面临两个难题:高性能需求和成本效益。他们的解决方案可以大幅缩短训练时间,从 14 天缩短到 4 小时。这是因为在处理大规模数据时,需要提供快速响应,提高效率。


为了平衡性能和成本,他们将热数据存储在高速 NVMe SSD 上,将冷数据存储在大容量硬盘上,结合对象存储技术,实现高性能与低成本的平衡。

写在最后


在 AI 和混合云时代,数据已成为企业的核心资产。Hitachi Vantara 推出的 VSP One 平台亦试图为企业提供一条高效的数据管理之路。


未来,随着数据类型和需求的不断变化,企业对高性能、灵活性和可持续性的要求会越来越高。Hitachi Vantara 表示,他们将继续创新,为客户提供更全面、更高效的数据解决方案,助力企业在数字化转型的道路上走得更稳、更远。

2024-10-09 17:1520283

评论

发布
暂无评论
发现更多内容

【OpenAI】私有框架代码生成实践 | 京东云技术团队

京东科技开发者

openai ChatGPT ChatGPT4 企业号 5 月 PK 榜 私有框架

分享:集群吞吐量以1抵5,车企MySQL八大痛点的解决方案

OceanBase 数据库

数据库 oceanbase

从0开始:活动打卡小程序开发笔记

CC同学

Wallys AP controllers devices/PQ4019 and IPQ4029 chipsets support 20 km remote transmission

Cindy-wallys

IPQ4019 ipq4029

实战解读:隐钥科技数据库加密解决方案及场景化解析

Lily

基于 Rainbond 的混合云管理解决方案

北京好雨科技有限公司

Kubernetes 云原生 rainbond 混合云架构

架构师必备!阿里P8耗时6个月手码架构师进阶笔记真的香

Java你猿哥

架构 前端架构 架构设计 架构师 后端架构

从0到100:小区物业报修小程序开发笔记

CC同学

利用Python分析快手APP全国大学生用户数据(2022 年初赛第四题 )

繁依Fanyi

大数据

多种文件清理:Disk Cleanup Pro 激活版

真大的脸盆

Mac Mac 软件 磁盘清理 清理工具

SPFA 算法:实现原理及其应用

繁依Fanyi

算法 SPFA

你想要的【微前端】都在这里了! | 京东云技术团队

京东科技开发者

前端 微前端 微前端框架 企业号 5 月 PK 榜 mirco

刘强:作业帮给OceanBase提了九条意见

OceanBase 数据库

数据库 oceanbase

面向万物智联的应用框架的思考和探索(上)

HarmonyOS开发者

HarmonyOS

阿里巴巴官方上线!号称国内Java八股文天花板(终极版)首次开源

Java你猿哥

Java 微服务 算法 JVM 多线程

CH32V307V-EVT-R1 简单上手入门

繁依Fanyi

嵌入式

未来市场主流的五大LED显示屏

Dylan

技术 方案 LED显示屏

广立微大数据平台全线升级 为芯片全生命周期保驾护航

科技热闻

Python网络爬虫原理及实践 | 京东云技术团队

京东科技开发者

Python 爬虫 python 爬虫 爬虫入门 企业号 5 月 PK 榜

主流框架都用SPI机制,看一下他们的区别和原理

Java你猿哥

ssm 框架 JavaSPI Spring SPI Dubbo SPI

SAPUI5 本地工程中的键值对 sapux - true 的作用

汪子熙

前端开发 SAP Fiori SAP UI5 三周年连更

chatGPT是割韭菜的镰刀还是创业的新风口? | 社区征文

迷彩

AIGC 生成式人工智能 三周年征文 三周年连更

数说热点 | 跟着《长月烬明》起飞,今年各地文旅主打的就是一个听劝

MobTech袤博科技

Github高赞!Alibaba最新亿级并发系统架构(2023 版全彩小册)

Java你猿哥

Java 架构 分布式 高并发 架构设计

MySQL 并行复制方案演进历史及原理分析

Java你猿哥

Java MySQL ssm 并行复制 主从延迟

Zero-ETL、大模型和数据工程的未来

Baihai IDP

人工智能 大模型 数据工程 企业号 5 月 PK 榜 LLMs

工业互联网:加速从“中国制造”迈向“中国智造”

华为云开发者联盟

云计算 工业互联网 华为云 华为云开发者联盟 企业号 5 月 PK 榜

神秘的IP地址8.8.8.8地址到底是什么?为什么会被用作DNS服务器地址呢?

wljslmz

DNS 三周年连更

一条SQL如何被MySQL架构中的各个组件操作执行的

华为云开发者联盟

sql 开发 华为云 华为云开发者联盟 企业号 5 月 PK 榜

字节首次公开!23年Java后端面试上岸手册 ,竟含全套后端面试考点

Java你猿哥

Java 算法 JVM 多线程 java面试

阿里P8撰写1500页程序性能调优笔记:GitHub标星79k

程序知音

Java 性能优化 JVM java架构 Java进阶

集成困难、数据低效:AI热潮下,存储该怎么跟上?_多云/混合云_罗燕珊_InfoQ精选文章