报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

谷歌推出 3 个新的云存储选项:Cloud Storage FUSE、Parallelstore 和 NetApp Volumes

  • 2023-09-12
    北京
  • 本文字数:1270 字

    阅读完需:约 4 分钟

大小:676.03K时长:03:50
谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes

最近,谷歌推出了 3 个新的云存储选项:Cloud Storage FUSE(用于需要文件系统语义的人工智能应用程序)、Parallelstore(这是一个并行文件系统,用于需要使用 GPU 的人工智能和高性能计算应用程序)和NetApp Volumes(用于在云中运行的企业级应用程序)。

 

Cloud Storage FUSE 已经提供了开源版本,允许将Cloud Storage桶中的对象作为挂载到本地文件系统的文件来访问。谷歌针对人工智能工作负载增强了它的可移植性、可靠性、性能和集成能力。在谷歌的一篇博文中,谷歌产品经理Marco Abela和高级产品经理Akshay Ram解释说:

新推出的 Cloud Storage FUSE 对于人工智能工作负载尤为重要。由于应用程序可以直接访问数据(而不是将数据下载到本地),所以不需要实现自定义逻辑,而且复制数据时 TPU 和 GPU 等宝贵资源的空闲时间也缩短了。此外,GKE(Google Kubernetes Engine)新增的Cloud Storage FUSE CSI驱动程序允许应用程序使用为人熟知的 Kubernetes API 挂载 Cloud Storage,并且是作为由 GKE 托管的 turn-key 部署提供的。

 


Cloud Storage FUSE 概览(图片来源:谷歌的博文

 

云布道师J.W. Davis在一则推特中评论了 GKE FUSE 文件系统的可用性:

这似乎已经注定会带来许多灾难。它的应用场景非常有限;大多数人会遭受滥用之苦。

 

除了用于 AI 应用程序的 Cloud Storage FUSE 之外,谷歌还宣布了并行文件系统 Parallelstore 的内部预览。它可以为 AI/ML 和 HPC 工作负载提供高性能的并行文件存储解决方案,帮助用户减少因 I/O 存储等待所浪费的宝贵的 GPU 资源。该解决方案基于英特尔下一代分布式异步对象存储(DAOS)架构。

 

存储业务副总裁兼总经理Sameet Agarwal和存储业务集团产品经理Sean Derrington在谷歌的一篇博文中介绍了这个新的云存储选项:

基于英特尔下一代的 DAOS 架构,Parallelstore 环境中的所有计算节点都具有同样的存储访问权限,因此,VM 可以即时地访问其数据。与竞争对手 Lustre Scratch 的产品相比,Parallelstore 的读吞吐量是其 6.3 倍。Parallelstore 非常适合需要极高性能(IOPS 和吞吐量)和超低延迟的云端应用。

 

最后,第 3 个新增的云存储选项是 NetApp Volumes。这是一项完全由谷歌托管的高性能文件存储服务。该存储选项专为希望将基于本地 NetApp 存储阵列的应用程序迁移上云的企业而设计。该服务提供的容量在 100GiB 到 100TiB 之间,为混合工作负载实现了 ONTAP 数据管理,并且无需重构即可将 Windows 或 Linux 应用程序作为虚拟机运行。

 

当 InfoQ 问到是什么促使谷歌进行这些投资时,Derrington 是这么说的:

随着人工智能在自动化数据管理方面变得越来越重要,组织开始转向云计算来为应用程序寻求合适的存储解决方案。借助谷歌云新提供的专门针对人工智能优化过的存储产品 Cloud Storage FUSE 和 Parallelstore,我们提供了定制的存储解决方案,简化操作,激发创新,降低成本,帮助客户适应复杂的人工智能工作负载。

 

Cloud Storage FUSE 和 NetApp Volumes 可以通过谷歌云控制台获得,而 Parallelstore 需要通过谷歌账户管理器获得。

 

声明:本文为 InfoQ 翻译,未经许可禁止转载。

 

原文链接:https://www.infoq.com/news/2023/08/google-cloud-new-storage-options/

2023-09-12 16:202817

评论

发布
暂无评论
发现更多内容

软件测试 | 测试开发 | 测试面试 | 某个版本/模块问题很多,但上线时间紧迫怎么办?

测吧(北京)科技有限公司

测试

软件测试 | 测试开发 | Web自动化之显式等待与隐式等待

测吧(北京)科技有限公司

如何通过 Nginx 解决跨域问题

观测云

Vue3入门指北(二)创建应用实例

Augus

Vue 9月月更

【数据结构与算法】详解 “清华大学(考研)OJ题”_ 二叉树重要面试OJ题

Dream-Y.ocean

面试 算法 清华大学 9月月更

深度剖析“八大排序”(上)_ 探寻一些不为人知的细节

Dream-Y.ocean

排序算法 9月月更

Notebook交互式完成目标检测任务

华为云开发者联盟

人工智能

必修课!深度解析金融级分布式数据库一致性技术

腾讯云数据库

数据库 腾讯云 tdsql 腾讯云数据库

当面试官问你:如何才能带领好团队?

测吧(北京)科技有限公司

测试

【web开发基础】php开发基础快速入门(1)-PHP介绍及开发环境快速安装和基本使用介绍

迷彩

Web应用开发 php开源 9月月更 web开发基础

打印 Logger 日志时,需不需要再封装一下工具类?

程序员小航

Java 日志 slf4j

跟我学Python图像处理丨傅里叶变换之高通滤波和低通滤波

华为云开发者联盟

Python 人工智能 企业号九月金秋榜

明道云新增四项国产信创平台兼容性认证

明道云

C++来时路 _ 重温经典之C++类和对象 | 三大特性之一 - 封装 | 腾讯面试题

Dream-Y.ocean

c++ 封装 底层 腾讯面试 9月月更

怎样提高报表呈现的性能

陈橘又青

sql 9月月更

最高增强至1440p,阿里云发布端侧实时超分工具,低成本实现高画质

阿里云大数据AI技术

机器学习 企业号九月金秋榜

软件测试 | 测试开发 | 测试面试真题|从手工到测开,一位测试媛宝妈的 BAT 大厂逆袭之旅

测吧(北京)科技有限公司

测试

大数据ELK(六):安装Elasticsearch

Lansonli

ES 9月月更

HowTo:Pipy 如何修改请求和响应的内容

Flomesh

Service Mesh 服务网格

2022华为开发者大赛开学动员 开启想象力无限创新

华为云开发者联盟

云计算 后端 企业号九月金秋榜

议题征集:NGINX Sprint China 2022 线上大会

NGINX开源社区

nginx 开源软件 Sprint

【中秋特辑-代码解析月饼节】C++比C语言更加规范、方便?是因为增加了如下特性 | C++98 & C++11 | C++难学?带领大家一步一步深度剖析 | 简单易懂

Dream-Y.ocean

c++ 底层 细节 9月月更

原生Redis跨数据中心双向同步优化实践

京东科技开发者

数据中心 幂等性 同步 数据容灾 Redis 数据结构

orbeon form 的配置介绍

汪子熙

angular SAP commerce form 9月月更

如何使用 eunomia 让eBPF 的部署更简单? | 第 49 期

OpenAnolis小助手

Linux 直播 ebpf sig 龙蜥大讲堂

【数据结构与算法】二叉树题目很难?一句”技巧“巧做基础二叉树题目

Dream-Y.ocean

二叉树 二叉树遍历 9月月更 技巧总结

openjdk镜像的tag说明

程序员欣宸

Docker Docker 镜像 9月月更

少儿编程是智商税?还是未来的生存技能?

博文视点Broadview

深度剖析“八大排序”(下)- 交换排序 | 快速排序 & 优化 | 非比较排序_探寻一些不为人知的细节

Dream-Y.ocean

排序算法 9月月更

前端三件套 HTML+CSS+JS基础知识内容笔记

明金同学

前端

软件测试 | 测试开发 | 测试面试 | 某互联网大厂测试面试真题,你能回答出多少?

测吧(北京)科技有限公司

测试

谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes_服务革新_Steef-Jan Wiggers_InfoQ精选文章