速来报名!AICon北京站鸿蒙专场~ 了解详情
写点什么

谷歌推出 3 个新的云存储选项:Cloud Storage FUSE、Parallelstore 和 NetApp Volumes

  • 2023-09-12
    北京
  • 本文字数:1270 字

    阅读完需:约 4 分钟

大小:676.03K时长:03:50
谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes

最近,谷歌推出了 3 个新的云存储选项:Cloud Storage FUSE(用于需要文件系统语义的人工智能应用程序)、Parallelstore(这是一个并行文件系统,用于需要使用 GPU 的人工智能和高性能计算应用程序)和NetApp Volumes(用于在云中运行的企业级应用程序)。

 

Cloud Storage FUSE 已经提供了开源版本,允许将Cloud Storage桶中的对象作为挂载到本地文件系统的文件来访问。谷歌针对人工智能工作负载增强了它的可移植性、可靠性、性能和集成能力。在谷歌的一篇博文中,谷歌产品经理Marco Abela和高级产品经理Akshay Ram解释说:

新推出的 Cloud Storage FUSE 对于人工智能工作负载尤为重要。由于应用程序可以直接访问数据(而不是将数据下载到本地),所以不需要实现自定义逻辑,而且复制数据时 TPU 和 GPU 等宝贵资源的空闲时间也缩短了。此外,GKE(Google Kubernetes Engine)新增的Cloud Storage FUSE CSI驱动程序允许应用程序使用为人熟知的 Kubernetes API 挂载 Cloud Storage,并且是作为由 GKE 托管的 turn-key 部署提供的。

 


Cloud Storage FUSE 概览(图片来源:谷歌的博文

 

云布道师J.W. Davis在一则推特中评论了 GKE FUSE 文件系统的可用性:

这似乎已经注定会带来许多灾难。它的应用场景非常有限;大多数人会遭受滥用之苦。

 

除了用于 AI 应用程序的 Cloud Storage FUSE 之外,谷歌还宣布了并行文件系统 Parallelstore 的内部预览。它可以为 AI/ML 和 HPC 工作负载提供高性能的并行文件存储解决方案,帮助用户减少因 I/O 存储等待所浪费的宝贵的 GPU 资源。该解决方案基于英特尔下一代分布式异步对象存储(DAOS)架构。

 

存储业务副总裁兼总经理Sameet Agarwal和存储业务集团产品经理Sean Derrington在谷歌的一篇博文中介绍了这个新的云存储选项:

基于英特尔下一代的 DAOS 架构,Parallelstore 环境中的所有计算节点都具有同样的存储访问权限,因此,VM 可以即时地访问其数据。与竞争对手 Lustre Scratch 的产品相比,Parallelstore 的读吞吐量是其 6.3 倍。Parallelstore 非常适合需要极高性能(IOPS 和吞吐量)和超低延迟的云端应用。

 

最后,第 3 个新增的云存储选项是 NetApp Volumes。这是一项完全由谷歌托管的高性能文件存储服务。该存储选项专为希望将基于本地 NetApp 存储阵列的应用程序迁移上云的企业而设计。该服务提供的容量在 100GiB 到 100TiB 之间,为混合工作负载实现了 ONTAP 数据管理,并且无需重构即可将 Windows 或 Linux 应用程序作为虚拟机运行。

 

当 InfoQ 问到是什么促使谷歌进行这些投资时,Derrington 是这么说的:

随着人工智能在自动化数据管理方面变得越来越重要,组织开始转向云计算来为应用程序寻求合适的存储解决方案。借助谷歌云新提供的专门针对人工智能优化过的存储产品 Cloud Storage FUSE 和 Parallelstore,我们提供了定制的存储解决方案,简化操作,激发创新,降低成本,帮助客户适应复杂的人工智能工作负载。

 

Cloud Storage FUSE 和 NetApp Volumes 可以通过谷歌云控制台获得,而 Parallelstore 需要通过谷歌账户管理器获得。

 

声明:本文为 InfoQ 翻译,未经许可禁止转载。

 

原文链接:https://www.infoq.com/news/2023/08/google-cloud-new-storage-options/

2023-09-12 16:202717

评论

发布
暂无评论
发现更多内容

ShardingSphere 知识库更新 | 官方样例集助你快速上手

SphereEx

数据库 开源

Redis主从握手流程,你真的了解了吗?

博文视点Broadview

想知道你未来宝宝长什么样吗?

华为云开发者联盟

modelarts 图像 图像生成 父母照片 照片

架构训练营模块四作业

高铎

架构实战营

再谈安全架构《一》

I

读书笔记 方法论 安全架构 企业安全 安全建设

NDK 编译代码(一)

Changing Lin

8月日更

DCS_FunTester分布式压测框架更新(三)

FunTester

分布式 性能测试 测试框架 测试开发 FunTester

方法调用:一看就懂,一问就懵?

阿Q说代码

8月日更 虚方法 非虚方法 静态分派 动态分派

神策分析 iOS SDK 全埋点解析之启动与退出

神策技术社区

程序员 大前端 后端 代码 神策数据

神策分析 Android SDK 网络模块解析

神策技术社区

程序员 代码 信息 神策数据

数字化为企业带来哪些价值?

boshi

数字化转型

面试侃集合 | LinkedBlockingQueue篇

码农参上

队列 Queue 8月日更

Python代码阅读(第14篇):列表求并集

Felix

Python 编程 Code Programing 阅读代码

LeetCode题解:2. 两数相加,迭代,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

【Flutter 专题】62 图解基本 Button 按钮小结 (二)

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 8月日更

Python对系统数据进行采集监控——psutil

Python研究者

8月日更

百度推出 “汽车机器人”,AI体验官金晨直呼“太豪横了”

百度开发者中心

产品 最佳实践 企业动态 Apollo 无人车

神策 Android 全埋点插件介绍

神策技术社区

程序员 数据采集 埋点 行为数据

是时候封装限制 UITextField、UITextView 的最大字符长度了

fuyoufang

swift iOS 知识体系 8月日更

手把手教你写 Gradle 插件 | 数据采集

神策技术社区

android 程序员 Gradle 神策数据

解决参数依赖,接口之间传递数据——apipost

Proud lion

大前端 后端 Postman 开发工具 接口文档

图解:为什么非公平锁的性能更高?

王磊

Java 8月日更

【Vue2.x 源码学习】第四十一篇 - 组件部分 - 生成组件的真实节点

Brave

源码 vue2 8月日更

架构训练营模块三作业

高铎

【LeetCode】反转字符串 IIJava题解

Albert

算法 LeetCode 8月日更

字节跳动《实时音视频通讯技术》学习笔记之服务器端开发入门

Regan Yue

git 字节跳动 Go 语言 8月日更

python接口测试unittest使用详解

与风逐梦

Python 软件测试 接口测试

AI 场景的存储优化之路(二)

焱融科技

人工智能 云计算 AI 高性能 分布式存储

SpringBoot 自动装配源码解析

Rubble

8月日更

架构训练营模块二作业

高铎

架构实战营

BPM敏捷Activiti开发平台,工作流引擎springboot整合activiti

金陵老街

Java MySQL Vue springboot Activiti

谷歌推出3个新的云存储选项:Cloud Storage FUSE、Parallelstore和NetApp Volumes_服务革新_Steef-Jan Wiggers_InfoQ精选文章