速来报名!AICon北京站鸿蒙专场~ 了解详情
写点什么

亚马逊云科技开源 Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用

  • 2023-04-20
    北京
  • 本文字数:1071 字

    阅读完需:约 4 分钟

亚马逊云科技开源Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用

Pi Day活动期间,AWS 发布了Mountpoint for Amazon S3,这是一个开源文件客户端,可以提供 Amazon S3 的高吞吐量访问。该工具目前处于 Alpha 阶段,其本地挂载点提供了很高的单实例传输速率,主要用于数据湖应用程序。

 

Mountpoint for Amazon S3 将本地文件系统 API 调用转换为 S3 对象 API 调用,如 GET 和 LIST。它支持对文件进行随机和顺序读操作,支持列出文件和目录。但该 Alpha 版本不支持写入操作(PUT),预计将来只支持新对象的顺序写入。

 

AWS 学者、德克萨斯大学助理教授James Bornholt、AWS 高级产品经理Devabrat Kumar和 AWS 杰出工程师Andy Warfield承认,该客户端不是一个通用的网络文件系统,并且在文件操作上有一些限制,他们写道

 

Mountpoint 是为大规模分析型应用程序而设计的,它们可以并行读取和生成大量的 S3 数据,但不需要向现有对象中间写入数据。Mountpoint 允许你将 S3 存储桶或前缀映射到实例的文件系统命名空间,遍历存储桶的内容,就像它们是本地文件一样,并实现对对象的高吞吐量访问。

 

这个开源客户端没有模拟目录重命名等操作,因为那会产生 S3 API 调用,或者说需要 S3 API 不支持的 POSIX 文件系统特性。

 

Mountpoint for S3 并不是第一个将 S3 作为文件系统呈现的客户端,我们也可以使用Goofyss3fs这些流行的开源选项通过 FUSE 挂载桶。在 Reddit 上,有一些开发人员质疑新客户端的必要性,并担心它会被用在数据湖之外的领域,Bornholt、Kumar 和 Warfield 写道:

 

Mountpoint 并不是第一个用于访问 S3 的文件客户端——有几个开源的文件客户端,我们有客户使用过。然而,我们从这些客户那里都听到过的一个话题是,他们希望这些客户端能够提供与 S3 REST API 和 AWS SDK 相同的稳定性、性能和技术支持。

 

新客户端使用 Rust 在大多数 AWS SDK 都使用的公共运行时(CRT)上构建,它依赖于自动推理来验证文件系统语义。The Duckbill Group 首席云经济学家Corey Quinn在推特上写道

 

哦不,AWS 做了什么?15 年来,我之所以没有呼吁人们不要将 S3 用作文件系统,就是希望 S3 团队自己来做这件事!

 

云专家和 AWS 无服务器英雄Ben Kehoe提醒说

 

使用文件概念来考虑 S3 会使你对 API 的语义产生误解,最终做出错误的假设,当系统总是因为这些假设不成立而出现轻微的故障时,你就要难过了。

 

Mountpoint 遵循 Apache License 2.0 许可,尚不能应用于生产工作负载。GitHub 上提供了初始Alpha版本公共路线图

 

原文链接:

https://www.infoq.com/news/2023/03/mountpoint-amazon-s3/


相关阅读:

通过 Amazon Managed Microsoft Active Directory 运行混合 Active Directory 服务

亚马逊云科技为蓝绿及金丝雀策略引入 CloudFront 持续部署

2023-04-20 08:003006

评论

发布
暂无评论
发现更多内容

零基础IM开发入门(三):什么是IM系统的可靠性?

JackJiang

网络编程 即时通讯 IM

企业级RPC框架zRPC

万俊峰Kevin

RPC microser Go 语言

在阿里内部,做Java到金字塔顶端的人平时都如何学习源码?

小Q

Java 学习 架构 面试 程序猿

面试官:面对千万级、亿级流量怎么处理?

艾小仙

Java 缓存 分布式 高并发 中间件

web worker的介绍和使用

程序那些事

多线程 Web Worker 异步模型 异步编程 web技术

直播带货大战在即:账号交易灰产猖獗

石头IT视角

架构师训练营作业:第五周

m

数字“异化”生存

脑极体

甲方日常 40

句子

工作 随笔杂谈 日常

极客大学 - 架构师训练营 第六周作业

9527

Flink在窗口上应用函数-6-9

小知识点

scala 大数据 flink

真香!天天996进不去阿里?看5年苦逼程序猿怎么逆袭阿里P7

小Q

Java 学习 架构 面试 程序猿

Netty源码解析 -- 零拷贝机制与ByteBuf

binecy

Netty 源码剖析

极客大学 - 架构师训练营 第六周

9527

小白学算法:买卖股票的最佳时机!

王磊

Java 算法

码农会锁,synchronized 对象头结构(mark-word、Klass Pointer)、指针压缩、锁竞争,源码解毒、深度分析!

小傅哥

小傅哥 虚拟机 synchronized mark-word Klass Pointer

第6周学习总结

饭桶

为产业AI去障:联想的边缘突破

脑极体

快速掌握并发编程---线程池的原理和实战

田维常

程序员

《Maven实战》.pdf

田维常

程序员

分析和解决JAVA 内存泄露的实战例子

AI乔治

Java 架构 JVM 内存泄露

当 TiDB 与 Flink 相结合:高效、易用的实时数仓

Apache Flink

flink #TiDB

gRPC服务注册发现及负载均衡的实现方案与源码解析

网管

负载均衡 gRPC etcd 服务注册与发现 Go 语言

通过GUI界面更改 Ubuntu 20 LTS apt 源为阿里云

jiangling500

ubuntu 阿里云 apt

狼人杀背后的秘密,实时语音你不知道的那些事

anyRTC开发者

音视频 WebRTC 语音 RTC 安卓

架构师训练营第二周课后作业

天涯若海

极客大学架构师训练营

频繁操作本地缓存导致YGC耗时过长

AI乔治

Java 架构 JVM GC

第6周作业

饭桶

天呐!价值2980元Java成神面试题竟在Github开源了

996小迁

Java 学习 架构 面试

ConcurrentHashMap核心原理,彻底给整明白了

AI乔治

Java 架构 分布式 线程

阿里内部首发1000页涨薪面试宝典:Spring+SpringMVC+MyBatis框架整合开发实战

Java架构追梦

Java 源码 架构 面试 SSM框架

亚马逊云科技开源Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用_云原生_Renato Losio_InfoQ精选文章