写点什么

亚马逊云科技开源 Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用

  • 2023-04-20
    北京
  • 本文字数:1071 字

    阅读完需:约 4 分钟

亚马逊云科技开源Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用

Pi Day活动期间,AWS 发布了Mountpoint for Amazon S3,这是一个开源文件客户端,可以提供 Amazon S3 的高吞吐量访问。该工具目前处于 Alpha 阶段,其本地挂载点提供了很高的单实例传输速率,主要用于数据湖应用程序。

 

Mountpoint for Amazon S3 将本地文件系统 API 调用转换为 S3 对象 API 调用,如 GET 和 LIST。它支持对文件进行随机和顺序读操作,支持列出文件和目录。但该 Alpha 版本不支持写入操作(PUT),预计将来只支持新对象的顺序写入。

 

AWS 学者、德克萨斯大学助理教授James Bornholt、AWS 高级产品经理Devabrat Kumar和 AWS 杰出工程师Andy Warfield承认,该客户端不是一个通用的网络文件系统,并且在文件操作上有一些限制,他们写道

 

Mountpoint 是为大规模分析型应用程序而设计的,它们可以并行读取和生成大量的 S3 数据,但不需要向现有对象中间写入数据。Mountpoint 允许你将 S3 存储桶或前缀映射到实例的文件系统命名空间,遍历存储桶的内容,就像它们是本地文件一样,并实现对对象的高吞吐量访问。

 

这个开源客户端没有模拟目录重命名等操作,因为那会产生 S3 API 调用,或者说需要 S3 API 不支持的 POSIX 文件系统特性。

 

Mountpoint for S3 并不是第一个将 S3 作为文件系统呈现的客户端,我们也可以使用Goofyss3fs这些流行的开源选项通过 FUSE 挂载桶。在 Reddit 上,有一些开发人员质疑新客户端的必要性,并担心它会被用在数据湖之外的领域,Bornholt、Kumar 和 Warfield 写道:

 

Mountpoint 并不是第一个用于访问 S3 的文件客户端——有几个开源的文件客户端,我们有客户使用过。然而,我们从这些客户那里都听到过的一个话题是,他们希望这些客户端能够提供与 S3 REST API 和 AWS SDK 相同的稳定性、性能和技术支持。

 

新客户端使用 Rust 在大多数 AWS SDK 都使用的公共运行时(CRT)上构建,它依赖于自动推理来验证文件系统语义。The Duckbill Group 首席云经济学家Corey Quinn在推特上写道

 

哦不,AWS 做了什么?15 年来,我之所以没有呼吁人们不要将 S3 用作文件系统,就是希望 S3 团队自己来做这件事!

 

云专家和 AWS 无服务器英雄Ben Kehoe提醒说

 

使用文件概念来考虑 S3 会使你对 API 的语义产生误解,最终做出错误的假设,当系统总是因为这些假设不成立而出现轻微的故障时,你就要难过了。

 

Mountpoint 遵循 Apache License 2.0 许可,尚不能应用于生产工作负载。GitHub 上提供了初始Alpha版本公共路线图

 

原文链接:

https://www.infoq.com/news/2023/03/mountpoint-amazon-s3/


相关阅读:

通过 Amazon Managed Microsoft Active Directory 运行混合 Active Directory 服务

亚马逊云科技为蓝绿及金丝雀策略引入 CloudFront 持续部署

2023-04-20 08:003048

评论

发布
暂无评论
发现更多内容

安全可信| 首批!天翼云智算平台率先通过可信算力服务评估

天翼云开发者社区

创建MQTT连接时如何设置参数?

EMQ映云科技

物联网 IoT mqtt 企业号 2 月 PK 榜 连接参数

用Docker在本地搭建nginx静态服务器&反向代理

致知Fighting

Java Docker 后端

百分点科技宣布接入百度文心一言能力 数据科学基础平台获领先AI技术加持

百分点科技技术团队

打造自主可控云网算力,天翼云为湖南数字经济发展注入新动能

天翼云开发者社区

serverless与容器优缺点

天翼云开发者社区

serverles

eKuiper 1.8.0发布:零代码实现图像/视频流的实时AI推理

EMQ映云科技

物联网 IoT 视频流 流式计算 企业号 2 月 PK 榜

LED显示屏怎么翻新?

Dylan

LED LED显示屏 led显示屏厂家

OpenYurt v1.2 亮点速览丨云边流量峰值相比原生 K8s 降低 90%

阿里巴巴云原生

阿里云 开源 容器 云原生 openyurt

关于DataLeap中的Notebook,你想知道的都在这

字节跳动数据平台

数据库 大数据 数据治理 数据研发 企业号 2 月 PK 榜

火山引擎数智平台的这款产品,正在帮助APP提升用户活跃度

字节跳动数据平台

大数据 客户数据平台 客户 客户数据 企业号 2 月 PK 榜

腾讯内网“Redis 深度(全彩版小册)”限时开源!面面俱到太全了

架构师之道

Java 面试 架构师

程序员超级干货书单:技术人必看

引迈信息

程序员 敏捷开发 书单

墨天轮【第二届数据库掌门人论坛】圆满收官 | 含嘉宾精彩观点回顾

墨天轮

数据库 Serverless TiDB oceanbase 国产数据库

天翼云联合国际咨询机构IDC发布《中国医疗云建设与应用白皮书》

天翼云开发者社区

Teradata的离开,是国内ToB服务转变的信号

ToB行业头条

人工智能 LLM 革命前夜:一文读懂ChatGPT缘起的自然语言处理模型Transformer

阿里技术

人工智能 自然语言处理

git使用ssh

刘旭东

git SSH

PostgreSQL:内存结构

天翼云开发者社区

快速开发光伏电站数字孪生运维系统——实践类

阿里云AIoT

阿里云 物联网 IoT

C#/VB.NET 如何在不同工作簿之间复制单元格范围

在下毛毛雨

C# .net Excel 文档操作

瓴羊Quick BI可视化功能,满足企业的数据分析需求

对不起该用户已成仙‖

使用 Ingest Pipeline 在 Elasticsearch 中对数据进行预处理

Se7en

了解医疗上云门道,尽在“共铸国云 红云行业思想汇”!

天翼云开发者社区

关系型数据库的架构演变

石臻臻的杂货铺

数据库 架构

90%企业在探索的敏捷开发怎么做?极狐GitLab总结了这些逻辑与流程

极狐GitLab

DevOps 敏捷开发 持续集成 CI/CD 持续交付

大模型为什么是深度学习的未来?

GPU算力

人工智能 深度学习 大模型

英特尔研究院探索负责任的生成式AI,让AI应用真正惠及大众

科技之家

聚焦现代化应用安全,F5的安全扩增,稳了!

F5 Inc

架构 安全 API 应用

直播 | StarRocks 实战系列第二期--导入优化&问题排查

StarRocks

数据库 开源

如何在Excel中查找并高亮数据

Geek_249eec

C# .net Excel VB.NET

亚马逊云科技开源Mountpoint for Amazon S3,通过挂载点技术简化 Amazon S3 对象存储的使用_云原生_Renato Losio_InfoQ精选文章