写点什么

Amazon S3 更新,新存储类以及通用版本 S3 Select

  • 2019-10-25
  • 本文字数:1439 字

    阅读完需:约 5 分钟

Amazon S3 更新,新存储类以及通用版本 S3 Select

我收到了两条对于在 Amazon Simple Storage Service (S3) 中存储和检索数据的非常重要的新闻:


新 S3 One Zone-IA 存储类 – 这种新存储类比现有的标准-IA 存储类便宜 20%。它设计用于存储不需要通过地理冗余提供额外保护级别的数据。


通用版本 S3 Select – 这种独特的检索选项可让您利用简单 SQL 表达式从 S3 对象检索数据子集,在此流程中性能提高可能达到 400%。


下面我们来看这两种选项!


S3 One Zone-IA(低频访问)存储类


这种新存储类可将数据存储在单 AWS 可用区中,设计为达到十一个 9 级 (99.99999999%) 的数据耐久性,与其他 S3 存储类相似。与其他类不同的是,它不适合用于应对地震或洪水之类的重大事故导致的 AZ 有形损失,在能够损毁 AZ 的罕见事件中数据可能会丢失。S3 One Zone-IA 存储可使用更低的成本为您提供本地数据辅助备份以及可轻松重新创建的数据。您还可以将其用作其他 AWS 区域的 S3 跨区域复制目标。


您可以指定在您向 S3 上传新对象时使用 S3 One Zone-IA 存储:



您还可以将其用作 S3 生命周期规则的一部分:



您可以设置在 30 天或更多天后将先前版本的对象移至 S3 One Zone-IA 的生命周期规则:



您可以修改现有对象的存储类:



您还可以使用 S3 APICLI 和 CloudFormation 模板管理存储类。


S3 One Zone-IA 存储类可用在所有公有 AWS 区域中。此前我曾提到,定价比 S3 标准-IA 存储类低 20%(请参阅 S3 订价页面以了解详细信息)。最短保留期为 30 天,最小对象大小为 128 KB。


通用版本 S3 Select


Randall 去年撰写了 S3 Select 的详细介绍,向您展示如何使用它从 S3 对象中检索所选的数据。在预览期间,我们增加了对服务器端加密的支持以及从 S3 控制台运行查询的功能。


我使用机场代码的 CSV 文件来执行新控制台功能:



此文件包含超过 9100 个机场的列表,因此有利于获得有用的测试数据,但是肯定不会以任何方式测试 S3 Select 的限制。我选择文件,打开“更多”菜单,并选择“选择自”:



控制台根据文件名和加密状态设置文件格式和压缩率。我设置分隔符,并单击“显示文件预览”以验证我的设置正确。然后,我单击“下一步”继续:



我在 SQL 编辑器中输入 SQL 表达式,并单击“运行 SQL”以发出查询:



或者:



我还可以从 AWS SDK 发出查询。我发起选择操作:


Python


s3 = boto3.client('s3', region_name='us-west-2')
r = s3.select_object_content( Bucket='jbarr-us-west-2', Key='sample-data/airportCodes.csv', ExpressionType='SQL', Expression="select * from s3object s where s.\"Country (Name)\" like '%United States%'", InputSerialization = {'CSV': {"FileHeaderInfo": "Use"}}, OutputSerialization = {'CSV': {}},)
复制代码


然后,我处理结果流:


Python


for event in r['Payload']:    if 'Records' in event:        records = event['Records']['Payload'].decode('utf-8')        print(records)    elif 'Stats' in event:        statsDetails = event['Stats']['Details']        print("Stats details bytesScanned: ")        print(statsDetails['BytesScanned'])        print("Stats details bytesProcessed: ")        print(statsDetails['BytesProcessed'])
复制代码


S3 Select 可用于所有公有区域,您今天就可以开始使用。定价基于扫描的数据量以及返回的数据量。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/amazon-s3-update-new-storage-class-general-availability-of-s3-select/


2019-10-25 08:00893

评论

发布
暂无评论
发现更多内容

【云计算】云存储是什么意思?与本地存储有什么区别?

行云管家

云计算 云存储 云管理 云支出

烂怂if-else代码优化方案 | 京东云技术团队

京东科技开发者

Java 代码优化 if-else 企业号 5 月 PK 榜

Java高并发难题一网打尽,全网最全的高并发设计文档

做梦都在改BUG

Java 架构 系统设计 高并发

起猛了!从Github大佬白嫖的分布式进阶宝典,啃完感觉能吊锤面试官

做梦都在改BUG

Java 架构 分布式

软件测试 | JMeter函数和变量

测吧(北京)科技有限公司

测试

软件测试 |JMeter怎样引用函数和变量

测吧(北京)科技有限公司

测试

万众瞩目的Nautilus Chain即将上线主网,生态正式起航

鳄鱼视界

直播预告 | 博睿学院:算法平台底座-数据湖应用

博睿数据

数据湖 可观测性 智能运维 博睿数据 博睿学院

共探Serverless架构的资源平衡管理,腾讯云2023年第二期TechoDay活动圆满落幕

科技热闻

软件测试 | 应用程序签名机制实现的源代码分析

测吧(北京)科技有限公司

测试

【堡垒机】云堡垒机可以安装在外部数据库上吗?

行云管家

数据库 IT运维 云堡垒机 运维安全

C端用户体验度量实战篇-京东快递小程序体验度量全面升级 | 京东云技术团队

京东科技开发者

用户体验 用户体验设计 企业号 5 月 PK 榜 京东小程序

ShareSDK Android端合规指南

MobTech袤博科技

图解Redis和Zookeeper分布式锁 | 京东云技术团队

京东科技开发者

redis zookeeper 分布式锁 zookeeper分布式锁 企业号 5 月 PK 榜

MoE 系列(五)|Envoy Go 扩展之内存安全

SOFAStack

golang 开发者 后端 网关 C++

软件测试中的维恩图详解

测吧(北京)科技有限公司

测试

完美!啃透P9大佬这份完整版的《并发编程宝典》,成为Offer收割机

做梦都在改BUG

Java 并发编程 高并发

软件测试/测试开发丨Web自动化 option 常用操作headless无头浏览器

测试人

程序员 软件测试 自动化测试 测试开发

景区共享电动车投放:助力打造智慧景区

共享电单车厂家

共享电单车投放 校园共享电单车 景区共享电动车 共享电动车合作 共享电单车厂家

巅峰对谈:迈向 AGI 时代,除了优秀的大模型,还需要什么?丨Fabarta&蓝驰创投

Fabarta

人工智能 图数据库 AI大模型 AGI 图智能

已膜拜,GitHub大佬的微服务资源库太强了,每份学习手册都优质详细

做梦都在改BUG

Java Kubernetes 微服务 Spring Cloud Spring Boot

被性能优化撂倒无数次后的顿悟!465页调优笔记助力大厂面试之旅

做梦都在改BUG

Java 性能优化 性能调优

基于AIGC的京东购物助手的技术方案设想 | 京东云技术团队

京东科技开发者

人工智能 智能客服 AIGC 企业号 5 月 PK 榜

火山引擎DataLeap:如何构建一套完整、易用的数据标准体系

字节跳动数据平台

大数据 数据治理 数据标准 数据研发

史上最全MySQL各种锁详解

Java你猿哥

MySQL 乐观锁 悲观锁 事务/行级锁

基于数据驱动 U-Net 模型的大气污染物扩散快速预测,提升计算速度近6000倍

飞桨PaddlePaddle

人工智能 深度学习 百度飞桨

软件测试 | 测试贯穿整个项目流程

测吧(北京)科技有限公司

测试

ClickHouse进阶|如何自研一款企业级高性能网关组件?

字节跳动数据平台

数据库 字节跳动 Clickhouse 企业网关

Wallys/Qualcomm network chip/ipq9574/ipq9554/wireless connectivity solutions.

Cindy-wallys

ipq9554 ipq9574

可视化探索开源项目的 contributor 关系

NebulaGraph

开源

Amazon S3 更新,新存储类以及通用版本 S3 Select_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章