写点什么

Amazon S3 更新,新存储类以及通用版本 S3 Select

  • 2019-10-25
  • 本文字数:1439 字

    阅读完需:约 5 分钟

Amazon S3 更新,新存储类以及通用版本 S3 Select

我收到了两条对于在 Amazon Simple Storage Service (S3) 中存储和检索数据的非常重要的新闻:


新 S3 One Zone-IA 存储类 – 这种新存储类比现有的标准-IA 存储类便宜 20%。它设计用于存储不需要通过地理冗余提供额外保护级别的数据。


通用版本 S3 Select – 这种独特的检索选项可让您利用简单 SQL 表达式从 S3 对象检索数据子集,在此流程中性能提高可能达到 400%。


下面我们来看这两种选项!


S3 One Zone-IA(低频访问)存储类


这种新存储类可将数据存储在单 AWS 可用区中,设计为达到十一个 9 级 (99.99999999%) 的数据耐久性,与其他 S3 存储类相似。与其他类不同的是,它不适合用于应对地震或洪水之类的重大事故导致的 AZ 有形损失,在能够损毁 AZ 的罕见事件中数据可能会丢失。S3 One Zone-IA 存储可使用更低的成本为您提供本地数据辅助备份以及可轻松重新创建的数据。您还可以将其用作其他 AWS 区域的 S3 跨区域复制目标。


您可以指定在您向 S3 上传新对象时使用 S3 One Zone-IA 存储:



您还可以将其用作 S3 生命周期规则的一部分:



您可以设置在 30 天或更多天后将先前版本的对象移至 S3 One Zone-IA 的生命周期规则:



您可以修改现有对象的存储类:



您还可以使用 S3 APICLI 和 CloudFormation 模板管理存储类。


S3 One Zone-IA 存储类可用在所有公有 AWS 区域中。此前我曾提到,定价比 S3 标准-IA 存储类低 20%(请参阅 S3 订价页面以了解详细信息)。最短保留期为 30 天,最小对象大小为 128 KB。


通用版本 S3 Select


Randall 去年撰写了 S3 Select 的详细介绍,向您展示如何使用它从 S3 对象中检索所选的数据。在预览期间,我们增加了对服务器端加密的支持以及从 S3 控制台运行查询的功能。


我使用机场代码的 CSV 文件来执行新控制台功能:



此文件包含超过 9100 个机场的列表,因此有利于获得有用的测试数据,但是肯定不会以任何方式测试 S3 Select 的限制。我选择文件,打开“更多”菜单,并选择“选择自”:



控制台根据文件名和加密状态设置文件格式和压缩率。我设置分隔符,并单击“显示文件预览”以验证我的设置正确。然后,我单击“下一步”继续:



我在 SQL 编辑器中输入 SQL 表达式,并单击“运行 SQL”以发出查询:



或者:



我还可以从 AWS SDK 发出查询。我发起选择操作:


Python


s3 = boto3.client('s3', region_name='us-west-2')
r = s3.select_object_content( Bucket='jbarr-us-west-2', Key='sample-data/airportCodes.csv', ExpressionType='SQL', Expression="select * from s3object s where s.\"Country (Name)\" like '%United States%'", InputSerialization = {'CSV': {"FileHeaderInfo": "Use"}}, OutputSerialization = {'CSV': {}},)
复制代码


然后,我处理结果流:


Python


for event in r['Payload']:    if 'Records' in event:        records = event['Records']['Payload'].decode('utf-8')        print(records)    elif 'Stats' in event:        statsDetails = event['Stats']['Details']        print("Stats details bytesScanned: ")        print(statsDetails['BytesScanned'])        print("Stats details bytesProcessed: ")        print(statsDetails['BytesProcessed'])
复制代码


S3 Select 可用于所有公有区域,您今天就可以开始使用。定价基于扫描的数据量以及返回的数据量。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/amazon-s3-update-new-storage-class-general-availability-of-s3-select/


2019-10-25 08:00821

评论

发布
暂无评论
发现更多内容

面试常见IO问答知识点

浅羽技术

io nio AIo bio 8月月更

多线程常见面试问答知识点

浅羽技术

线程 多线程 线程池 进程 8月月更

云原生(二十九) | Kubernetes篇之自建高可用k8s集群优化

Lansonli

云原生 k8s 8月月更

深究索引:Mysql索引模型及其不同结构优劣势

知识浅谈

8月月更

备受资本市场关注的Zebec,是如何运作的?

鳄鱼视界

阿里云首期云原生加速器第二次集结活动成功举办,秒云获阿里云加速器荣誉伙伴认证

MIAOYUN

阿里云产品集成认证 阿里云产品生态集成认证 阿里云云原生加速器 阿里云首期云原生加速器 阿里云加速器荣誉伙伴

毕业设计 - 电商秒杀项目

阿拉阿拉幽幽

面试突击78:@Autowired 和 @Resource 有什么区别?

王磊

SpringCloud

css入门

楠羽

#开源

数字藏品app:如何开发?

开源直播系统源码

数字藏品 数字藏品软件开发 数字藏品开发 数字藏品系统

Java反射是什么

TimeFriends

8月月更

Databend 源码阅读系列(一): 开篇

Databend

源码阅读 源码剖析 云平台 大数据 开源 databend

Databend v0.8 新版本上线!

Databend

开源社区 云平台 大数据 开源 databend

架构实战营心得

阿拉阿拉幽幽

你必须要会uvloop!让Python asyncio异步编程性能直逼Go协程性能

HullQin

Go golang 后端 websocket 8月月更

Spring避坑指南:Spring声明式事务@Transactional避坑

崔认知

Spring避坑指南 避坑指南 @Transactional避坑

备受资本市场关注的Zebec,是如何运作的?

BlockChain先知

常见网络协议考察知识点

浅羽技术

https 网络协议 HTTP TCP/IP 8月月更

vivo 基于 JaCoCo 的测试覆盖率设计与实践

vivo互联网技术

DevOps JACOCO

ClickHouse 挺快,esProc SPL 更快

dvlinker

数据库 oracle sql Clickhouse SPL

详解 Sqllogictest

Databend

大数据 databend Sqllogictest

【项目实战】创建一个github库上传本地项目

小明Java问道之路

git GitHub 项目实战 8月月更

【JVM】HotspotJVM内存区域解析

小明Java问道之路

JVM JVM内存结构 JVM内存模型 8月月更 JVM内存区域

最全面的Zebec Protocol全景解读,一文读懂Web3基建设施

股市老人

Kubernetes深入学习之二:编译和部署镜像(api-server)

程序员欣宸

Kubernetes 8月月更

聊聊动态线程池的9个场景

马丁玩编程

GitHub 开源 动态线程池

开源 DevOps 工具,你值得拥有!

SoFlu软件机器人

开源一夏 | 分治算法其实很有趣

宇宙之一粟

开源 分治法 8月月更

携手HMS Core统一扫码服务, 兴业证券优理宝App提升用户扫码体验

HarmonyOS SDK

扫码

MAUI + Masa Blazor 开发界面跟随系统主题切换的App

MASA技术团队

.net blazor MASA MAUI Xamarin

Amazon S3 更新,新存储类以及通用版本 S3 Select_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章