QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Amazon S3 更新,新存储类以及通用版本 S3 Select

  • 2019-10-25
  • 本文字数:1439 字

    阅读完需:约 5 分钟

Amazon S3 更新,新存储类以及通用版本 S3 Select

我收到了两条对于在 Amazon Simple Storage Service (S3) 中存储和检索数据的非常重要的新闻:


新 S3 One Zone-IA 存储类 – 这种新存储类比现有的标准-IA 存储类便宜 20%。它设计用于存储不需要通过地理冗余提供额外保护级别的数据。


通用版本 S3 Select – 这种独特的检索选项可让您利用简单 SQL 表达式从 S3 对象检索数据子集,在此流程中性能提高可能达到 400%。


下面我们来看这两种选项!


S3 One Zone-IA(低频访问)存储类


这种新存储类可将数据存储在单 AWS 可用区中,设计为达到十一个 9 级 (99.99999999%) 的数据耐久性,与其他 S3 存储类相似。与其他类不同的是,它不适合用于应对地震或洪水之类的重大事故导致的 AZ 有形损失,在能够损毁 AZ 的罕见事件中数据可能会丢失。S3 One Zone-IA 存储可使用更低的成本为您提供本地数据辅助备份以及可轻松重新创建的数据。您还可以将其用作其他 AWS 区域的 S3 跨区域复制目标。


您可以指定在您向 S3 上传新对象时使用 S3 One Zone-IA 存储:



您还可以将其用作 S3 生命周期规则的一部分:



您可以设置在 30 天或更多天后将先前版本的对象移至 S3 One Zone-IA 的生命周期规则:



您可以修改现有对象的存储类:



您还可以使用 S3 APICLI 和 CloudFormation 模板管理存储类。


S3 One Zone-IA 存储类可用在所有公有 AWS 区域中。此前我曾提到,定价比 S3 标准-IA 存储类低 20%(请参阅 S3 订价页面以了解详细信息)。最短保留期为 30 天,最小对象大小为 128 KB。


通用版本 S3 Select


Randall 去年撰写了 S3 Select 的详细介绍,向您展示如何使用它从 S3 对象中检索所选的数据。在预览期间,我们增加了对服务器端加密的支持以及从 S3 控制台运行查询的功能。


我使用机场代码的 CSV 文件来执行新控制台功能:



此文件包含超过 9100 个机场的列表,因此有利于获得有用的测试数据,但是肯定不会以任何方式测试 S3 Select 的限制。我选择文件,打开“更多”菜单,并选择“选择自”:



控制台根据文件名和加密状态设置文件格式和压缩率。我设置分隔符,并单击“显示文件预览”以验证我的设置正确。然后,我单击“下一步”继续:



我在 SQL 编辑器中输入 SQL 表达式,并单击“运行 SQL”以发出查询:



或者:



我还可以从 AWS SDK 发出查询。我发起选择操作:


Python


s3 = boto3.client('s3', region_name='us-west-2')
r = s3.select_object_content( Bucket='jbarr-us-west-2', Key='sample-data/airportCodes.csv', ExpressionType='SQL', Expression="select * from s3object s where s.\"Country (Name)\" like '%United States%'", InputSerialization = {'CSV': {"FileHeaderInfo": "Use"}}, OutputSerialization = {'CSV': {}},)
复制代码


然后,我处理结果流:


Python


for event in r['Payload']:    if 'Records' in event:        records = event['Records']['Payload'].decode('utf-8')        print(records)    elif 'Stats' in event:        statsDetails = event['Stats']['Details']        print("Stats details bytesScanned: ")        print(statsDetails['BytesScanned'])        print("Stats details bytesProcessed: ")        print(statsDetails['BytesProcessed'])
复制代码


S3 Select 可用于所有公有区域,您今天就可以开始使用。定价基于扫描的数据量以及返回的数据量。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/amazon-s3-update-new-storage-class-general-availability-of-s3-select/


2019-10-25 08:00877

评论

发布
暂无评论
发现更多内容

Flutter doctor 显示xcode没有安装的解决办法

坚果

6月月更

统一认证中心 Oauth2 高可用坑

Damon

微服务架构 安全架构 6月月更

BottomSheetDialog 使用详解,设置圆角、固定高度、默认全屏等

yechaoa

android dialog 6月月更 material design

模块八作业

库尔斯

#架构实战营

WWDC22 开发者需要关注的重点内容

37手游iOS技术运营团队

iOS16 WWDC22 Xcode14 iPadOS16 macOS10.16

leetcode 257. Binary Tree Paths 二叉树的所有路径(简单)

okokabcd

LeetCode 搜索 数据结构与算法

动态规划之0-1背包问题(详解+分析+原码)

未见花闻

6月月更

【Python技能树共建】lxml 模块

梦想橡皮擦

Python 6月月更

【Spring 学习笔记(十)】Spring 使用注解整合 Mybatis

倔强的牛角

Java spring Java EE 6月月更

消息队列存储消息数据的 MySQL表

Dean.Zhang

向线程池提交任务

急需上岸的小谢

6月月更

思科私有动态路由协议:EIGRP

wljslmz

动态路由 6月月更 路由协议 EIGRP

什么是Vue3的组合式 API?

源字节1号

软件开发 小程序开发

数据库每日一题---第9天:销售员

知心宝贝

数据库 算法 前端 后端 6月月更

【愚公系列】2022年06月 面向对象设计原则(六)-合成复用原则

愚公搬代码

6月月更

直播预告|FeatureStore Meetup V3 重磅来袭!

星策开源社区

机器学习 开源 DevOps 特征平台 MLOps

RF中使用reuqests的两种方式

红毛丹

Python 6月月更

ConcurrentHashMap 源码分析-put方法

zarmnosaj

6月月更

使用 select 切换协程

宇宙之一粟

golang 6月月更

为什么需要微服务

阿泽🧸

微服务 6月月更

vue自定义指令

小恺

6月月更

flutter系列之:flutter中常用的container layout详解

程序那些事

flutter 程序那些事 6月月更

LabVIEW Arduino电子称重系统(项目篇—1)

不脱发的程序猿

单片机 LabVIEW VISA ​Arduino Uno 电子称重系统

消息队列入门MQ

卢卡多多

MQ 消息队列 6月月更

volatile的解构

卢卡多多

volatile 6月月更

预解析与作用域

Jason199

js 全局作用域 作用域 6月月更

Java—并发容器

武师叔

6月月更

LabVIEW控制Arduino实现红外测距(进阶篇—6)

不脱发的程序猿

单片机 LabVIEW VISA Arduino Uno 红外测距

一文读懂Logstash原理

恒山其若陋兮

6月月更

基于华为云图像识别标签实战

乌龟哥哥

6月月更

LabVIEW控制Arduino实现超声波测距(进阶篇—5)

不脱发的程序猿

单片机 LabVIEW Arduino VISA 超声波测距

Amazon S3 更新,新存储类以及通用版本 S3 Select_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章