写点什么

Amazon Redshift Spectrum 十二大最佳实践(一)

  • 2020-01-13
  • 本文字数:2685 字

    阅读完需:约 9 分钟

Amazon Redshift Spectrum 十二大最佳实践(一)

Amazon Redshift Spectrum 使您能够对存储在 Amazon S3 中的数据运行 Amazon Redshift SQL 查询。利用 Redshift Spectrum,您可以将 Amazon Redshift 的强大分析能力扩展到存储于 Amazon Redshift 本地的数据之外。Redshift Spectrum 提供的多种功能能够扩大您可能实施的战略。例如,它能够扩展 Amazon Redshift 可访问的数据大小,并能让您将计算与存储分离,从而提升混合工作负载用例的处理速度。Redshift Spectrum 还能够提高数据的互操作性,因为您可以从 Amazon Redshift 之外的多个计算平台访问同一 S3 对象。这些平台包括 Amazon AthenaAmazon EMR with Apache Spark、Amazon EMR with Apache Hive、Presto 及可访问 S3 的任何其他计算平台。因此,您无需通过繁琐、耗时的提取、转换、加载 (ETL) 流程,即可查询您的 Amazon S3 数据湖中的海量数据。您还可以连接外部 S3 表与集群本地磁盘上的表。Redshift Spectrum 对数以千计的节点进行复杂的查询优化和扩展处理,从而交付快速的性能。在本博文中,我们收集了 Redshift Spectrum 的 12 大重要最佳实践,并将这些实践分成不同的功能组。这些指南基于我们与 Amazon Redshift 客户的许多交互以及大量直接项目工作。在您开始使用之前,需要遵循以下步骤进行设置。有关开始使用 Redshift Spectrum 的先决条件及步骤的更多信息,请参阅 Amazon Redshift 文档中的Amazon Redshift Spectrum 入门

设置测试环境

要进行测试以验证本博文中概述的最佳实践,您可以使用任何数据集。Redshift Spectrum 支持多种常见数据格式:Text、Parquet、ORC、JSON、Avro 等等。您可以使用数据的原始格式进行查询,也可以根据数据访问模式、存储要求等等将数据转换为更高效的格式。例如,如果您经常访问列的子集,Parquet 和 ORC 等列格式能够仅读取所需列,从而大大降低 I/O。如何转换文件格式不在本博文的探讨范围之内,有关如何转换文件格式的更多信息,请参阅以下资源:


创建外部 schema

您可以遵循以下方法创建名为 s3_external_schema 的外部 schema:


SQL


create external schema s3_external_schema from data catalog database 'spectrumdb' iam_role 'arn:aws:iam::<AWS_ACCOUNT_ID>:role/aod-redshift-role'create external database if not exists;
复制代码


Amazon Redshift 集群和 Amazon S3 中的数据文件必须位于同一 AWS 区域。您可以在 Amazon Redshift、AWS Glue、Athena Data Catalog 或您自己的 Apache Hive 元存储中创建外部数据库。您的 Amazon Redshift 集群需要授权才能访问您的外部数据目录以及 Amazon S3 中的数据文件。您需要引用附加到您集群的 AWS Identity and Access Management (IAM) 角色(例如 aod-redshift-role)来提供授权。有关更多信息,请参阅 Amazon Redshift 文档中的为 Amazon Redshift 创建 IAM 角色

定义外部表

您可以使用 Parquet 文件定义分区的外部表,并使用如下逗号分隔值 (CSV) 文件定义其他非分区的外部表:


SQL


CREATE  external table s3_external_schema.LINEITEM_PART_PARQ (  L_ORDERKEY BIGINT, L_PARTKEY BIGINT, L_SUPPKEY BIGINT, L_LINENUMBER INT, L_QUANTITY DECIMAL(12,2), L_EXTENDEDPRICE DECIMAL(12,2), L_DISCOUNT DECIMAL(12,2), L_TAX DECIMAL(12,2), L_RETURNFLAG VARCHAR(128), L_LINESTATUS VARCHAR(128), L_COMMITDATE DATE, L_RECEIPTDATE DATE, L_SHIPINSTRUCT VARCHAR(128), L_SHIPMODE VARCHAR(128), L_COMMENT VARCHAR(128))partitioned by (L_SHIPDATE DATE)stored as PARQUETlocation 's3://<your-bucket>/<xyz>/lineitem_partition/';
CREATE external table s3_external_schema.LINEITEM_CSV ( L_ORDERKEY BIGINT, L_PARTKEY INT, L_SUPPKEY INT, L_LINENUMBER INT, L_QUANTITY DECIMAL(12,2), L_EXTENDEDPRICE DECIMAL(12,2), L_DISCOUNT DECIMAL(12,2), L_TAX DECIMAL(12,2), L_RETURNFLAG VARCHAR(128), L_LINESTATUS VARCHAR(128), L_SHIPDATE DATE , L_COMMITDATE DATE, L_RECEIPTDATE DATE, L_SHIPINSTRUCT VARCHAR(128), L_SHIPMODE VARCHAR(128), L_COMMENT VARCHAR(128))row format delimitedfields terminated by '|'stored as textfilelocation 's3://<your-bucket>/<xyz>/lineitem_csv/';
复制代码

查询数据

总的来说,Amazon Redshift 通过 Redshift Spectrum 访问存储在 Amazon S3 中的外部表。您可以使用用于其他 Amazon Redshift 表的相同的 SELECT 语法查询外部表。目前,所有外部表均为只读格式。


您必须在您的 SELECT 语句中引用外部表(方法是在表名称前面用 schema 名称做前缀),无需创建表并将其加载到 Amazon Redshift 中。


如希望使用 Redshift Spectrum 执行测试,可从以下两个查询着手。


查询 1


SQL


SELECT  l_returnflag,        l_linestatus,        sum(l_quantity) as sum_qty,        sum(l_extendedprice) as sum_base_price,        sum(l_extendedprice*(1-l_discount)) as sum_disc_price,        sum(l_extendedprice*(1-l_discount)*(1+l_tax)) as sum_charge,        avg(l_quantity) as avg_qty,        avg(l_extendedprice) as avg_priceFROM s3_external_schema.LINEITEM_PART_PARQWHERE l_shipdate BETWEEN '1998-12-01' AND '1998-12-31'GROUP BY l_returnflag, l_linestatusORDER BY l_returnflag, l_linestatus;
复制代码


该查询仅访问一个外部表,可用于突出显示 Redshift Spectrum 层提供的额外处理能力。


查询 2


SQL


SELECT   l_orderkey,         Sum(l_extendedprice * (1 - l_discount)) AS revenue,         o_orderdate,         o_shippriority FROM     customer, orders, s3_external_schema.lineitem_part_parq WHERE    c_mktsegment = 'BUILDING'          AND      c_custkey = o_custkey          AND      l_orderkey = o_orderkey          AND      o_orderdate < date '1995-03-15'          AND      l_shipdate >  date '1995-03-15' GROUP BY l_orderkey, o_orderdate, o_shippriority ORDER BY revenue DESC, o_orderdate LIMIT 20;
复制代码


该查询将三个表连接在一起:customerorders 表是本地 Amazon Redshift 表,而 LINEITEM_PART_PARQ 表是外部表。


本文转载自 AWS 技术博客。


原文链接:https://amazonaws-china.com/cn/blogs/china/12-best-practices-for-amazon-redshift-spectrum/


2020-01-13 14:53664

评论

发布
暂无评论
发现更多内容

关于 StatefulWidget,你不得不知道的原理和要点!

岛上码农

flutter ios 前端 安卓开发 签约计划第三季

小程序怎样助力智能家居生态新模式

Geek_99967b

物联网

2200字详细讲解计算机网络的“流量管理员”:QoS 服务质量

wljslmz

流量控制 QoS 网络技术 7月月更

参数解析与跳石板

未见花闻

7月月更

Plato Farm有望通过Elephant Swap,进一步向外拓展生态

鳄鱼视界

React 学习记录2📝

程序员海军

React 7月月更

【函数式编程实战】(八) 如何将你的代码重构

小明Java问道之路

设计模式 函数式编程 7月月更 签约计划第三季 Lambda表达式

次轮Okaleido Tiger即将登录Binance NFT,引发社区热议

鳄鱼视界

次轮Okaleido Tiger即将登录Binance NFT,引发社区热议

股市老人

【函数式编程实战】(七) Collection在Java8和9中的增强

小明Java问道之路

Lambda collection Stream API 7月月更 签约计划第三季

Okaleido Tiger 7.27日登录Binance NFT,首轮已获不俗成绩

BlockChain先知

客户案例 | 关注老年用户体验,银行APP适老化改造要避虚就实

易观分析

用户体验 银行app 老龄化

C# 中的转译字符'/b'

陈言必行

7月月更

缓存一致性与内存屏障

蝉沐风

volatile 内存屏障 缓存一致性 MESI

提前批到底影不影响正式批?

KEY.L

7月月更

Mybatis中LRU缓存实现

Geek漫游指南

mybatis LRU mybatis源码

Prometheus 运维工具 Promtool (三)Debug 功能

耳东@Erdong

Prometheus 7月月更 Promtool

数据资产管理的概念

奔向架构师

数据资产 7月月更

【函数式编程实战】(九) Optional实战大全

小明Java问道之路

java8 Optional Stream API 7月月更 签约计划第三季

为啥国内大厂都把云计算当成香饽饽,这个万亿市场你真的了解吗

雨果

DaaS数据即服务

第五届数字中国奖项出炉,昇腾人工智能融合赋能平台斩获十佳首展成果奖

Geek_2d6073

Bootstrap的导航元素和Well详解【前端Bootstrap框架】

恒山其若陋兮

7月月更

平成千字文(へいせいせんじもん)    (平成12年9月10日 石渡 明 作)  宇宙広遠 銀河永久 日月運行 不乱無休 地球公転 季節変移 黄道星座 太陽年周 故郷群島 南熱北冷 海洋温暖 気候順良 青空飛雲 諸野深緑 湖泉静息 谷川清流 春桜一面 新芽

贾献华

7月月更

音乐体验天花板!14个网易云音乐的情感化设计细节

张姣发

创新 交互设计 网易云音乐

在灯塔工厂点亮5G,宁德时代抢先探路中国智造

脑极体

聊聊自动化测试的度量指标

老张

自动化测试 质量度量

传统车企数字化转型如何打通最后一公里?

雨果

车联网 DaaS数据即服务

模块8(消息队列存储消息数据的mysql表格)

Geek_701557

Plato Farm通过LaaS协议Elephant Swap,为社区用户带来全新体验

股市老人

Amazon Redshift Spectrum 十二大最佳实践(一)_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章