Amazon Redshift Spectrum 将数据仓库扩展到 EB 级别且无需加载(二)
- 2020-01-16
本文字数:1085 字
阅读完需:约 4 分钟
## 专为提高性能和节约成本而设计
利用 Amazon Redshift Spectrum,您只需为对您实际扫描的数据所运行的查询付费。我们建议您利用文件分区、列数据格式和数据压缩来最大程度降低在 Amazon S3 中扫描的数据量。这对于数据仓库非常重要,因为它可以显著提高查询性能和降低成本。通过按日期、时间或任何其他自定义键对 Amazon S3 中的数据进行分区,Redshift Spectrum 可以动态修剪不相关的分区以最大程度降低要处理的数据量。如果您以列格式(例如 Parquet)存储数据,Redshift Spectrum 将仅扫描查询所需的列,而不会处理整个行。同样,如果使用 Redshift Spectrum 支持的一种压缩算法来压缩数据,则可以减少扫描的数据量。
Amazon Redshift 和 Redshift Spectrum 提供各自同类产品中更好的功能。如果需要对相同的数据频繁运行查询,您可以将其标准化并存储到 Amazon Redshift 中,然后利用功能完备的数据仓库的所有优势来以固定费率存储和查询结构化数据。同时,您可以将其他数据(无论是历史数据还是最新数据)继续以多种开放格式保留在 Amazon S3 中,并将 Amazon Redshift 查询扩展到 Amazon S3 数据湖中。
这就是 Amazon Redshift Spectrum 将数据仓库扩展到 EB 级别且无需加载的方法。Redshift 将终结“‘或’暴政”,使您可随时在所需位置、按所需格式存储数据,并在需要时使这些数据可供使用标准 SQL 进行快速处理。
---
### 其他阅读资源
[](https://amazonaws-china.com/blogs/big-data/10-best-practices-for-amazon-redshift-spectrum/)
[](https://amazonaws-china.com/blogs/big-data/amazon-quicksight-adds-support-for-amazon-redshift-spectrum/)
[](https://amazonaws-china.com/blogs/aws/amazon-redshift-spectrum-exabyte-scale-in-place-queries-of-s3-data/)
![](https://d2908q01vomqb2.awsstatic-china.com/b6692ea5df920cad691c20319a6fffd7a4a766b8/2017/06/16/spectrum_top_10_2-300x167.gif)
---
复制代码
作者介绍:
**![](https://d2908q01vomqb2.awsstatic-china.com/b6692ea5df920cad691c20319a6fffd7a4a766b8/2017/07/20/maor_100.jpg)Maor Kleider** 是快速、简单、经济高效的数据仓库 Amazon Redshift 的高级产品经理。Maor 热衷于与客户和合作伙伴之间的合作,了解他们独特的大数据用例并进一步改善其体验。在空闲时间,Maor 喜欢与家人一起旅行和探索新美食。
复制代码
本文转载自 AWS 技术博客。
划线
评论
复制
更多内容推荐
大规模机器学习在 LinkedIn 预测模型中的应用
2019-01-02
小程序跨框架开发的探索与实践
2020-01-20
SQL 注入实战:玩转 sqlmap 之携带 cookie
2020-08-20
GraphQL 和 Apollo:适用于当前 App 的数据管理解决方案
2018-09-12
Index Template 和 Dynamic Template
2019-07-09
支付宝背后的 OceanBase:国产自研分布式数据库这十年
蚂蚁金服高级研究员阳振坤:用10年时间打造一个“顶天立地”的产品。
2019-04-16
软件测试 | 测试开发 | 测试人生 | 低学历无未来?从小公司到拿下年薪 45W+ ,这个 90 后小哥哥好励志~
本文为霍格沃兹测试开发学社优秀学员跳槽笔记,测试开发进阶学习文末加群
2022-11-03
发现更多内容
推荐阅读
PingCAP DevCon| 微众银行 TiDB 应用实践
PingCAP DevCon|TiDB 在 ClassIn 的应用实践
ARTS 打卡 第 10 周
2020-08-02
下一代分布式体系架构的理念与演进
2018-09-12
第 55 讲|基于符号的知识表示与推理:语义网络
2018-02-05
导致系统不可用的原因有哪些?
2020-08-26
Apollo vs SpringCloudConfig vs K8s ConfigMap
2019-08-13
电子书
大厂实战PPT下载
换一换 腾讯云 Serverless 在音视频处理的探索与实践
田梦敏 | 腾讯云 高级工程师 & Serverless应用后台模块负责人
立即下载
基于 CPU 微架构和平台特性以优化大数据软件性能的实践
Tony Wu | Intel 机器学习性能 高级性能架构师
立即下载
Cloud IDE 在美团从 0 到 1 落地实践
俞超 | 美团 研发质量与效率部 高级技术经理
立即下载
评论