写点什么

将存储过程迁移到 Amazon Redshift(二)

  • 2020-01-02
  • 本文字数:2171 字

    阅读完需:约 7 分钟

将存储过程迁移到 Amazon Redshift(二)

在 Amazon Redshift 中使用存储过程的最佳实践

以下是一些使用存储过程的最佳实践。

确保已在源代码控制工具中捕获了存储过程。

如果您计划将存储过程用作数据处理的关键元素,那么还需建立一套实践,将所有存储过程更改都提交给源代码控制系统。


您还可以考虑定义特定用户(即重要存储过程的拥有者),并实现存储过程创建和修改过程自动化。


您可以使用以下命令检索现有存储过程的源代码:


SHOW procedure_name;

考虑每个存储过程的安全范围和调用者

默认情况下,存储过程运行需要存储过程调用者用户的权限。使用 SECURITY DEFINER 属性可以让存储过程使用其他权限运行。例如,从重要的表中显式撤消对 DELETE 的访问权限,然后定义一个存储过程。该存储过程用于在检查安全列表后执行删除操作。


使用 SECURITY DEFINER 时,请注意以下事项:


  • 请将用于执行存储过程的 EXECUTE 权限授予特定用户,而非授予 PUBLIC。这样可以确保存储过程不会被一般用户误用。

  • 如果可能,请使用架构名称限制存储过程访问的所有数据库对象。例如,使用 myschema.mytable,而非 mytable

  • 请在使用 SET 选项创建存储过程时设置 search_path。这样可以防止其他架构中的同名对象受到重要存储过程的影响。

使用基于集合的逻辑,避免手动循环大型数据集

在存储过程中操作数据时,请尽可能继续使用基于集合的常规 SQL 命令,例如 INSERTUPDATEDELETE


存储过程提供了新的控制结构,例如 FORWHILE 循环。这些控制结构在迭代少量项目(例如表列表)时很有用。但是,应避免使用循环结构替换基于集合的 SQL 操作。例如,通过迭代数百万个值以逐一更新这些值,这种做法低效且缓慢。

注意 REFCURSOR 限制,使用临时表处理较大的结果集

结果集从存储过程返回时,可以作为 REFCURSOR 返回或者使用临时表返回。 REFCURSOR 是内存中的数据结构,在许多情况下它是最简单的选择。


但是,每个存储过程最多只能有一个 REFCURSOR。有时您需要返回多个结果集,或者与多个子过程的结果进行交互,或者返回数百万(或更多)个结果行。在这些情况下,建议您将结果定向到临时表,并返回对临时表的引用作为存储过程的输出。

简化存储过程,对复杂流程进行嵌套处理

请尝试使每个存储过程的逻辑尽可能简单。通过简化,您可以最大限度地提高灵活性,并使存储过程更加易于理解。


当您优化和改进存储过程的代码时,代码可能会变得复杂化。当遇到冗长而复杂的存储过程时,通常可以简化操作,方法是将子元素移到从原始过程调用的单独过程。

使用 AWS Schema Conversion Tool 迁移存储过程

在 Amazon Redshift 宣布支持存储过程后,AWS 还改进了 AWS Schema Conversion Tool,此工具现可将旧数据仓库存储过程转换为 Amazon Redshift 存储过程。


AWS SCT 现已支持将 Microsoft SQL Server 数据仓库存储过程转换为 Amazon Redshift 存储过程。


版本 627 之后,AWS SCT 现在可以将 Microsoft SQL Server 数据仓库存储过程转换为 Amazon Redshift 存储过程。以下是 AWS SCT 中的操作步骤


  1. 新建一个 OLAP 项目,用于将 SQL Server 数据仓库 (DW) 转换到 Amazon Redshift。

  2. 连接 SQL Server DW 和 Amazon Redshift 终端节点。

  3. 取消选中源树中的所有节点。

  4. 打开架构的上下文菜单(右键菜单)。

  5. 打开存储过程节点的上下文菜单(右键菜单),然后选择转换脚本(操作类似转换数据库对象)。

  6. (可选)您也可以选择查看评估报告并应用转换。


以下是 SQL Server DW 存储过程转换的示例:



小结

Amazon Redshift 存储过程支持功能现已在所有 AWS 区域正式发布。我们希望您和我们一样对于能够在 Amazon Redshift 中运行存储过程感到兴奋。


借助 Amazon Redshift 和 AWS Schema Conversion Tool 对存储过程的支持,您现在可以将存储过程迁移到 Amazon Redshift,无需使用其他语言或框架进行编码。这一功能减少了迁移的工作量。我们希望更多本地客户可以利用 Amazon Redshift 并迁移到云中,以实现数据库自由




作者介绍:


Joe Harris 是 AWS 的高级 Redshift 数据库工程师,专注于 Redshift 性能问题研究他从事各种平台数据分析和数据仓库构建工作已有二十年之久。在加入 AWS 之前,自 2013 年 Redshift 发布时,他就一直是 Redshift 客户,同时也是 Redshift 论坛中的杰出贡献者


Abhinav Singh 是 AWS 的一名数据库工程师。他负责数据库迁移项目的设计和开发工作,并就数据库迁移项目为客户提供指导和技术帮助,助力客户使用 AWS 提高解决方案的价值。


Entong Shen 在 Amazon Redshift 查询处理团队担任高级软件工程师。他从事 MPP 数据库相关工作已 7 年有余,专注于查询优化、统计信息和 SQL 语言功能研究。业余时间,他喜欢听着各种流派的音乐在花园中当一名快乐的园丁。


Vinay 是 Amazon Web Services 的 Amazon Redshift 首席产品经理。此前,他曾在 Teradata 担任过产品部门高级总监,在 Hortonworks 担任过产品总监。在 Hortonworks,他推出了 Data Science、Spark、Zeppelin 和 Security 领域的产品。工作之余,Vinay 喜欢做瑜伽或外出远足。


**



Sushim Mitra 是 Amazon Redshift 查询处理团队的一名软件开发工程师。**他主要负责处理查询优化问题、SQL 语言功能和数据库安全性。工作之余,他喜欢阅读世界各地的小说。


本文转载自 AWS 技术博客。


原文链接:https://amazonaws-china.com/cn/blogs/china/big-data-bringing-your-stored-procedures-to-amazon-redshift/


2020-01-02 14:43827

评论

发布
暂无评论
发现更多内容

生成式AI:引领未来文案创作新潮流

百度开发者中心

#人工智能 生成式AI 文心一言

如何给application.yml文件的敏感信息加密?

java易二三

Java 编程 程序员 计算机 科技

制造执行系统(MES)在家具行业中的应用

万界星空科技

开源 MES系统 智能家居

流程图&时序图绘制小tips

得物技术

流程图 UML 画图 企业号 8 月 PK 榜

生成式AI:改变未来的创新力量

百度开发者中心

#人工智能 ChatGPT 生成式AI 文心一言

Elasticsearch Mapping类型修改 | 京东云技术团队

京东科技开发者

数据库 elasticsearch 企业号 8 月 PK 榜 Mapping

设计模式-适配器模式

java易二三

Java 程序员 计算机

度加剪辑App的MMKV应用优化实践

百度Geek说

性能优化 移动开发 企业号 8 月 PK 榜 IO优化

阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

阿里云大数据AI技术

再升级!PP-OCRv4多场景平均精度提升5%!

飞桨PaddlePaddle

人工智能 paddle OCR 百度飞桨

写得了代码,焊得了板!嵌入式开发工程师必修之代码管理方案(中)

极狐GitLab

git gitlab conan Git-Repo 多仓管理

【实践篇】DDD脚手架及编码规范 | 京东云技术团队

京东科技开发者

DDD 软件架构 脚手架 企业号 8 月 PK 榜 DDD脚手架

DR531|QCA9531 Wi-Fi routerboard 2X2 802.11n 2.4G MIMO

wallyslilly

创建web应用程序,React和Vue怎么选?

没有用户名丶

月活近千万,连续365天无故障:货拉拉怎么做稳定性指标度量?

TakinTalks稳定性社区

蚂蚁 SOFAServerless 微服务新架构的探索与实践

SOFAStack

Serverless 微服务 开发 应用架构

生成式AI将重塑中国云产业

百度开发者中心

智能云 ChatGPT 生成式AI 文心一言

生成式AI革新传媒互联网行业

百度开发者中心

媒体 传媒 #人工智能 ChatGPT 文心一言

生成式AI技术的应用与发展

百度开发者中心

自然语言处理 #人工智能 ChatGPT 文心一言

极狐GitLab 价值流管理之「总时间图」使用指南

极狐GitLab

DevOps gitlab 软件研发 价值流 时间图表

中国图数据库,领导者!

华为云开发者联盟

人工智能 华为云 科技 华为云开发者联盟 企业号 8 月 PK 榜

uniapp中解析markdown支持网页和小程序

南城FE

JavaScript 小程序 前端 markdown

龙蜥社区标准化SIG举行线下社区标准研讨会,助力开源社区规范发展

OpenAnolis小助手

操作系统 龙蜥社区 硬件兼容性 质量测试 标准化 SIG

HarmonyOS元服务开发实践:桌面卡片字典

HarmonyOS开发者

HarmonyOS

超越边界:FaaS 的应用实践和未来展望

SOFAStack

Serverless 架构 开发 Faas 函数

鹏云网络入选中国信通院《高质量数字化转型产品及服务全景图(2023)》

鹏云网络

数字化转型 云服务 分布式存储 信通院 分布式块存储

浏览器缓存清理软件Cookie mac激活版

mac

Cookie 苹果mac Windows软件 隐私保护软件

适用于各阶段Java程序员的面试备战/避坑指南

程序员小毕

Java 程序员 架构师 java面试 八股文

K8S集群中使用JDOS KMS服务对敏感数据安全加密 | 京东云技术团队

京东科技开发者

数据安全 数据加密 k8s集群 企业号 8 月 PK 榜 KMS

我是如何使用Spring Retry减少1000 行代码

小小怪下士

Java spring 程序员

直播app源码,会话描述协议SDP:高质量平台服务

山东布谷科技

软件开发 数据传输 直播APP源码 sdp 会话描述协议

将存储过程迁移到 Amazon Redshift(二)_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章