写点什么

使用 PolyBase 将 SQL Server 与 Hadoop 相结合

  • 2016-06-07
  • 本文字数:700 字

    阅读完需:约 2 分钟

最近发布的 SQL Server 2016 让开发人员可以使用 SQL 查询 Hadoop 和 Azure blob 存储。这是一项之前在 SQL Server 并行数据仓库中提供的技术,名为 PolyBase

和链接服务器一样,PolyBase 会设法将尽量多的处理工作转移到源数据库。也就是说,当查询 Hadoop 或 Azure blob 存储时,会生成恰当的 map/reduce 操作。这就是所谓的“下推(pushdown)”,下面是一些开发人员需要了解的下推限制:

SQL Server 允许对以下基本表达式和操作符做谓词下推:

  • 用于数值、日期、时间值的二元比较操作符(<、>、=、!=、<>、>=、<=);
  • 算术运算符( +、-、*、/、%);
  • 逻辑运算符(AND、OR);
  • 一元运算符(NOT、IS NULL、IS NOT NULL)。

文档接着写到:

BETWEEN、NOT、IN 和 LIKE 操作符可能也可以下推。这取决于查询优化器如何将它们改写为一系列使用基本关系运算符的语句。

下推可以通过 OPTION (FORCE EXTERNALPUSHDOWN) 显式启用,或通过 OPTION (DISABLE EXTERNALPUSHDOWN) 显式禁用。

将关系型和非关系型数据相结合

由于 PolyBase 是基于普通的 T-SQL,所以开发人员可以使用像连接这样的常见操作。这意味着,你可以在 Hadoop 集群中执行 map-reduce 操作,然后在一个查询中将执行结果和 SQL Server 数据库的表相连接。

导入 / 导出

在 SQL Server、Hadoop 和 Azure blob 存储之间移动数据不再需要外部的 ETL 过程或工具。相反,你可以像操作任意两个普通表一样,使用相同的 INSERT INTO/SELECT FROM 语法。从开发人员的角度来看,Hadoop 和 Azure blob 存储只是配置数据库时多出来的两个可供选择的表类型。(从运维的角度来看,你仍然需要分别管理安全和备份。)

查看英文原文 Combine SQL Server with Hadoop Using PolyBase

2016-06-07 19:002408
用户头像

发布了 1008 篇内容, 共 389.4 次阅读, 收获喜欢 344 次。

关注

评论

发布
暂无评论
发现更多内容

数字中国下西洋,需要一支怎样的船队?

白洞计划

AI 网易 风控

苹果电脑专业图表绘制推荐OmniGraffle Pro 正式版激活中文

胖墩儿不胖y

Mac软件 绘图软件 绘图工具

轻量应用服务器,助力个人开发者最低成本创业

YG科技

英伟达,不能只做孤独的胜利者

自象限

PDF 批量处理软件 BatchOutput PDF激活最新版

mac大玩家j

PDF Mac软件 pdf处理工具

别学提示词:42类法大师 - 万字精华浓缩

豆哥

ChatGPT 提示词

工业自动化:国内外常用工业组态软件

2D3D前端可视化开发

物联网 工业自动化 工业控制系统 工业组态软件 组态工具

视频剪辑中生成花字特效的代码案例详述

阿里云视频云

云计算 阿里云 视频云

Python 中的数字类型与转换技巧

小万哥

Python 程序员 软件 后端 开发

为什么自动化测试要分层

老张

自动化测试

“00后”整顿职场,终于轮到网安圈了

脑极体

数据湖

蓝易云:linux搭建sftp服务器教程!

百度搜索:蓝易云

云计算 Linux 运维 云服务器 sftp

蓝易云:Linux 命令 - cat 和 tail

百度搜索:蓝易云

云计算 Linux 运维 cat tail

一文了解常见的Python爬虫框架Scrapy

TiAmo

python 爬虫 Scrapy

私藏管理秘诀帮你打造高绩效团队

敏捷开发

团队管理 项目管理 Scrum 敏捷开发 高绩效团队

华为云API Explorer重磅推出API编排,开发者0代码高效构建工作流(体验用户招募中)

华为云PaaS服务小智

云计算 软件开发 华为云

腾讯Java后端社招三面,差点就挂了!

程序员小毕

Java 程序员 面试 程序人生 架构师

大道总是孤独的——查理芒格如是说

少油少糖八分饱

投资 长期主义 能力圈 查理芒格 股东大会

close()关闭文件方法

梦笔生花

华为云耀云服务器L实例:带你探索轻量应用服务器的魅力

YG科技

人工智能核心基础 - 规划和概要

茶桁

人工智能 机器学习 深度学习 CNN RNN

英文版Premiere Pro怎么切换成中文?「Mac篇」

展初云

教程分享 Mac软件 Premiere Pro

Mac版本After Effects 2023怎么切换中英文UI界面

展初云

教程 Mac软件 After Effects

支持向量机(SVM)

小魏写代码

TinyEngine 低代码引擎到底是什么?

英勇无比的消炎药

开源 前端 低代码

华为智慧屏,吹尽狂沙始到金

脑极体

AI智慧屏

使用PolyBase将SQL Server与Hadoop相结合_AI&大模型_Jonathan Allen_InfoQ精选文章