写点什么

使用 PolyBase 将 SQL Server 与 Hadoop 相结合

  • 2016-06-07
  • 本文字数:700 字

    阅读完需:约 2 分钟

最近发布的 SQL Server 2016 让开发人员可以使用 SQL 查询 Hadoop 和 Azure blob 存储。这是一项之前在 SQL Server 并行数据仓库中提供的技术,名为 PolyBase

和链接服务器一样,PolyBase 会设法将尽量多的处理工作转移到源数据库。也就是说,当查询 Hadoop 或 Azure blob 存储时,会生成恰当的 map/reduce 操作。这就是所谓的“下推(pushdown)”,下面是一些开发人员需要了解的下推限制:

SQL Server 允许对以下基本表达式和操作符做谓词下推:

  • 用于数值、日期、时间值的二元比较操作符(<、>、=、!=、<>、>=、<=);
  • 算术运算符( +、-、*、/、%);
  • 逻辑运算符(AND、OR);
  • 一元运算符(NOT、IS NULL、IS NOT NULL)。

文档接着写到:

BETWEEN、NOT、IN 和 LIKE 操作符可能也可以下推。这取决于查询优化器如何将它们改写为一系列使用基本关系运算符的语句。

下推可以通过 OPTION (FORCE EXTERNALPUSHDOWN) 显式启用,或通过 OPTION (DISABLE EXTERNALPUSHDOWN) 显式禁用。

将关系型和非关系型数据相结合

由于 PolyBase 是基于普通的 T-SQL,所以开发人员可以使用像连接这样的常见操作。这意味着,你可以在 Hadoop 集群中执行 map-reduce 操作,然后在一个查询中将执行结果和 SQL Server 数据库的表相连接。

导入 / 导出

在 SQL Server、Hadoop 和 Azure blob 存储之间移动数据不再需要外部的 ETL 过程或工具。相反,你可以像操作任意两个普通表一样,使用相同的 INSERT INTO/SELECT FROM 语法。从开发人员的角度来看,Hadoop 和 Azure blob 存储只是配置数据库时多出来的两个可供选择的表类型。(从运维的角度来看,你仍然需要分别管理安全和备份。)

查看英文原文 Combine SQL Server with Hadoop Using PolyBase

2016-06-07 19:002390
用户头像

发布了 1008 篇内容, 共 388.0 次阅读, 收获喜欢 344 次。

关注

评论

发布
暂无评论
发现更多内容

大模型时代数据库技术创新

百度Geek说

数据库 企业号2024年7月PK榜

手工转测试开发成功秘籍揭秘:从裁员到入职18k+,收获4个Offer,道阻且长不怯步

霍格沃兹测试开发学社

硬核解读,WeTune是如何提升数据库查询重写性能?

华为云开发者联盟

数据库 华为云 华为云GaussDB 华为云开发者联盟 企业号2024年7月PK榜

油猴Safari浏览器插件:Tampermonkey for Mac 下载

你的猪会飞吗

mac软件下载 浏览器脚本插件

Proxyman Premium for Mac(网络调试和分析工具)v5.5.0版

Mac相关知识分享

网络调试 抓包分析工具

Disruptor在撮合引擎的实践|得物技术

得物技术

Java Disruptor 高性能 技术分享 企业号2024年7月PK榜

Llama-2 vs. Llama-3:利用微型基准测试(井字游戏)评估大模型

Baihai IDP

程序员 AI LLMs 大模型评估 企业号 7 月 PK 榜

数据库的连接、创建会话与模型

EquatorCoco

Python 数据库 sql

快手开源 I2V-Adapter,即插即用、轻量级模块让静态图像秒变动态视频

快手技术

SPL-404:如何彻底改变Solana上的NFT与DeFi

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

数据特征采样在 MySQL 同步一致性校验中的实践

vivo互联网技术

MySQL 数据传输 端对端一致性校验 数据流校验

Ample Sound Ample Guitar SJ for mac(原声吉他插件)v3.7.0版

Mac相关知识分享

吉他模拟插件

字节跳动基于TrafficRoute DNS的超千亿级调度解析优化实践

火山引擎边缘云

DNS Tr IP 路由

天工一刻 | 一文看懂小模型与端侧模型

新消费日报

现代女性心理健康:数业智能心大陆解读应对策略

心大陆多智能体

人工智能 智能体 AI大模型 心理健康 数字心理

基于心大陆AI大语言模型的多智能体应用

心大陆多智能体

人工智能 智能体 AI大模型 心理健康 数字心理

mac鼠标键盘共享:ShareMouse for Mac 激活版

你的猪会飞吗

Mac软件下载站

分享一次海量数据平滑迁移实战

京东零售技术

大数据 企业号2024年7月PK榜

一图看懂华为云CodeArts API 7大特性,带你玩转一站式API

华为云开发者联盟

软件开发 API 华为云 华为云开发者联盟 企业号2024年7月PK榜

从裁员到入职18k+,收获4个Offer,道阻且长不怯步

测试人

软件测试

半个月6次面试,终于进百度HR面了

王中阳Go

Go 百度 面试 面经

如何有效提升 API 接口的安全性?

左诗右码

后端

堡垒机试用选哪家?可以试用多久?咨询电话多少?

行云管家

网络安全 堡垒机 堡垒机试用

Live Home 3D Pro for mac(3D家庭室内设计工具)v4.9.2版

Mac相关知识分享

室内设计软件

BetterDisplay Pro Mac(显示器管理工具)v2.0.11版

Mac相关知识分享

Mac软件

福利来了!MoneyPrinterPlus可以自动配置环境和自动运行了

程序那些事

工具 程序那些事 AIGC MoneyPrinterPlus

原厂商是什么意思?云管平台原厂商有哪些企业?

行云管家

云计算 云管平台 原厂商

LED透明屏幕引领传媒新趋势

Dylan

技术 品牌 LED显示屏 led显示屏厂家 市场

测试人生 | 手工转测试开发成功秘籍揭秘:从裁员到入职18k+,收获4个Offer,道阻且长不怯步

测吧(北京)科技有限公司

测试

使用PolyBase将SQL Server与Hadoop相结合_AI&大模型_Jonathan Allen_InfoQ精选文章