QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Flink SQL 原理及使用入门

  • 2020-03-29
  • 本文字数:2470 字

    阅读完需:约 8 分钟

Flink SQL 原理及使用入门

大数据以离线计算居多,大数据越实时越有价值。数据价值最大化的有效方式就是通过实时流计算技术(Flink/Spark 等)快速把计算结果反馈给用户,提高转化率,保证线下产品的正常运行。而 SQL 是通用语言,容易上手,下面就介绍下 Flink SQL 基本能力。

1. Get Started

Flink SQL 是 Flink 高层 API,语法遵循 ANSI SQL 标准。示例如下


SELECT car_id, MAX(speed), COUNT(speed)FROM drive_dataWHERE speed > 90GROUP BY TUMBLE (proctime, INTERVAL '30' SECOND), car_id
复制代码


Flink SQL 是在 Flink Table API 的基础上发展起来的,与上述示例对应的 Table API 示例如下


table.where('speed > 90)  .window(Tumble over 30.second on 'proctime as 'w)  .groupBy('w, 'car_id)  .select('car_id, 'speed.max, 'speed.count)
复制代码


上述示例使用 Scala 代码,结合隐式转换和中缀表示等 Scala 语法,Table API 代码看起来非常接近 SQL 表达。

2. 架构原理

老版本的 Table API 通过类似链式调用的写法,构造一棵 Table Operator 树,并对各个树节点做代码生成,转化成 Flink 低层 API 调用代码,即 DataStream/DataSet API。


从 2016 年开始,开源社区已经有大量 SQL-on-Hadoop 的成熟解决方案,包括 Apache Hive、Apache Impala、Apache Drill 等等,都依赖 Apache Calcite 提供的 SQL 解析优化能力,Apache Calcite 当时已经是一个非常流行的业界标准 SQL 解析和优化框架。于此同时,随着在实时分析领域中 Flink 的应用场景增加,对 SQL API 的呼声渐高,于是社区开始在 Apache Calcite 的基础上构建新版本的 Table API,并增加 SQL API 支持。



新版本的 Table & SQL API 在原有的 Table API 基础上,由 Calcite 提供 SQL 解析和优化能力,将 Table API 调用和 SQL 查询统一转换成 Calcite 逻辑执行计划(Calcite RelNode 树),并对此进行优化和代码生成,最终同样转化成 Flink DataStream/DataSet API 调用代码。

3. DDL & DML

完整的 SQL 语法由 DDL(data definition language)和 DML(data manipulation language)两部分组成。Flink SQL 目前只支持 DML 语法,而包含数据流定义的 DDL 语法仍需通过代码实现。


国内各大公有云厂商中,华为云和阿里云都提供了基于 Flink SQL 的实时流计算服务,各自定义了一套 DDL 语法,语法大同小异。以华为云为例,数据流定义以CREATE STREAM为关键字,具体的 DDL 写法示例如下


CREATE SOURCE STREAM driver_behavior (car_id STRING, speed INT, collect_time LONG)WITH (  type = "kafka",  kafka_bootstrap_servers = "10.10.10.10:3456,10.10.10.20:3456",  kafka_group_id = "group1",  kafka_topic = "topic1",  encode = "csv",  field_delimiter = ",") TIMESTAMP BY collect_time.ROWTIME;
CREATE SINK STREAM over_speed_warning (message STRING)WITH ( type = "smn", region = "cn-north-1", topic_urn = "urn:smn:cn-north-1:38834633fd6f4bae813031b5985dbdea:warning", message_subject = "title", message_column = "message");
复制代码


DDL 中包含输入数据流和输出数据流定义,描述实时流计算的数据上下游生态组件,在上述例子中,输入流(SOURCE STREAM)类型是 Kafka,WITH子句描述了 Kafka 消费者相关配置。输出流(SINK STREAM)类型是 SMN,是华为云消息通知服务的缩写,用于短信和邮件通知。


数据从 Kafka 流入,向 SMN 服务流出,而中间的数据处理逻辑由 DML 实现,具体的 DML 写法示例如下


INSERT INTO over_speed_warningSELECT "your car speed (" || CAST(speed as CHAR(20)) || ") exceeds the maximum speed."FROM (  SELECT car_id, MAX(speed) AS speed, COUNT(speed) AS overspeed_count  FROM driver_behavior  WHERE speed > 90  GROUP BY TUMBLE (collect_time, INTERVAL '30' SECOND), car_id)WHERE overspeed_count >= 3;
复制代码


以上 DML 语句,描述了在 30 秒内车辆累计超速三次时,向作为输出流的下游 SMN 组件输出告警消息。DML 语句中INSERT INTO关键字后紧接着输出流名,而FROM关键字后紧接着输入流名,SELECT 子句表达输出的内容,WHERE子句表达输出需要满足的过滤条件。上述例子使用到了 SQL 子查询,外层FROM后跟着一整个SELECT子句,为了方便理解,我们也可以把子查询语法转化成等价的临时流定义表达,在华为云实时流计算服务的 DDL 语法中支持了这种特性,与上述 DML 写法等价的示例如下


CREATE TEMP STREAM over_speed_info (car_id STRING, speed INT, overspeed_count INT);
INSERT INTO over_speed_infoSELECT car_id, MAX(speed) AS speed, COUNT(speed) AS overspeed_countFROM driver_behaviorWHERE speed > 90GROUP BY TUMBLE (collect_time, INTERVAL '30' SECOND), car_id;
INSERT INTO over_speed_warningSELECT "your car speed (" || CAST(speed as CHAR(20)) || ") exceeds the maximum speed."FROM over_speed_infoWHERE overspeed_count >= 3;
复制代码


通过TEMP STREAM 语法定义临时流,可以将带有子查询的 SQL 语法平铺表达,串接数据流逻辑,更容易理解。

4. 语法

Flink SQL 的核心部分是 DML 语法,基础的 DML 语法包含笛卡尔积(单表情况下只有 Scan 操作)、选择(Filter)和投影(Projection)三个数据操作部分,三者分别对应FROM子句、WHERE 子句和SELECT子句,这三个部分的顺序代表了 DML 语句的逻辑执行顺序。较为进阶的语法包含聚合、窗口和连接(JOIN)等常用语法,以及排序、限制和集合等非常用语法。下表简单列举 Flink SQL 基础和常用的进阶 DML 语法句式并加以说明,其他语法元素和内建函数等详细内容,可参考Flink SQL文档


  • 基础语法

  • 聚合语法



  • 连接语法


5. 场景

目前 Flink SQL 的应用广泛,可以用在 IoT、车联网、智慧城市、日志分析、ETL、实时大屏、实时告警、实时推荐等等。在 IoT 和车联网等行业对 Flink 有更高的要求,如时间地理函数、CEP SQL、StreamingML 等,各个云厂商都有不同程度的实现,华为云实时流计算在这方面特性最为丰富。


本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/au-X4obr31ivTuZpuVdlMA


2020-03-29 19:513664

评论

发布
暂无评论
发现更多内容

记一次多个Java Agent同时使用的类增强冲突问题及分析

华为云开发者联盟

开发 华为云 企业号十月 PK 榜

Hexo框架+Github 搭建免费静态博客教程(一)

程序员余白

Hexo Github' 博客搭建 11月月更

“工程化”对于大型数据平台而言,意味着什么?新一届StartDT Hackathon来了

奇点云

数据平台 奇点云

什么是入侵检测系统?有哪些分类?

wljslmz

网络安全 11月月更 入侵检测 IDS

butterfly美化日记(一)

程序员余白

Hexo butterfly 博客配置 11月月更

管控内部威胁,数据如何安全使用?

极盾科技

数据安全

月日均AUM提升40倍!看这家银行如何做好网金客群分层经营?

索信达控股

科技 客户分群 网金客群

Java面试题解析:如何使用ReentrantLock的条件变量,让多个线程顺序执行?

千锋IT教育

华为阅读年度会员4折,万元好礼抢先看

叶落便知秋

Karmada大规模测试报告发布:突破100倍集群规模

华为云开发者联盟

云计算 云原生 华为云 企业号十月 PK 榜

【kafka思考】最小成本的扩缩容副本设计方案

石臻臻的杂货铺

kafka 11月月更

RocketMQ 在同程旅行的落地实践

Apache RocketMQ

消息队列 Apache RocketMQ

文档管理系统平台:实现文档管理现代化

Baklib

大咖分享 | 如何构建 Alluxio 审计日志分析系统

Alluxio

分布式 Alluxio 大数据 开源 数据编排 审计日志

MSE 结合 Dragonwell,让 Java Agent 更好用

阿里巴巴云原生

阿里云 微服务 云原生

无脚本自动化测试

FunTester

网易云信 toB 质量保障体系实践

网易云信

质量保障 PaaS平台

鱼传科技:函数计算,只要用上就会觉得香

阿里巴巴云原生

阿里云 云原生 函数计算

如何解决产品知识培训问题?

Baklib

钉钉全栈化实践总结-前端篇

阿里技术

前端 钉钉 全栈

复杂A/B实验如何设计?火山引擎DataTester帮你落地!

字节跳动数据平台

大数据 数据 火山引擎 A/B测试

5款宝藏办公软件,高质量打工人必备!

淋雨

OCR 办公软件 IDM

最佳实践|用腾讯云AI图像能力实现AI作画

牵着蜗牛去散步

腾讯云 腾讯 AI

区块链DAPP开发成本差别如此之大?深圳区块链公司告诉你

W13902449729

dapp dapp开发 区块链开发

深圳区块链DAPP程序开发未来发展简介

W13902449729

dapp开发

【网易云信】网易云信 toB 质量保障体系实践

网易智企

质量保障 PaaS平台

云原生时代数据库技术趋势与场景选型

OceanBase 数据库

Hexo+Github搭建个人博客教程(二)

程序员余白

Hexo 博客搭建 11月月更

快速实现无人车远程控制开发——实践类

阿里云AIoT

阿里云 物联网 远程控制

腾讯蓝鲸 API 网关如何借助 APISIX 实现产品升级与业务完善

API7.ai 技术团队

云原生 API网关 APISIX 客户案例

是谁的请求导致我的系统一直抛异常?

阿里巴巴云原生

阿里云 微服务 云原生

Flink SQL 原理及使用入门_语言 & 开发_华为云产品与解决方案_InfoQ精选文章