写点什么

Flink SQL:使用标准的 ANSI SQL 驱动大数据流计算

  • 2019-09-14
  • 本文字数:956 字

    阅读完需:约 3 分钟

Flink SQL:使用标准的ANSI SQL驱动大数据流计算

ArchSummit深圳2018大会上,王绍翾(大沙)讲师做了《Flink SQL:使用标准的 ANSI SQL 驱动大数据流计算》主题演讲,主要内容如下。


演讲简介


近些年随着大数据技术的不断发展和成熟,无论是传统企业还是互联网公司都已经不再仅仅满足于批处理,对流处理的场景和需求也越来越强烈。SQL 是大数据处理中使用最广泛的语言。它允许用户简明扼要地声明他们的业务逻辑。数据分析师通常没有复杂的软件编程背景,但他们可以使用 SQL 来分析数据并为业务决策提供支持。


在流计算领域,除了 Flink 之外,其他一些流处理框架(如 Kafka 和 Spark Structure Streaming)也具有类似于 SQL 的 DSL,但它们与 Flink 的语义不同。Flink 的 SQL 完全遵循 ANSI SQL 标准,而 Spark 和 Kafka 提供的 DSL 都是非 ANSI SQL 标准的。本次分享将介绍遵循 ANSI SQL 标准的好处,以及 Flink SQL 是如何实现这一目标。阿里巴巴的核心业务现在完全由数据处理引擎 Blink 驱动,它是一款阿里巴巴实时计算部基于 Apache Flink 改进的项目。阿里内部几乎所有的 Blink 作业都是由 Flink SQL 编写的。本次分享也将介绍 Flink SQL 在阿里内部的大规模应用的场景和经验。

演讲提纲

  • 背景介绍

  • 使用 SQL 做大数据实时计算有哪些好处

  • Flink SQL 原理

  • Flink SQL 功能介绍

  • Flink SQL 在阿里的大规模应用

  • 未来展望


讲师介绍


王绍翾(大沙)


阿里巴巴 计算平台事业部高级技术专家


王绍翾,淘宝花名"大沙",加州大学圣迭戈分校计算机工程的博士,2015 年加入阿里巴巴集团,目前就职于阿里巴巴计算平台事业部。加入阿里之前,曾在 Facebook 开发分布式图关系数据库 TAO。


加入阿里之后,王绍翾一直从事阿里新一代实时计算平台 Blink 的研发工作。早期负责搜索事业部的离线大数据处理,利用半年的时间带领团队将阿里淘宝天猫的搜索离线数据处理的计算全部迁移到了 Blink 计算平台之上。之后负责 Blink 计算平台的查询和优化。用了半年多的时间,打造了一套功能完备高性能的实时计算 Flink SQL,并成功的将阿里的实时计算机器学习平台整体的迁移到这套 API 之上。阿里将 Flink SQL 的代码几乎全部推回了 Apache Flink 社区。王绍翾是 Apache flink 的 committer,除了自己,他在团队内部还培养出另外两位 apache flink committer。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 17:021090

评论

发布
暂无评论
发现更多内容

[架构实战营] 模块八作业

Geek_0ed632

「架构实战营」

要重复阅读的一个原因:思维模型驱动学习的过程

panda

思维模型 阅读

如何阻止软件退化?

蜜糖的代码注释

Java 后端开发 项目实践 2月月更

Netflix是如何做决策的? | 5. 在做决定时建立信心

俞凡

数据分析 netflix 大厂实践 2月月更

在线标准程序员计算器

入门小站

工具

AI,机器人和元宇宙(9/100)

hackstoic

元宇宙

守护石谈学习Java之路

DaemonStone

Java 学习方法 经验分享 编程学习

计算机视觉算法探究:OpenCV CLAHE算法详解| 社区征文

老猿Python

AI 算法 计算机视觉 新春征文 CLAHE

JavaScript 数组常见操作 (二)

编程三昧

JavaScript 前端 2月月更

团队开周会的目的:保证有效的协同效应和构建PDCA循环

panda

管理 PDCA 周会 协同效应

Netflix是如何做决策的? | 4. A/B测试结果之假阴性和统计功效

俞凡

数据分析 netflix 大厂实践 2月月更

一条SQL更新语句是如何执行的?

蝉沐风

MySQL MySQL InnoDB

架构实战训练营-模块9-作业

温安适

「架构实战营」

M3U8 视频封装格式的深度解析 | 社区征文

liuzhen007

音视频 新春征文 2月月更

JVM进阶(六):鲜为人知的二次标记

No Silver Bullet

JVM 日志分析 2月月更 二次标记

图解MySQL(5)-Buffer Pool的flush链表

JavaEdge

2月月更

JVM进阶(三):内存分配与回收策略

No Silver Bullet

Java JVM 内存分配 2月月更

架构训练营 week9 课程总结

红莲疾风

「架构实战营」

JVM进阶(五):JAVA GC 之标记

No Silver Bullet

JVM 2月月更 标记 MAT

JavaScript 数组常见操作(一)

编程三昧

JavaScript 前端开发 数组操作 2月月更

如何写出格式清晰的代码

蜜糖的代码注释

Java 2月月更

Netflix是如何做决策的? | 6. 实验是数据科学的主要关注点

俞凡

数据分析 netflix 大厂实践 2月月更

2021考了个PMP

夏兮。

PMP Certification

【初探云原生】服务注册中心对比总结

路上的小崔哥

微服务 云原生 注册中心

Linux之top命令

入门小站

Linux

JVM进阶(八):Stop The World

No Silver Bullet

JVM STW 2月月更

对 HTTP 缓存的全面总结

编程三昧

缓存 前端开发 HTTP 2月月更

JVM进阶(二):初识 JAVA 堆

No Silver Bullet

Java JVM 内存 2月月更

DeepMind公司最新ai技术参加Codeforces击败大部分选手

你?

URL中的空格、加号究竟应该使用何种方式编码

Gopher指北

HTTP url Go 语言

视频绿幕抠像一键搞定,这些好用工具你要知道。

彭宏豪95

效率 工具 视频剪辑

Flink SQL:使用标准的ANSI SQL驱动大数据流计算_ArchSummit_王绍翾(大沙)_InfoQ精选文章