写点什么

Flink 流批一体的技术架构以及在阿里的实践

  • 2019-08-03
  • 本文字数:619 字

    阅读完需:约 2 分钟

Flink 流批一体的技术架构以及在阿里的实践

在 QCon 北京 2019 大会上,杨克特(鲁尼)讲师做了《Flink 流批一体的技术架构以及在阿里的实践》主题演讲,主要内容如下。


演讲简介


Apache Flink 在诞生之初就确立了使用同一个引擎支持多种计算形态的目标,包括流计算,批处理和机器学习等等。阿里巴巴在选择 Flink 作为新一代大数据引擎时也坚定不移的在贯彻这一目标。在我们的内部版本 Blink 中,我们使用了 SQL 作为流批一体的统一入口,并且在流计算和批处理上都做了大量的优化。流批一体也开始真正的发挥出了价值,在我们的搜索离线数据处理和机器学习平台上均获得了较好的效果。本演讲将分享 Blink 针对流批一体化的场景做了哪些优化,在支持实际业务上碰到了哪些问题,我们又是怎么解决的。

听众受益

  1. 了解 Flink SQL 的技术栈和未来的方向;

  2. 流批一体化如何在业务中产生实际价值;

  3. 流批一体化面临的业务挑战和我们是如何解决的。


讲师介绍


杨克特(鲁尼)


阿里巴巴 高级技术专家


杨克特,阿里花名“鲁尼”,高级技术专家,2011 年于浙江大学硕士毕业。在加入阿里巴巴后,先是从事搜索引擎相关系统的开发,包括搜索引擎后台,新索引的设计和优化,以及调度系统的设计和研发。在转入大数据相关领域后,先后负责过基于 HBase 的实时增量系统,基于 Druid 的 OLAP 分析系统以及 Blink SQL 的优化和开发。在开源领域,杨克特是 Apache Flink 的 Committer,同时也是 Apache Druid (incubating)的 Committer。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019-08-03 08:006712

评论

发布
暂无评论
发现更多内容

青椒云上线《黑神话:悟空》专属游戏云电脑,免安装,即点即用!仅需2.98/h

青椒云云电脑

云电脑 云电脑平台 黑神话悟空

万界星空科技注塑行业MES解决方案

万界星空科技

制造业 mes 万界星空科技 注塑MES 注塑行业

为财务团队合理进行角色分配和技术培训

智达方通

财务管理 财务转型

豆瓣评分9.0!Python3网络爬虫开发实战,堪称教学典范!

我再BUG界嘎嘎乱杀

Python 编程 爬虫 后端 开发语言

2024-08-21:用go语言,给定一个从 0 开始索引的整数数组 nums 和一个整数 k,请设计一个算法来使得数组中的所有元素都大于或等于 k,返回所需的最少操作次数。 每次操作可以执行以下步骤

福大大架构师每日一题

福大大架构师每日一题

云手机解决了TikTok哪些账号运营难题?

Ogcloud

云手机 海外云手机 tiktok云手机 云手机海外版 tiktok运营

【IoTDB 线上小课 06】列式写入=时序数据写入性能“利器”?

Apache IoTDB

三问AI手机:什么意图?怎么识别?何种框架?

脑极体

AI

14 个Spring cache注解:缓存与业务解耦实战(必须收藏)

肖哥弹架构

Java spring 缓存 注解应用

漫谈端到端测试

老张

软件测试 质量保障 端到端 测试方法

揭秘移动IP:为何定位精度多停留在城市级?

郑州埃文科技

IP IP地址

品质更进阶 长安马自达MAZDA EZ-6通关中国“热极”

Geek_2d6073

数据库运维实操优质文章分享(含Oracle、MySQL等) | 2024年7月刊

墨天轮

MySQL 数据库 oracle sql postgresql

云手机在亚马逊店铺运营中能发挥什么作用

Ogcloud

云手机 海外云手机 云手机海外版 亚马逊运营 亚马逊云手机

Cohere 创始人:语音是下一代用户界面;OpenAI 开放 GPT-4o 定制新功能丨 RTE 开发者日报

声网

更快更强,SLS 推出高性能 SPL 日志查询模式

阿里巴巴云原生

阿里云 云原生 日志服务

短视频生成与AI的结合应用,Web/App RPA 智能化应用

霍格沃兹测试开发学社

观测云:千人千面的监控观测平台

观测云

观测云 监控观测

Python Tuples(元组)详解

我再BUG界嘎嘎乱杀

Python 编程 后端 元组 Tuples

《黑神话》火到破纪录,老黄都要到游戏展秀一把:全景光追英伟达独享,同款技术还有20+游戏在路上

Openlab_cosmoplat

AI 游戏

今日分享丨浅谈iGIX并行启动

inBuilder低代码平台

望繁信科技入选2024年第3批上海市高新技术成果转化项目名单

望繁信科技

数字化转型 流程挖掘 高新技术企业 流程智能 数字北极星

企业中使用最多的十大人事资源管理系统盘点

爱吃小舅的鱼

研发团队 人力资源管理

跟着 iLogtail 学习高质量软件建设

阿里巴巴云原生

阿里云 云原生

iLogtail 开源两周年:感恩遇见,畅想未来

阿里巴巴云原生

阿里云 云原生 iLogtail

HarmonyOS地图服务:深度解析其丰富功能与精准导航实力

白晓明

HarmonyOS NEXT Map Kit

Python与区块链:构建简单的加密货币钱包

我再BUG界嘎嘎乱杀

Python 区块链 编程 后端 开发语言

定格精彩瞬间!详解六自由度技术原理及应用

快手技术

视频技术

BRC铭文智能合约系统开发玩法详细丨规则方案丨需求部署

V\TG【ch3nguang】

JimuReport 积木报表 v1.8.0 版本发布

JEECG低代码

Flow Simulator 案例分享:换热器的一维仿真

Altair RapidMiner

人工智能 HPC 仿真 智能制造 altair

Flink 流批一体的技术架构以及在阿里的实践_数据库_杨克特(鲁尼)_InfoQ精选文章