写点什么

Apache Flink 实现的数据流体系结构

  • 2016-06-12
  • 本文字数:804 字

    阅读完需:约 3 分钟

data Artisans 应用程序工程总监 Jamie Grier 最近在 OSCON 2016 Conference 大会发言谈到了使用 Apache Flink 构建的一种数据流体系结构。同时还谈到了数据流应用程序的构建块。

数据流体系结构可用于处理随着时间流逝以事件流方式持续生成的数据,这一点不同于传统的静态数据集。相对于传统的集中式“状态化”数据库和数据仓库,数据流应用程序可以处理事件流以及针对历史事件汇总而来的应用程序本地状态。流式数据处理的一些优势包括:

  • 降低从信号到决策的过程延迟
  • 通过统一的方式处理实时和历史数据
  • Time travel 查询

Apache Flink 是一种开源的分布式流化和批量化数据处理平台。Flink 的诞生受到了 Google Data Flow 模型的启发,可支持 Java 和 Scala 语言开发的 Stream Processing API。相比其他流式数据处理框架,Flink 中不存在微批量(Micro batching)数据,而是使用了一种“一次一条消息”的流处理技术。

Jamie 介绍了状态流处理并展示了 Flink 应用程序的代码范例,以及使用开源时序数据库和 Graphana 可视化工具 Influxdb 进行监控的方法。

同时他还介绍了流处理过程中窗口(Windowing)的概念以及处理时间(Processing Time)和事件时间(Event Time)的窗口概念。处理时间的窗口会对流数据的分析产生影响,并会导致数据处理过程中出现某些错误。在事件时间方法中,窗口来自于数据,而非时钟时间。对于事件时间,可通过数据嵌入的时间戳对数据进行处理,这样即可获得更精确的结果。

Jamie 还介绍了在应用程序中使用 Flink 时的错误处理和容错机制。Flink 中的 Savepoints 功能可在不丢失任何状态的情况下对程序和 Flink 集群进行更新。如果要对实时数据进行流处理,此时 Savepoints 数据快照会显得非常重要。

如果你想详细了解 Apache Flink,可访问他们的网站。此外 Flink Forward 2016 Conference 活动将于九月在柏林召开,提交提案的截止日期为2016 年6 月30 日。

查看英文原文 Data Streaming Architecture with Apache Flink

2016-06-12 19:002681
用户头像

发布了 283 篇内容, 共 106.7 次阅读, 收获喜欢 62 次。

关注

评论

发布
暂无评论
发现更多内容

Java线上惨痛踩坑记录,你也一定遇到过

一灯架构

Java java面试 10月月更

大数据ELK(十二):Elasticsearch编程(环境准备)

Lansonli

ES 10月月更

React的useLayoutEffect和useEffect执行时机有什么不同

beifeng1996

React

Vue响应式依赖收集原理分析-vue高级必备

yyds2026

Vue

js进阶手写常见函数

hellocoder2029

Vue

存储优化--查询分离

喵叔

10月月更

微服务标准化

穿过生命散发芬芳

微服务 10月月更

架构师的十八般武艺

agnostic

构架师

你是怎样解决跨域问题的?-面试必问

loveX001

JavaScript

Node.js实现大文件断点续传

coder2028

node.js

网络爬虫与http+ssl(1)

张立梵

Python. 爬虫必备知识讲解 10月月更

Vue实战必会的几个技巧

yyds2026

Vue

Python应用之阿姆斯特朗数

梦笔生花

Python语法 10月月更 阿姆斯特朗数

js函数式编程讲解

hellocoder2029

JavaScript

【深度讲解系列】SpringBoot入门

Geek_65222d

10月月更

React循环DOM时为什么需要添加key

beifeng1996

React

变量使用范围

理想何止三旬

变量

环形链表 II

掘金安东尼

算法 10月月更

深入理解Node.js的进程与子进程

coder2028

node.js

Vue3入门指北(七)事件处理

Augus

Vue3 10月月更

webpack配置优化,让你的构建速度飞起

Geek_02d948

webpack

数据产品经理实战-项目管理

第519区

项目管理 数据产品经理

从输入URL到渲染的过程中到底发生了什么?

loveX001

JavaScript

2022-10-03:给定一个正数n,比如6 表示数轴上有 0,1,2,3,4,5,6 <0 或者 >6 的位置认为无法到达 给定两个数字x和y,0<= x,y <= n 表示小人一开始在x的位置,它

福大大架构师每日一题

算法 rust 福大大

Goland嗖嗖的: 快捷键,自动生成代码等效率小技巧

琦彦

Go goland 10月月更 live template

基于kube-scheduler-simulator编写自己的调度程序

琦彦

k8s 调度 kube-scheduler 10月月更

webpack配置完全指南

Geek_02d948

webpack

MFC|双缓存绘图机制

中国好公民st

c++ qt 10月月更

【一Go到底】第三天---变量的使用

指剑

Go golang 10月月更

【愚公系列】2022年10月 Go教学课程 017-分支结构之IF

愚公搬代码

10月月更

分享Go书籍-《Go Web编程》

沙漠尽头的狼

Apache Flink实现的数据流体系结构_语言 & 开发_Srini Penchikala_InfoQ精选文章