写点什么

系统解读 Kafka 的流和表(一):开篇

  • 2020-02-07
  • 本文字数:2270 字

    阅读完需:约 7 分钟

系统解读Kafka的流和表(一):开篇

这是探索 Kafka 存储层和处理层核心基础系列文章的第一篇。在这篇文章中,我们将总体介绍事件、流、表以及流和表之间的二元性关系。后续的文章将着重探索 Kafka 的存储层,也就是流和表的分布式“文件系统”,然后再介绍位于存储层之上的处理层。


我与很多 Kafka 用户有过交流,他们当中有开发人员、运维人员和架构师,有一些有流式处理或 Kafka 使用经验,有一些精通关系型数据库(如 Oracle 和 MySQL),有一些则两者都不熟悉。不过,他们会问我相同的问题,比如:“事件流和数据库表之间有什么区别?Kafka 的主题跟流是同一种东西吗?如果把数据放在 Kafka 里,如何最大程度地利用它们?”

事件、流、表

我们先从最基本的开始:Kafka 是什么?Kafka 是一个事件流平台,它提供了这三个关键特性:


  1. 发布和订阅事件;

  2. 按需存储事件;

  3. 处理和分析事件。


那么这里所说的事件是什么东西?


事件记录了真实世界“发生了某件事情”。从概念上讲,一个事件包含一个键、一个值和时间戳。事件可以是一个普通的通知,可能不包含额外的信息,也可能包含所有可用于后续处理的细节。例如:


  • 键:“Alice”;

  • 值:“Is currently in Rome”;

  • 时间戳:“Dec. 3, 2019 at 9:06 a.m.”。


事件还可能是这样的:


  • 卖出一件商品;

  • 数据库表的一条记录被更新;

  • 风机传感器测量到叶片每分钟转 14 次;

  • 下棋时发生的一个动作,比如“白方将 e2 位置上的小兵移到 e4 上”;

  • Frank 在 2019 年 11 月 24 晚上 5 点 11 分向 Sally 支付了 200 美元。


事件流平台捕捉事件,将事件形成事件流。事件流按照事件的顺序记录了真实世界发生的历史,例如销售账簿或者象棋比赛时记录的棋子移动顺序。Kafka 的流可以记录几百年的业务历史事件。它们是按顺序排列的事件链,我们可以知道哪个事件是在哪个事件之前或之后发生的。所以,流代表了过去和现在:当时间从今天走向明天,或者从这一毫秒走到下一毫秒,新的事件会持续不断地被追加到历史中。


与事件流不一样,数据库的表代表的是世界在某个时间点的状态,通常是“现在”。例如,商品的总销量或者象棋比赛中棋盘的当前布局。表是事件流的一个视图,在捕捉到新事件时就会更新这个视图。



流记录了历史,表代表的是状态


在 Kafka 里,流和表有很多不一样的地方,其中最突出的一点是它们的内容是否可变(我所说的表是指 Kafka Streams 里的 KTable)。


  • 流提供的是不可变数据。它只支持插入(追加)新的事件,已有的事件不能被修改。流中的数据是持久化的,支持容错。流中的事件包含了键,一个键可以对应多个事件,比如“与 Bob 相关的所有支付事件”。不严格地说,你可以把流看成是关系型数据库里的一张表,只是它没有唯一键约束,而且只能追加记录。

  • 表提供的是可变数据。你可以插入新数据,已有的数据可以被更新或删除。事件的键(也就是数据行的标识)是可变的。与流一样,表也是持久化的,支持容错。现在的表就像是关系型数据库里的物化视图,当输入流发生变化时,它会自动更新,不会让你直接对它执行插入、更新或删除操作。


流和表的二元性

虽然流和表之间有所区别,但也存在非常紧密的联系。我们把它们之间的这种关系叫作流和表的二元性:


  • 我们可以通过一些聚合操作,比如 COUNT()或者 SUM(),将流转成表。在象棋比赛中,我们可以通过重放所有已记录的棋子移动事件来重建棋局的最新状态(也就是表)。

  • 我们也可以通过捕获表的变更事件(插入、更新、删除),把事件汇聚成“变更流”,这样就可以将表转成流。这个过程一般被称为变更数据捕获,简称 CDC(Change Data Capture)。在象棋比赛中,我们可以观察最新的棋子移动,并把它记录下来(加入到流中)。或者,我们也可以比较棋局状态前后的变化,将发生变化的部分记录下来,只是这种方式比前面那种要慢一些。


实际上,表的底层就是变更流。如果你有使用过 Oracle 或 MySQL,就应该知道,这些关系型数据库也存在变更流,只是实现细节被隐藏起来了,它们的名字叫重做日志(redo log)或二进制日志(binary log)。在事件流中,重做日志是一等实体,也就是流。我们可以将流转成表,也可以将表转成流。



因为流和表的二元性,我们可以很容易地将流转成表,或者反过来。


下面的例子使用 COUNT()将流聚合成一个表。为了方便展示,图中没有显示时间戳。随着新的事件不断被加入流中,表被持续更新,与关系型数据库的物化视图类似,只是它每秒钟可以支持数百万个事件。我们可以把这个想象成是对一个表进行 CDC,然后生成一个输出变更流。对一个事件流进行聚合操作则是反过来的:流成了表的输入变更流。


在这个例子中,事件流中事件的键为用户名,值为用户所在位置,事件被持续地聚合成表,并根据键来跟踪用户访问过的位置次数。



将事件流聚合成表


下面是这个例子对应的代码:



我们也可以看到表的输出变更流。变更流对表的变更做出实时响应,以此来生成警报。它也可以被用在运维中,比如将一个表从机器 A 迁移到机器 B 上。



每张表都自己的变更流(也叫变更日志)


在后续的文章中,我们将会继续讨论流和表的二元性,它是 Kafka 弹性伸缩和容错能力的基础!

总结

在这篇文章中,我们了解了事件流平台的基本元素:事件、流和表。我们还介绍了流和表的二元性,以及为什么说二元性是事件流平台(如 Kafka)的核心。当然,这篇文章只是一个开始,在下一篇文章中,我们将深入了解 Kafka 的主题、分区和存储。


原文链接:


https://www.confluent.io/blog/kafka-streams-tables-part-1-event-streaming/


2020-02-07 12:012943
用户头像
蔡芳芳 InfoQ主编

发布了 798 篇内容, 共 548.1 次阅读, 收获喜欢 2787 次。

关注

评论 2 条评论

发布
用户头像
原文的GIF,译文只有静态的图片
2021-10-24 01:02
回复
用户头像
good

2020-06-10 15:30
回复
没有更多了
发现更多内容

综合清理优化工具:MacCleaner 3 Pro 激活中文版

mac大玩家j

Mac软件 清理工具 清理优化软件

Goldie App for Mac(黄金比例设计软件) v2.2永久激活版

mac

苹果mac Windows软件 Goldie App 黄金比例工具

借助工具落地提高外包软件项目代码提交规范

知者如C

ASP.NET Core Web API设置响应输出的Json数据格式的两种方式

EquatorCoco

json 前端 ASP.NET Core .NET 7

云小课|HSS教您如何应对LockBit勒索事件

华为云开发者联盟

云计算 后端 华为云 主机安全 华为云开发者联盟

Mac安装Windows应用的工具CrossOver 23.7

展初云

电脑兼容性会被PC端小程序引擎颠覆吗?

Geek_2305a8

办公软件定制开发在企业发展中的优势

Geek_16d138

APP软件开发 软件定制

99%的人不知道的Docker干货

伤感汤姆布利柏

Docker 程序员 低代码 干货

优雅实现API接口开关:让你的应用更可控

树上有只程序猿

spring-boot API接口

Python subprocess模块的高级玩法

秃头小帅oi

Python 程序员 低代码 subprocess 前沿

Mac综合优化清理软件MacCleaner 3 Pro

展初云

Mac 清理优化 MacCleaner Pro

打破障碍:克服数字化应用挑战的策略

互联网工科生

数字化

应用容器化转型系列-容器部署进阶

品高云计算

VPS服务器搭建指南:快速、简单、高效的秘诀大揭秘

一只扑棱蛾子

VPS VPS服务器

Aseprite for mac(像素动画制作工具)

展初云

Mac 2D像素风格动画制作软件 Aseprite

使用OSS搭建私有云内网yum仓库的方法

EquatorCoco

云原生 数据 OSS 仓库

企业如何选择安全又快速的大文件传输平台

镭速

大文件传输 大文件传输平台

集群 CPU 利用率均值达 45% ,揭秘小红书规模化混部技术实践

小红书技术REDtech

cpu #云原生

上海数交所与合合信息发布产业数据行业创新中心,政产学研合力为“数据航母”加速

合合技术团队

合合信息 上海数交所 产业数据行业创新中心 2023全球数商大会

【专业测试工具推荐】优化测试流程,高效完成测试工作!

Liam

程序员 测试 自动化测试 接口测试 测试工具

HTTPS的安全问题及应对方案

EquatorCoco

网络安全 https 安全

Things3 for Mac(日程和任务管理工具) 3.19.3激活破解版

mac

任务管理工具 苹果mac Windows软件 Things 3

Tableau Desktop 2019 for Mac(最好用的数据分析工具)激活版下载

iMac小白

《社交泛娱乐出海作战地图》加印领取啦!

融云 RongCloud

地图 社交 泛娱乐 出海 一图流

产学研合作新篇章:东南大学OpenHarmony技术俱乐部成立,专家进校园共谋发展

科技热闻

Vue 实现低代码开发平台,没想到这么好用!

伤感汤姆布利柏

什么是工业元宇宙?如何利用版本控制来应对工业元宇宙的挑战?

龙智—DevSecOps解决方案

元宇宙

Parallels Desktop 19完美激活秘钥

iMac小白

系统解读Kafka的流和表(一):开篇_语言 & 开发_Michael Noll_InfoQ精选文章