写点什么

【干货】Kafka 事务特性分析(上)

  • 2019-10-21
  • 本文字数:1888 字

    阅读完需:约 6 分钟

【干货】Kafka 事务特性分析(上)

特性背景

消息事务是指一系列的生产、消费操作可以要么都完成,要么都失败,类似数据库的事务。这个特性在 0.10.2 的版本是不支持的,从 0.11 版本开始才支持。华为云 DMS 率先提供 Kafka 1.1.0 的专享版服务,支持消息事务特性。


支持事务消息有什么作用?消息事务是实现分布式事务的一种方案,可以确保分布式场景下的数据最终一致性。例如最常用的转账场景,小王 转账到小明,实际操作是小王账户减去相应金额,小明的账户增加相应金额,在分库分表的前提下,2 个账户存储在不同的数据库中,这时需要分布式事务才能保证数据库一致性,单个数据库的事务无法保证跨库之间的原子性。如果小王账户先扣钱,再去发送消息到小明所在的数据库去通知增加钱,在没有事务消息的情况下,无论是先扣钱或者先发送通知增加钱,都会有数据不一致的问题,因为无法保证两者的原子性。而有了事务消息,可以保证发送通知与本地事务(扣钱)是一个原子操作,本地事务与发送通知可以同时成功或者同时失败,确保数据一致。


除了数据最终一致性外,还实现了消息 Exactly once 语义。所谓 Exactly once 语义是消息传递语义中最难实现的一种,包括 At most once:最多一次(不会重复,但是可能丢失数据); At least once:至少投递一次(不会丢失,但是会导致重复)和 Exactly once: 刚好一次(不丢不重),也即幂等性。Kafka 的幂等性可以保证生产只对一个分区实现 Exactl once 语义,需要多个分区也实现这个语义,还需要引入消息事务确保原子性。

分布式事务介绍

当前系统架构主流是分布式架构与微服务架构,在这种架构下数据源不是单一的数据库,业务逻辑往往需要在多个数据库中实现原子操作,单个数据库中的强大的本地事务无法保证多节点原子操作。 此时需要分布式事务来确保数据的一致性。目前使用较多的分布式事务解决方案有几种:

01 XA 事务:两阶段/三阶段提交

XA 是由 X/Open 组织提出的分布式事务的规范。XA 规范主要定义了(全局)事务管理器(Transaction Manager)和(局部)资源管理器(Resource Manager)之间的接口。XA 接口是双向的系统接口,在事务管理器(Transaction Manager)以及一个或多个资源管理器(Resource Manager)之间形成通信桥梁。实现 XA 事务的关键是两阶段和三阶段提交协议。


两阶段提交协议(Two-phase Commit,2PC)经常被用来实现分布式事务。一般分为协调器 C 和若干事务参与者 Si 两种角色,这里的事务参与者就是具体的数据库,协调器可以和事务参与者在一台机器上,如下图



二阶段提交协议主要包括由 2 个阶段:第一个阶段为准备阶段(prepare),第二阶段为提交阶段。准备阶段由事务协调者向事务参与者发送 prepare 消息,各个参与者处理本地事务但不提交,然后向事务协调者返回事务状态。 提交阶段根据准备阶段各参与者的执行请求,协调者确定事务是提交或者回滚,向各个参与者发送命令。


二阶段提交协议主要的问题是在提交执行过程中,所有的参与者都需要听从协调者的统一调度,期间处于阻塞状态而不能从事其他操作,这样效率及其低下。特别是当协调者发出提交通知到部分参与者后宕机,其他参与者就会阻塞。


针对二阶段提交存在的问题,三阶段提交协议在 prepare 与 commit 阶段之间增加一个 pre-commit 阶段。Prepare 阶段只询问参与者而不做事务,而在 pre-commit 阶段各个参与者才会执行本地事务但不提交。Commit 阶段就是直接提交。这样做可以避免二阶段当协调者迟迟没有发出 commit 或者 rollback 通知,参与者在超时后可以自行提交或者回滚,避免阻塞事务(这是因为经过了 prepare 阶段已经确认了各个参与者是可以执行的,最后第三阶段直接执行即可)。 三阶段提交也存在很多问题,也不能完全保证数据一致,完全一致需要用到 Paxos 算法。

02 TCC 补偿性事务解决方案

TCC 分别对应 Try、Confirm 和 Cancel 三种操作,含义如下:


  • Try:预留业务资源

  • Confirm:确认执行业务操作,执行事务

  • Cancel:取消执行业务操作


TCC 解决了跨应用业务操作的原子性问题,在诸如组合支付、账务拆分场景非常实用。TCC 实际上把数据库层的二阶段提交上提到了应用层来实现,对于数据库来说是一阶段提交,规避了数据库层的 2PC 性能低下问题。TCC 需要业务提供使用,开发复杂和成本高。

03 事务消息

基于消息中间件的事务消息来完成分布式事务。事务消息可以确保本地执行事务与消息发送是原子的:先发送一条消息到消息中间件,然后执行本地事务,当本地事务成功后再发送提交确认到消息中间件,然后这条消息才能被其他业务消费者所能感知,从而确保原子性。


本文转载自公众号中间件小哥(ID:huawei_kevin)。


原文链接:


https://mp.weixin.qq.com/s/wbEr6IWuSwbEg3Ut3ahVjw


2019-10-21 14:511181

评论

发布
暂无评论
发现更多内容

首届实时渲染3D动画创作大赛最佳人气奖?你说了算!

3DCAT实时渲染

3D 虚幻引擎 实时渲染 ue

一文读懂网关中间件-Nginx

Linux服务器开发

nginx 中间件 api 网关 Linux服务器开发 Linux后台开发

即时通讯(IM)开源项目OpenIM每周迭代版本发布-音视频实时通话-v2.0.4

Geek_1ef48b

测试开发【Mock平台】02基础:Java Spring Boot框架知识

MegaQi

测试工具 测试发开 测试平台开发教程

三高Mysql - Inndb存储引擎和索引介绍

懒时小窝

MySQL innodb MySQL InnoDB

Linux之bc命令

入门小站

Linux

Python 基础教程:动态类型模型(1),阿里巴巴Python面试题答案

程序媛可鸥

Python 程序员 面试

使用Node.js、MongoDB、Fastify 构建API服务

devpoint

mongodb nodejs swagger REST API 3月月更

在线HTML压缩格式化工具

入门小站

工具

Python 三十个实践、建议和技巧,各种风格的Python面试题进来了解一下

程序媛可鸥

Python 程序员 面试

Python 基础教程:动态类型模型,超通俗解析

程序媛可鸥

Python 程序员 面试

Python 实现七大排序算法,Python中高级面试必知必会

程序媛可鸥

Python 程序员 面试

DDD 实战(5):战略设计之上下文映射和系统分层架构

深清秋

DDD 软件架构 生鲜电商系统 3月月更

iOS内存管理篇

刁架构

内存管理 iOS 知识体系

在线JSON转HTML,TABLE表格工具

入门小站

工具

投资与人性(21/100)

hackstoic

投资

Python 使用 PyQt5 开发的关机小工具分享,为什么阿里的程序员成长如此之快

程序媛可鸥

Python 程序员 面试

模块 6 作业 拆分电商系统为微服务

王大胖

2022 ARTS|Week 11

MiracleWong

算法 写作 ARTS 打卡计划

你的 vscode 配置真的舒服么?

道道里

Flutter 封装文本输入框

岛上码农

flutter 跨平台 Android开发 3月月更

游戏制作片段

都灵树屋

Python 命令行参数详解,Pythonui基础

程序媛可鸥

Python 程序员 面试

Redis的数据类型实践

javaadu

Redis 核心技术与实战 Redis 数据结构

Python 深度集成的神器级 IDE,从此告别Excel!,成为阿里P7Python架构师到底有多难

程序媛可鸥

Python 程序员 面试

图文详解:阿里宠儿【小兔】RabbitMQ的养成攻略

浅羽技术

Java RabbitMQ 中间件 消息队列 RabbitMQ延时队列

VuePress 博客之 SEO 优化(四) Open Graph protocol

冴羽

Vue 前端 vuepress SEO 博客搭建

C#调用C++动态库接口函数和回调函数

DS小龙哥

3月月更

一文了解 Python 中的对象析构函数:__del__

踏雪痕

Python 3月程序媛福利 3月月更

【C语言】 扫雷游戏(保姆级的实现过程)

謓泽

3月月更

【干货】Kafka 事务特性分析(上)_文化 & 方法_李浩_InfoQ精选文章