写点什么

为了实现一致性,我们从事务方案转移到流处理方案

  • 2016-03-20
  • 本文字数:1049 字

    阅读完需:约 3 分钟

当系统变得越来越复杂,数据库会被拆分为多个更小的库,如果借助这些衍生库实现像全文搜索这样的功能,那么如何保证所有的数据保持同步就是一项很有挑战性的任务了,在最近的 QCon 伦敦会议上, Martin Kleppmann 通过演讲阐述了他的观点。

使用多个数据库时,最大的问题在于它们并不是互相独立的。相同的数据会以不同的形式进行存储,所以当数据更新的时候,具有对应数据的所有数据库都需要进行更新。保证数据同步的最常用方案就是将其视为应用程序逻辑的责任,通常会对每个数据库进行独立的写操作。这是一个脆弱的方案,如果发生像网络故障或服务器宕机这样的失败场景,那么对一些数据库的更新可能会失败,从而导致这些数据库之间出现不一致性。Kleppmann 认为这并不是能够进行自我纠正的最终一致性,至少相同的数据再次进行写操作之前,无法实现一致性:

这不是最终一致性,它更像是持续的不一致性。

传统的方案使用事务来实现原子性,但是 Kleppmann 认为这只有在一个数据库的时候才有效,如果是两个不同的数据存储的话,那么这就不太可行了。分布式事务(又称为两阶段提交)支持跨多个存储系统,但是Kleppmann 认为它也面临自身的挑战,如较差的性能和运维问题。

我们重新回过头来看一下这个问题,Kleppmann 认为有一种很简单的解决方案,那就是按照系统的顺序对所有的写操作进行排序,并且确保所有人在随后读取时遵循相同的顺序。他将其与确定性的状态机复制(deterministic state machine replication)进行了类比,对于相同的起始状态,给定的输入流在多次运行时将会始终产生相同的状态转换。

在leader(主)数据库中,同时会将所有的写入操作按照处理的顺序存储为流,然后一个或多个follower 数据库就能读取这个流并按照完全相同的顺序执行写入。这样的话,这些数据库就能更新自己的数据并成为leader 数据库的一致性备份。对于Kleppmann 来说,这是一个非常具有容错性的方案。每个follower 都遵循它在流中的顺序,在出现网络故障或宕机时,follower 数据库能够从上一次的保存点开始继续进行处理。

Kleppmann 还提到在实现上述场景时,使用 Kafka 作为工具之一。目前,他正在编写一个实现, Bottled Water ,在这个实现中,他使用了 PostgreSQL 来抽取数据变化,然后将其中继到 Kafka 中,代码可以在 GitHub 上获取到。

InfoQ 最近也发布了一个关于使用 Kafka 进行开发的演讲。

QCon 的参会者已经聆听到了 Kleppmann 的演讲, InfoQ 的读者稍后将也能看到。他还将演讲的slide 发布了出来。

查看英文原文: Moving from Transactions to Streams to Gain Consistency

2016-03-20 19:002638

评论

发布
暂无评论
发现更多内容

Shiro权限控制入门

天翼云开发者社区

Java shiro

人工智能代理与区块链的融合:下一场技术革命的引爆点

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

Redis 可观测最佳实践

观测云

redis

AI眼镜,等一个“千元机时刻”

脑极体

AI

Qemu-KVM基本工作原理介绍

天翼云开发者社区

qemu

招商管理系统(源码+文档+部署+讲解)

深圳亥时科技

AI时代的软件工程:迎接LLM-DevOps的新纪元

鸿鹄

项目管理 软件工程 工具集 大模型 构架

如何解决TikTok直播网络不稳定的难题?

Ogcloud

TikTok tiktok运营 tiktok直播 tiktok直播专线 tiktok直播网络

昇腾AI原生创新算子挑战赛清华大学专场赛圆满落幕

极客天地

12 月 14 日,Doris Summit Asia 2024 议程正式公开,线下报名现已启动!

SelectDB

数据库 学习 数据仓库 年度峰会 大数据 开源

如何开发一个网站:全面解析与实战指南

科普小能手

网络运维 网站开发

边缘计算与MEC浅谈

天翼云开发者社区

云计算 边缘计算

好产品无国界,极兔外国员工也当上飞书效率先锋了!

ToB行业头条

2024年最热门的区块链生态系统:Solana依旧领跑,新秀崛起

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

TikTok运营使用SD-WAN有什么优势?

Ogcloud

SD-WAN TikTok 海外网络加速 tiktok运营 TikTok养号

选择2024年10款OKR在线系统(含免费版)提升团队执行力

易成研发中心

第49届ICPC亚洲区域赛,非凸科技再次支持上海赛站

非凸科技

持续监控云端数据:利用 EMQX ECP 集中管理 EMQX 集群

EMQ映云科技

emqx EMQX ECP

湖北移动,以5G-A规模商用“换”出内需新活力

脑极体

通信

5分钟上手!用 #Workspace 为 screenshot-to-code 项目增加新功能

豆包MarsCode

程序员 AI 开发

数字揭秘丨机器学习能否让你的健身计划事半功倍?

Altair RapidMiner

机器学习 数据分析 #人工智能 altair

报表工具对比:积木报表JimuReport VS 帆软报表FineReport

JEECG低代码

数据可视化 数据大屏 BI数据分析 报表工具 仪表盘设计器

为了实现一致性,我们从事务方案转移到流处理方案_语言 & 开发_Jan Stenberg_InfoQ精选文章