写点什么

为了实现一致性,我们从事务方案转移到流处理方案

  • 2016-03-20
  • 本文字数:1049 字

    阅读完需:约 3 分钟

当系统变得越来越复杂,数据库会被拆分为多个更小的库,如果借助这些衍生库实现像全文搜索这样的功能,那么如何保证所有的数据保持同步就是一项很有挑战性的任务了,在最近的 QCon 伦敦会议上, Martin Kleppmann 通过演讲阐述了他的观点。

使用多个数据库时,最大的问题在于它们并不是互相独立的。相同的数据会以不同的形式进行存储,所以当数据更新的时候,具有对应数据的所有数据库都需要进行更新。保证数据同步的最常用方案就是将其视为应用程序逻辑的责任,通常会对每个数据库进行独立的写操作。这是一个脆弱的方案,如果发生像网络故障或服务器宕机这样的失败场景,那么对一些数据库的更新可能会失败,从而导致这些数据库之间出现不一致性。Kleppmann 认为这并不是能够进行自我纠正的最终一致性,至少相同的数据再次进行写操作之前,无法实现一致性:

这不是最终一致性,它更像是持续的不一致性。

传统的方案使用事务来实现原子性,但是 Kleppmann 认为这只有在一个数据库的时候才有效,如果是两个不同的数据存储的话,那么这就不太可行了。分布式事务(又称为两阶段提交)支持跨多个存储系统,但是Kleppmann 认为它也面临自身的挑战,如较差的性能和运维问题。

我们重新回过头来看一下这个问题,Kleppmann 认为有一种很简单的解决方案,那就是按照系统的顺序对所有的写操作进行排序,并且确保所有人在随后读取时遵循相同的顺序。他将其与确定性的状态机复制(deterministic state machine replication)进行了类比,对于相同的起始状态,给定的输入流在多次运行时将会始终产生相同的状态转换。

在leader(主)数据库中,同时会将所有的写入操作按照处理的顺序存储为流,然后一个或多个follower 数据库就能读取这个流并按照完全相同的顺序执行写入。这样的话,这些数据库就能更新自己的数据并成为leader 数据库的一致性备份。对于Kleppmann 来说,这是一个非常具有容错性的方案。每个follower 都遵循它在流中的顺序,在出现网络故障或宕机时,follower 数据库能够从上一次的保存点开始继续进行处理。

Kleppmann 还提到在实现上述场景时,使用 Kafka 作为工具之一。目前,他正在编写一个实现, Bottled Water ,在这个实现中,他使用了 PostgreSQL 来抽取数据变化,然后将其中继到 Kafka 中,代码可以在 GitHub 上获取到。

InfoQ 最近也发布了一个关于使用 Kafka 进行开发的演讲。

QCon 的参会者已经聆听到了 Kleppmann 的演讲, InfoQ 的读者稍后将也能看到。他还将演讲的slide 发布了出来。

查看英文原文: Moving from Transactions to Streams to Gain Consistency

2016-03-20 19:002610

评论

发布
暂无评论
发现更多内容

《计算机组成及汇编语言原理》阅读笔记:p82-p85

codists

鸿蒙元服务审核上的一些思考

flfljh

【YashanDB知识库】如何排查YMP报错:”OCI版本为空或OCI的架构和本地系统的架构不符“

YashanDB

数据库 yashandb

【YashanDB知识库】如何限制用户session连接数

YashanDB

数据库 yashandb

华为云Flexus X实例部署安装HivisionIDPhoto一个轻量级的AI证件照制作算法

平平无奇爱好科技

快手后端面试,被面试官秒挂了!

快乐非自愿限量之名

Java Python 面试 后端

京东零售数据可视化平台产品实践与思考

京东零售技术

数据可视化

【2024丨CSIG青年科学家会议 AI可信论坛】视觉内容安全技术的前沿进展与应用

热爱编程的小白白

开发者必备:一步步教你魔改第三方库,满足独特需求

LLLibra146

Python GitHub pip pypi requests

多推理几步,生成式AI会变得更聪明吗?

JustYan

人工智能 大模型 生成式AI

2024年低代码趋势洞察——企业最看重的功能有哪些

JeeLowCode低代码平台

低代码开发 低代码开发工具 低代码,

Taro小程序开发性能优化实践

京东零售技术

taro

“慢”增长时代的企业数据体系建设:超越数据中台

京东零售技术

大数据

英特尔IEDM 2024大晒封装、晶体管、互连等领域技术突破

E科讯

【YashanDB知识库】如何处理报错"UDT column batch insert" has not been implemented yet

YashanDB

数据库 yashandb

最新2025整理Java面试八股文,大厂必备神器

Summer

Java 程序员 面试 架构师 大厂

Python 数据类型详解:列表、字典、元组与集合的操作指南

敲代码不忘补水

Python 科技 数据类型 tuple 计算机科学与技术

打造两轮差速机器人fishbot:从零开始构建移动机器人

芯动大师

ROS imu joint

华为云Flexus X实例部署安装HivisionIDPhoto一个轻量级的AI证件照制作算法

平平无奇爱好科技

Hume 语音模型 OCTAVE:实现情感语音合成、声音克隆和多角色对话生成;通义开源多模态说话人识别项目 3D-Speaker

声网

【双喜】矩阵起源子公司荣膺“2024上海市高成长百家”第一、 荣获上海市技术创新资金立项资助

MatrixOrigin

AI 技术创新 MatrixOrigin 矩阵起源 GenAI

云交易技术对接全景

京东零售技术

云交易

Python for 和 while 循环:掌握循环控制的基本操作

敲代码不忘补水

Python 科技 while循环 for in 计算机科学与技术

【教程】第十一章 子任务 & 工时——化繁为简

NocoBase

开源 项目管理 低代码 教程 任务管理

直击面试!阿里技术官手码12W字面试小册在Github上爆火

Summer

Java 程序员 面试 架构师 大厂

京东科技基于 Apache SeaTunnel 探索复杂场景适配

白鲸开源

Clickhouse 数据同步 数据集成 Apache SeaTunnel 京东科技

矩阵起源荣膺"2024AI最佳实践案例"------多模态AI数据智能平台,让您的数据成就您的AI

MatrixOrigin

数据库 AI InfoQ 技术创新 MatrixOrigin

【YashanDB知识库】启动数据库时报错:YAS-02059 control file version 0.2.64 is incompatible with YashanDB version 0.2.65

YashanDB

数据库 yashandb

【YashanDB知识库】如何解决共享集群部署遇到报错:YAS-05721 invalid input parameter, reason: node name invalid.

YashanDB

数据库

为了实现一致性,我们从事务方案转移到流处理方案_语言 & 开发_Jan Stenberg_InfoQ精选文章