写点什么

大规模 Neo4j 集群中的因果一致性

  • 2017-04-19
  • 本文字数:1084 字

    阅读完需:约 4 分钟

在 QCon 2017 伦敦大会上,Neo4J Technology 首席科学家 Jim Webber 介绍了 Neo4J 是如何实现因果一致性的。他的演讲内容包括:高层概览Neo4J 集群的架构、使用 Raft 实现共识机制,以及用于实现“写后读”(RAW,read-after-write)一致性的“书签”(Bookmarking)模式。

据 Webber 介绍,为将集群问题分而治之,Neo4J 提供了两类角色不同的节点,分别称为核心(Core)节点和只读(Read)节点。在集群中,核心节点用于写操作,并提供了集群的持久性保证。只读节点是核心集群的只读异步副本,实现在“多读少写”(Read-heavy)负载场景下的扩展。

,Webber 进一步介绍了为达成持久性保证,核心节点是如何实现 Raft 共识算法的。一旦一个事务写入到一个核心节点,Raft 就会对事务做日志,并将事务到复制到集群中所有其余的核心节点。Raft 并非等待事务被完全复制,而是等待大多数选举(Majority Vote),这足以保证写操作的持久性。

Webb 还介绍了 Raft 在性能上和弹性上的优点。对于性能而言,Raft 只需等待大多数复制,因此阻塞的时间更短,进而降低了查询延迟。从弹性的角度看,即使一些节点故障,只要大多数依然可以选举,核心集群就仍然正常工作。

Webber 对 Raft 和 Paxos 做了比较,Raft 相对更简单,而且更易于实现,这就是 Neo4J 选择 Raft 的原因。他认为 Raft 降低了软件故障出现的可能性,提高了应用的可维护性。

据 Webber 介绍,图数据库通常是一类“多读少写”的数据库。即使在写操作期间,也必须读取和遍历图数据。这就是在 Neo4J 集群中通常只读节点要多于核心节点的原因。因为只读节点不参与共识提交,这意味着只读节点适用于自动扩展,并且更易于按需部署或调配。

考虑到事务是被异步复制到只读节点的,Webber 给出了一个简单应用场景,对此机制进行了展示。如果用户需要在创建数据后就立刻读取它们,即便写操作具有持久性保证,但还是有可能无法发现这些数据。这是由于数据是最终一致的,可能数据尚未复制到被查询的节点上。

要解决这一“写后读”一致性问题,Webber 介绍了 Neo4J 中提供的一种因果一致性模式,称为“书签”。

书签模式的第一阶段包含一次写操作,写操作完成后将返回相应的事务标识给客户端。第二阶段是一次读操作,客户端在查询中发送事务的标识。通过使用事务标识,被读取的节点将可以阻塞给定的事务。

Webber 用一个代码例子展示了书签模式,强调了在他看来,实现书签模式是非常简单的。在这个例子中,客户端接收一个事务标识,然后传递给此后的查询。

要了解更多的细节,可以从此处在线完整观看该演讲。Webber 还推荐阅读一下Raft 的论文

查看英文原文: Causal Consistency for Large Neo4j Clusters

2017-04-19 19:002214
用户头像

发布了 227 篇内容, 共 76.7 次阅读, 收获喜欢 28 次。

关注

评论

发布
暂无评论
发现更多内容

【文件比较神器】Beyond Compare 5

理理

2024年IDEA最新安装破解激活教程,亲测可用

理理

多模态在京东内容算法上的应用

京东零售技术

算法

从申请到调用:一步一步教你使用1688商品列表数据接口

tbapi

1688API 1688商品列表数据接口

VMware Fusion 13.6 发布下载,新增功能概览

sysin

vmware fusion

2024 年 Web3 融资情况解析:公售项目占比超八成,散户抱团取暖

TechubNews

更懂消费者 火山引擎数据飞轮助力乳企做好雪糕生意

字节跳动数据平台

大数据 数据分析 数据平台 火山引擎 增长营销

应用开发“取经路”,华为应用市场送出全周期服务“助攻”

脑极体

AI

VMware Fusion Pro 13虚拟机详细功能介绍

理理

2023年央企安全威胁盘点

芯盾时代

身份安全 央国企数字化转型 弱口令

实践分享:借助Leangoo领歌免费敏捷工具精细化Sprint Backlog管理

顿顿顿

敏捷开发 敏捷项目管理 敏捷工具 scrum工具 敏捷迭代管理

一文把视频审核架构说得明明白白

京东零售技术

架构 视频审核

Mac风扇控制软件 Macs Fan Control Pro

理理

零基础能做Oracle数据库之间的迁移吗?

NineData

oracle 数据迁移 Oracle ACE NineData 增量迁移

生产进度拖延、成本高企,你还愿意继续忍受吗?

天津汇柏科技有限公司

低代码开发平台 软件定制开发 AI人工智能 生产管理

VMware Workstation 17.6 Pro 发布下载,新增功能概览

sysin

vmware Workstation

好用的终端SSH仿真工具 SecureCRT

理理

GreatSQL执行Update失败案例分析

GreatSQL

火山引擎携手南开大学、中国国航、协和医院,加速各行业AI能力落地

新消费日报

Java开发分析JProfiler 14有哪些改进?

理理

Vision Pro开发实践

京东零售技术

Vision pro

电商数据驱动决策:京东商品详情API返回值的力量

技术冰糖葫芦

api 网关 API Explorer API 策略 pinduoduo API

YouTube客户端就选Clicker for YouTube Mac版

理理

ShareMouse for mac鼠标键盘共享工具 附ShareMouse激活码

理理

成本最高可降40%!揭秘DataWorks资源组的Serverless进化之路

阿里云大数据AI技术

云计算 大数据 Serverless Dataworks

京东广告稀疏大模型训练与推理 GPU 优化实践

京东零售技术

广告 GPU算力

LED租赁屏常用于哪些场合?

Dylan

商业 活动 LED LED display LED显示屏

好玩的mac科幻探险游戏 :无人深空No Man‘s Sky中文版

理理

GitHub Star 数量前 11 的开源内部工具

NocoBase

GitHub 开源 低代码 无代码 内部工具

人工智能 | 大语言模型应用框架介绍

测试人

人工智能 软件测试

大规模Neo4j集群中的因果一致性_架构_Andrew Morgan_InfoQ精选文章