来自 GitHub 的基础设施工程师 Micheal Haggerty 发表了一篇博文，解释他们是如何使用 Spokes 进行跨数据中心复制的。包括如何减少网络往返次数、引入三阶段提交、优化参考更新的性能以及其他各种调优。
Haggerty 解释说，GitHub 通过跨数据中心复制代码仓库来最大化弹性和降低延迟。一旦数据中心发生故障，需要由另一个区域的副本接替工作，为了得到最好的性能，需要为用户提供距离最近的副本。
Spokes 用于复制用户的代码仓库，确保代码仓库之间是同步的。它就像代理一样，在应用层面透明地执行复制任务。Haggerty 说，以前只有距离很近的代码仓库之间才能进行复制作业，后来通过降低延迟和优化参考更新性能等方式解决了这个问题。
之前在进行复制时延迟会不断增加，阻碍了 Spokes 进行参考更新的速度。虽然这对大多数用户来说并不是大问题，但有些 Git 工作流在这方面有很高的要求：
大部分用户不会经常提交代码，但 GitHub 托管着将近 7000 万个代码仓库，有些用户的工作流你根本无法预测到。我们努力让 GitHub 能够应付所以场景，也非常关注一些极端情况。
Haggerty 也解释了 GitHub 内部是如何处理参考更新的。GitHub 基于内部的测试来决定是否合并或 rebase 一个 PR。如果某个分支有多个 PR，每个 PR 都需要通过测试。
减少网络往返次数可以有效降低延迟。GitHub 使用三阶段提交协议来更新副本，同时使用分布式锁来保证更新次序。不过这样需要四个网络往返，成本有点高。他们也在努力确保在等待网络调用结束之前先完成其他的任务。
GitHub 的工程师也参与了 Git 项目，包括处理参考更新的事务机制，该机制基于副本是否有能力执行参考更新来决定是提交还是回滚事务。还有其他一些与参考更新操作相关的改进。
Spokes 使用自定义的校验和来比较副本，如果校验和相同，说明它们包含相同的内容。校验和是通过增量的方式算出来的，并不是每次都从头开始算。
内务（book keep）操作被合并到少量的事务当中，因为有些单次提交操作会造成数百次内务更新，需要耗费三分之一秒的时间。
点击链接阅读博客全文，了解更多细节。
查看英文原文： How GitHub Uses Spokes for Cross Data-Center Replication
暂无签名
中国开发者画像洞察研究报告 2024
分析开发者的行为模式、工作价值、职业发展等内容，帮助整个行业生态更深入地理解开发者，为他们提供更精准...
评论