写点什么

GitHub 的 DGit 改进了平台的可靠性、性能以及可用性

  • 2016-04-10
  • 本文字数:1294 字

    阅读完需:约 4 分钟

GitHub 最近悄悄地发布了 DGit,全称为“分布式 Git”。这是一种基于 Git 创建的分布式存储系统,其目标是改进使用 GitHub 时的可靠性、可用性以及性能。

DGit 是一个应用层面的协议,它利用了 Git 分布式的特性,将每个仓库在三台不同的、独立选择的服务器上保留三个备份。按 GitHub 所说,这个简单的架构在可靠性、可用性和性能方面带来了许多直接的好处。

  • 考虑到托管某个仓库的三台服务器是互相独立的,那么他们同时变得不可用的可能性非常低。
  • 用户的请求可在这三台服务器之间进行负载均衡处理,由于这些请求大部分是读请求,因此可以立即响应,而无需在这三台服务器之间进行同步,这将带来直接的、接近于 3 倍的性能提升。
  • 多个仓库之间出现“命运共享”(fate sharing)的情况大大减少了。命运共享这种情况会造成一个或多个仓库的性能下降,其原由是这些仓库与另其他非常流行的或者过于庞大的仓库共享了相同的服务器。在 DGit 的实现中,由于这些仓库在独立的服务器中进行分发,因此这种情况同时发生在三台服务器上的可能性少之又少。这也使某个请求可以在负载相对较小的服务器中进行处理。
  • 分发服务器之间无需保持一个很近的距离,他们可以分布在不同的可用区域或是数据中心之间。这种方式显然能够改进可用性,并且对于在地理位置上更接近的用户也能够带来性能上的改进。

DGit 使 GitHub 能够废除之前所使用的基于备份的模式(由于 DGit 的发布过程还在进行中,因此目前仍在使用这一模式)。对于每个活动的服务器来说,这种模式要求设置一个专用的备用服务器,以交叉线连接,数据将通过 DRDB 进行同步。

对于 GitHub 的整体功能来说,废除这种模式能够带来一些额外的好处:

  • 当某一台服务器发生故障时,唯一必须要做的一件事就是将等待中的请求重新路由至一台新的服务器,并重启发生故障的服务器。
  • 此外,替换一台有故障的服务器变得不再那么紧迫了,因为至少还有两台服务器能够运行,他们可将数据迅速地分发至第三台服务器。
  • 由于新的方式不再需要使用一台专用的备用服务,这意味着 GitHub 能够更好地利用每个 CPU 以及所有的可用内存,以处理用户的请求。
  • DGit 极大地简化了 GitHub 基础设施的管理,例如添加新的服务器、应对某些仓库变得非常庞大或非常流行等情况。

正如之前所说,DGit 是基于 Git 本身所打造的,它并没有利用 RAID、DRBD 或其他分发技术。GitHub 选择实现自己的算法,以处理序列化、加锁、故障检测以及重新分发等操作。在与 InfoQ 的一次对话中,GitHub 表示他们使用了三阶段提交(3PC)协议以处理分布式事务。“DGit 基本已经消除了在Git 层由于单一托管或整个机架不可用所造成的服务故障”。

如上文所说,GitHub 近几个月来正在逐步部署DGit,首先从他们自己的仓库开始部署。当他们对于新的系统具备了充分的信心之后,就会开始迁移受欢迎的公共仓库。在今年二月,GitHub 开始批量地迁移仓库。目前大约有60% 的仓库、98% 的Gist,总计约67% 的GitHub 数据已经运行在DGit 上了。GitHub 向InfoQ 表示:“我们正在日夜不停地通过导入作业将数据从之前的存储架构中迁移至DGit”。

查看英文原文 GitHub’s DGit Improves Reliability, Performance, and Availability

2016-04-10 19:002083
用户头像

发布了 428 篇内容, 共 182.4 次阅读, 收获喜欢 39 次。

关注

评论

发布
暂无评论
发现更多内容

SpringMVC之文件上传

Andy

标签评分:海量标签如何进行系统治理?

袋鼠云数栈

袋鼠云平台代码规范化编译部署的提效性改进实践

袋鼠云数栈

企业业务沟通新选择,华为云会议支持全场景智能协作

秃头也爱科技

SpringBoot之基础知识

Andy

Gtags解决UnicodeEncodeError问题

Geek_pwdeic

一文读懂:开源大数据调度系统Taier1.2版本新增的「工作流」到底是什么?

袋鼠云数栈

深耕稳定安全会议服务,华为云会议具备会议全球接入能力

秃头也爱科技

MyBatis程序基础实现

Andy

SpringBoot之错误处理

Andy

开源直播课丨大数据集成框架ChunJun类加载器隔离方案探索及实践

袋鼠云数栈

华为云桌面——云端上“最卷的云”

秃头也爱科技

开源大数据集成框架ChunJun在数据还原上的探索和实践

袋鼠云数栈

SpringMVC 基础

Andy

SpringMVC之拦截器

Andy

赴一场开源盛会丨10月29日 COSCon'22 开源年会杭州分会场,这里只差一个「你」!

袋鼠云数栈

Java | 面向对象(二)

陌上

编程 Java、 10月月更

Java | 继承

陌上

Java 编程 10月月更

MyBatis初步理解

Andy

MySQL向表中添加列

okokabcd

MySQL

MyBatis之缓存机制和动态SQL

Andy

安全架构师的运营一二事

I

运营 安全架构 企业安全 安全运营

Java | 数组工具类Arrays、数学工具类Math

陌上

编程 Java、 10月月更

激活数据价值,探究DataOps下的数据架构及其实践丨DTVision开发治理篇

袋鼠云数栈

EMQ助力构建工业生产数字孪生基础架构|智慧工厂系列专题03

EMQ映云科技

物联网 IoT 工业互联网 数字孪生 10月月更

强烈推荐!商业洞察就用这个工具

产品海豚湾

产品经理 产品设计 产品运营 商业化 10月月更

投资成本低且无需专人维护!华为云会议让沟通更高效

秃头也爱科技

MyBatis面试题(部分)

Andy

深入浅出Python——Python高级语法之面向对象

何极光

Python 面向对象 10月月更

华为云连接CC,解决企业跨地区发展的网络难题

路过的憨憨

华为

SpringBoot之开发深入

Andy

GitHub的DGit改进了平台的可靠性、性能以及可用性_GitHub_Sergio De Simone_InfoQ精选文章