写点什么

Dropbox 公司的 Go 语言探索之路

  • 2017-07-24
  • 本文字数:2088 字

    阅读完需:约 7 分钟

Tammy 援引 Rob Pike 于 2012 年撰写的《谷歌 Go 语言:专为软件工程服务设计的编程语言》中的说法,解释了 Go 语言为何能够在 Dropbox 公司当中发挥重要作用:

“Go 语言高效、可扩展且极具生产能力。一部分程序员乐于加以运用,但也有一些人认为其难以理解甚至非常无聊。在这篇文章中,我们将解释为什么这些立场本身并不矛盾。Go 语言旨在帮助谷歌公司解决其在软件开发方面面临的各类问题,这意味着其尽管不能算是一种突破性的研究型语言,但仍然成为大型软件工程项目当中的出色工具。” — Rob Pike, 2012

Dropbox 公司拥有庞大的业务规模:

  • 超过 5 亿名用户;
  • 20 万商业客户;
  • 500 PB 用户数据;
  • 数据 EB GO 存储系统。

正因为如此,Dropbox 公司对自身系统、语言以及工程师提出了极高要求。其指导原则与要求包括:

  • 构建高可靠性系统;
  • 构建安全系统;
  • 将可靠性与安全性纳入初始设计;
  • 可靠性需要达到 99.9999999999% (12 个 9);
  • 可用性需要达到 99.99%。

Dropbox公司对Go**** 语言的应用

目前,Dropbox 公司的大部分基础设施以 Go 语言编写而成,具体包括:

  • Go 服务器库拥有 150 名贡献者(来自总计 500 名工程师);
  • Dropbox 公司内超过 15 个团队负责构建及运行 Go 服务;
  • Dropbox 公司内部拥有 130 万行 Go 代码;

另有一部分关键性系统亦由 Go 语言编写而成:

  • RAT: 限速与限流工具。
  • HAT: memcached 的替代方案。
  • AFS: 一套用于替代全局 Zookeeper 的文件系统。
  • Edgestore: 分布式数据库。
  • Bolt: 用于消息收发。
  • DBmanager: 用于对 Dropbox 内超过 6000 套数据库进行自动化管理与监控。
  • “Jetstream”、“Telescope” 、分块路由以及更多……

其中相当一部分都继承自原本的非 Go 系统。

Dropbox**** 公司当初为何选择使用 Go?

Tammy 亦分享了 Dropbox 公司一步步增加 Go 语言使用量的轶闻趣事。

Hack技术周成就Go**** 速率限制器原型设计

在某一年的 Hack 技术周之前,Dropbox 的工程师们计划针对各项服务分别进行限速与限流。因此,一位工程师决定在接下来的 Hack 技术周内构建一项通用服务以实现上述目标——而 RAT 也就此诞生。

RAT 的初始原型设计在 4 天之内即构建完成,并在第 5 天发布了演示。短短几周之后,RAT 的大名在公司内部迅速扩散。另一位 Dropbox 工程师通过电子邮件与 Tammy 团队取得了联系,希望了解其如何在 Python 项目当中使用 RAT。整个整合进程进展顺利,RAT 的采用率不断提高,实用性也快速增强。目前,Dropbox 公司内已经有多个团队在使用 RAT。

DBmanager

Dropbox 公司拥有超过 6000 套数据库,这样的大型系统自然需要自动化管理与监控措施与之配合。事实上,这些数据库随时随地都在进行复制、故障转移以及通过副本进行主体升级等等。

为了管理这一切,Dropbox 公司的一名工程师开发出 DBmanager——这是一套 Web UI,能够帮助管理员快速查看全部 6000 多套数据库中发生的状况。另外,其还能够将状态信息发布至其它系统。

Dropbox公司中的Go**** 版本升级之路

在数百名工程师的配合下,Dropbox 公司小心翼翼地协调着 Go 语言各主要版本的升级工作。不过 Tammy 并没有提到任何由升级带来的问题,这表明整个过程应该相当顺利!

下面来看一些有趣的事实:

  • Dropbox 公司最近刚刚完成生产服务当中由 Go 1.5 到 1.6 版本的升级;
  • 为了追踪升级流程,工作人员创建了一份简单的 Dropbox Paper 文档,同时要求每位服务。

持有者报告进度并在必要时申请帮助。

Dropbox 公司决定在 1.6 版本迁移完成之后(包括各非生产服务),跳过 Go 1.7 并直接升级至 1.8 版本。

Dropbox公司如何引导新晋工程师们使用Go**** 语言

每一位 Dropbox 工程师都需要经历同样严格的 Go 语言培训流程,具体包括:

  • 阅读基础设施拓扑资料、Go 语言风格指南以及 Protobuf 风格指南。
  • 严格但友好的代码审查。
  • 利用 Go 语言构建一款娱乐性质的应用程序(一套应用商店)。
  • 学习利用 Bazel 构建并测试 Go 代码。

经验丰富的工程师大约需要一周时间以完成上述培训。

Go语言为Dropbox**** 公司带来哪些收益?又存在哪些不足?

总体而言,Dropbox 公司的 Go 应用之路非常成功。

  • 易于在 Go 语言环境下进行生产。
  • 易于在 Go 语言环境下编写并消费服务。(人们也热衷于此!)
  • Go 语言标准库非常出色。
  • 调试工具(总体上)运作良好。

其中的关键在于,Dropbox 公司并没有费力将 Go 编写成的服务重写为其它语言版本,这表明人们对其相当满意。(有趣的是,Tammy 表示 Dropbox 公司也在部分使用 Rust,但其并不属于 Go 的替代品。)

Dropbox公司在使用Go**** 语言时遇到哪些困难?

Tammy 证实称,Go 语言最大的问题在于处理竞态条件。

  • 数据竞态类 bug 给调试、查询与修复等工作带来挑战。
  • 一部分 Dropbox 工程师特别擅长处理 Go 语言的查询机制,而另一部分工程师则选择发挥自己的专长。
  • Go 数据竞态检测器有时候不起作用。确定这种不起作用的情况非常重要。
  • 必须以审慎的态度设计需要对数据进行并发访问的 Go 程序。

Dropbox 公司重视工程师对于可靠性及持久性的关注度,因此他们亦应当有能力解决上述问题(事实上,这种并发处理问题在任何语言环境下都相当困难)。

查看原文链接: https://about.sourcegraph.com/go/go-reliability-and-durability-at-dropbox-tammy-butow

2017-07-24 19:005779
用户头像

发布了 24 篇内容, 共 95287 次阅读, 收获喜欢 7 次。

关注

评论

发布
暂无评论
发现更多内容

定位任意时刻性能问题,持续性能分析实践解析

阿里巴巴中间件

阿里云 云原生 可观测

什么是远程控制软件?远程控制软件推荐

RayLink远程工具

远程控制软件

使能千行百业数智化 用友BIP跑出“+速度”

用友BIP

用友BIP

共享文件和文档方法指南

镭速

主题及关卡揭晓!全国智能汽车竞赛智慧交通创意组发布倒计时

飞桨PaddlePaddle

提升用户体验与搜索引擎排名|网页性能监控实操详解

云智慧AIOps社区

监控 监控管理平台 监控宝 网站优化 网站监控

远程桌面无法连接远程计算机是什么原因?

RayLink远程工具

远程桌面连接 远程桌面

业界数据库工具结合 ChatGPT 的(不完全)汇总

Bytebase

人工智能 数据库 dba ChatGPT

什么是远程桌面连接?win11系统如何启用远程桌面连接?

RayLink远程工具

GPT-4正刮起新的生成式AI风暴

澳鹏Appen

人工智能 ChatGPT GPT-4

大数据分析工具Power BI(六):DAX表达式简单运用

Lansonli

大数据分析工具Power BI

电脑怎么远程连接服务器?如何进行远程桌面连接?

RayLink远程工具

远程桌面连接

什么是远程桌面?远程桌面软件是如何进行连接工作的?

RayLink远程工具

远程桌面连接 远程桌面工具 远程桌面软件

【必看答疑】为什么我的电脑远程连接不上?

RayLink远程工具

远程桌面连接

如何远程控制电脑,远程控制电脑的设置方法

RayLink远程工具

远程控制连接 远程控制电脑

紧跟潮流,抓住趋势,跟上全民AI的节奏,开源IM项目OpenIM产品介绍,为AIGC贡献力量

Geek_1ef48b

华为春季发布会召开,旗舰新品全面支持空间音频

最新动态

远程控制软件如何实现两台电脑连接

RayLink远程工具

远程控制软件

大会计走向业财合一,价值财务成追求方向

用友BIP

智能会计 价值财务 全球司库 业财合一 业财融合

官宣|Apache Flink 1.17 发布公告

Apache Flink

大数据 flink 实时计算

远程办公模式开启,该如何选择合适的办公软件?

RayLink远程工具

远程办公 远程协助 远程办公软件

华为Mate X3震撼发布!轻薄折叠屏携华为阅读带来全新精品阅听体验

最新动态

远程桌面连接是什么?远程桌面连接使用教程

RayLink远程工具

远程控制软件RayLink助力畅玩爆火双人游戏

RayLink远程工具

远程控制软件

为什么选择免费文件共享方法上的托管文件传输?

镭速

Securtiy Code Reviewer 需要做些什么?6个安全实例一探究竟

极狐GitLab

DevOps Code Review 代码质量 代码安全 代码评审

时不我待,拥抱趋势,开源IM项目OpenIM技术简介

Geek_1ef48b

免费的远程控制软件有哪些?远程控制软件哪个好用?

RayLink远程工具

远程控制软件 远控软件

GTC 2023的算力协奏曲,NVIDIA与宁畅“共舞”AI时代

脑极体

算力

2023 年最佳免费远程控制软件RayLink-远程办公必备

RayLink远程工具

远程控制软件 远程办公软件

低代码实现探索(五十七)脚本模板模式的生成

零道云-混合式低代码平台

Dropbox公司的Go语言探索之路_语言 & 开发_Quinn Slack_InfoQ精选文章