写点什么

FourSquare 经历两次宕机

  • 2010-10-08
  • 本文字数:860 字

    阅读完需:约 3 分钟

美国东部标准时间 10 月 4 日和 5 日,互联网业界最有名也是最具价值的地理位置服务网站 FourSquare 经历了两次宕机事件,第一次长达 11 个小时,第二次也有 6 个小时。第一次宕机问题解决之后,FourSquare 技术团队在官方博客上发布帖子“这一次可真是郁闷了”,详细描述了该次发生问题的全过程。

FourSquare 使用 MongoDB 作为后台数据存储,他们保存了海量的用户签到(check-in)记录,并且使用用户 ID 对数据进行了分片(sharding),希望数据可以平均分布到不同的数据库片(shard)之中。4 日上午 11 时开始,FourSquare 发现某一个数据库片的写入操作出现异常,在接下来的一个半小时,他们采取各种负载均衡措施,均不起效。他们希望引入一个新的数据库片,并在不关闭网站的情况下,将过载的数据库片中的部分数据转移到新的数据库片中。然而,该操作没有成功,同时直接导致整个网站关闭。不仅如此,将数据向新的数据库片迁移也没有腾出原先预期的存储空间数量。(他们认为“数据碎片化”和“使用用户 ID 切分”是两个主要原因。)接下来五个小时的各种努力也没有起效,网站仍然没有起来。

4 日下午 6 时 30 分,他们决定重新建立数据库分片索引,这可以解决内存碎片化和可用性的问题。这个过程耗时 5 个小时。到晚上 11 时 30 分,网站恢复。而且由于他们之前做了足够的安全保障和备份工作,没有任何数据丢失。

FourSquare 团队在该帖子中提到,将会采取三种措施避免类似状况:

  1. 进一步与 MongoDB 的开发者们密切合作。
  2. 改变运维流程,防止过载发生。
  3. 寻找服务降级的方法,关闭某些服务,以避免整个网站全部受影响宕机。

然而,刚刚过了几个小时,FourSquare 再次经历了第二次宕机⋯⋯

最新的博客帖子这样说明第二次发生问题的过程:

简单来说,还是发生了同样的事情:数据库过载,解决方案还是手动重新分配用户签到数据,以确保没有数据库过载,然后重启网站;在将近 6 个小时之后,我们终于恢复了服务。

除了 FourSquare 自己的讲述之外,MongoDB 的开发公司 10gen 的 CTO 和联合创始人 Eliot Horowitz 也分析了整个过程,请关注 InfoQ 对于该事件的后续报道。

2010-10-08 04:204250
用户头像

发布了 479 篇内容, 共 155.9 次阅读, 收获喜欢 49 次。

关注

评论

发布
暂无评论
发现更多内容

发布订阅模式和观察者模式【vue】

达摩

Vue 观察者模式 发布订阅

深入 HTTP/3(2)|不那么 Boring 的 SSL

SOFAStack

互联网 TLS HTTP3.0 QUIC协议 HTTP API

Kube-OVN v1.10.0:新增Windows节点支持,用户自定义子网ACL等10+硬核功能

York

云原生 网络 cni

使用 awk 命令统计文本

程序员小航

后端 awk Linxu

linux之curl命令

入门小站

Linux

P2P传输模式

工程师日月

计算机网络 5月月更

模块2-微信朋友圈高性能复杂度分析

Fan

架构实战营

做一个能对标阿里云的前端APM工具

光毅

阿里云 性能优化 前端

Linux 使用 cp 命令强制覆盖功能

AlwaysBeta

Linux 运维

技术立根,行业立范,发展立本:中国工业互联网的2.0新征程

脑极体

小程序如何实现一键转换成App

Geek_99967b

小程序容器 小程序转app

软件开发的核心原则

宇宙之一粟

软件设计原则 5月月更

Kernel SIG直播:关于 Plugsched 调度器热升级 | 第 18 期

OpenAnolis小助手

Linux 直播 内核 sig 龙蜥大讲堂

在线文本删除空行工具

入门小站

工具

通用池化框架实践之GenericKeyedObjectPool

FunTester

vue响应式原理简述

达摩

Vue vue源码解读

开发者的福音 提前为你揭秘2022鲲鹏开发者创享日武汉站

Geek_2d6073

在线HTML转SQL工具

入门小站

工具

flask框架学习总结(四)【 文件上传,实现最小应用,路径变量,模板继承】

恒山其若陋兮

5月月更

IoT技术的最后决战!百万大奖究竟花落谁家?

华为云开发者联盟

IoT 华为云 iotda NSBD-IOT

前沿聚焦:2022最受关注的六大技术热词,你都知道吗?

华为云开发者联盟

零代码 NFT 数字人 元宇宙 云边端协同

Java Core「4」java.util.concurrent 包简介

Samson

学习笔记 5月月更 Java core

小程序怎样一键转化成APP

Geek_99967b

小程序生态 小程序容器 小程序转app

微信视频号严查教育招生类账号:应该抵制恶意网络营销

石头IT视角

1.2架构的定义(一)

凌晞

架构 架构设计

云原生时代,热门监控工具对比与使用场景分析

云智慧AIOps社区

云原生 监控 Grafana Prometheus 监控宝

开发一个社区网站,只要20分钟?

华为云开发者联盟

ide 敏捷开发 devcloud 网站开发

又一国际知名律师事务所选择福昕PDF

联营汇聚

vue + electronの文件读写

空城机

Electron 5月月更

聚焦无障碍阅读,福昕捐出2000套福昕高级PDF编辑器

联营汇聚

HDFS 细粒度锁优化,FusionInsight MRS有妙招

华为云开发者联盟

hdfs NameNode 元数据 FusionInsight MRS FGL

FourSquare经历两次宕机_架构_郑柯_InfoQ精选文章