写点什么

架构 Twitter

  • 2008-06-22
  • 本文字数:1120 字

    阅读完需:约 4 分钟

风行的社交应用Twitter ,其底层架构最近已成为多次讨论的焦点。由于团队试图解决一些问题,Twitter已经有几次停止运行的情况,并关闭了几个常用的功能。从Twitter 的前进脚步之中,我们能学到些什么呢?包括 Om Malik Dare Obasanjo 在内的几个人猜测是 Twitter 的底层架构导致了这些问题的出现。最近,Robert Scoble 就应用情况和公司前景采访了Twitter 的Evan Williams 和Biz Stone 。采访的视频可在 qik 上找到。

在采访中,Williams 和 Stone 回答了关于 Twitter 数据架构的大问题:Twitter 是否使用单实例存储(SIS)类型的方法来处理用户消息?在大约 13 分钟的采访记录中,Williams 谈到了消息存储和用户时间线检索:

它不是这么处理的(为用户的每个跟随者都产生一个消息副本),但实际上这可能更有效率。现在消息存储到数据库中,当人们想获取他们的时间线时,我们从数据 库中构造时间线,然后缓存到内存中,当然不是每次都缓存。但由于内容写入太频繁,我们往往也要频繁地访问数据库,而这只是为了更新缓存。所以缓存中有很多 消息副本,而在磁盘上却只有一条消息。我们以后的架构可能更多的是以多次写入的方式,因为读取在这种方式下将快更多。

从 SIS 消息架构迁移的可能性为利用像数据Sharding 这样的数据技术开启了一扇大门,数据Sharding 技术已经在许多高容量网站和应用中广受欢迎。Randy Shoup谈到了eBay 通过部分利用Sharding 来架构系统的方式,以此获得高可伸缩性:> 数据库层次的问题比较有挑战性,原因是数据天生就是有状态的。我们会按照主要的访问路径对数据做水平分割(或称为“Sharding”)。例如用户数据目 前被分割到20 台主机上,每台主机存放1/20 的用户。随着用户数量的增长,以及每个用户的数据量增长,我们会增加更多的主机,将用户分散到更多的机器上 去。商品数据、购买数据、帐户数据等等也都用同样的方式处理。用例不同,我们分割数据的方案也不同。

Bogdan Nicolau 写过一篇为数据库Sharding 基础的概述。在该系列中,Bogdan 讨论了如何决定在何处、以及如何为应用分割数据。决定时的主要一点是:> 我试图表达的是,无论你选择什么逻辑来切分表,总是要记住你不想有任何join、order by、或limit 语句,这些语句会需要不止一个的表Shards。

Bogdan 继续谈论了应用端对Shards 的利用。Bogdan 提供了几个代码例子来解释一个典型问题,同时还解释了背后的原理:> 正如你所看到的,因为要生成映射表,负担主要落在了写入一方。读取时就不需要关心涉及的数据切分算法了。

随着众人参与关于如何扩展Web 2.0 的讨论,Twitter 也许将继续向一个更稳定、可伸缩的架构迈进。InfoQ 有许多性能和可伸缩性相关的资源,在这里查看这些资源

查看英文原文: Architecting Twitter

2008-06-22 21:402523
用户头像

发布了 151 篇内容, 共 61.7 次阅读, 收获喜欢 18 次。

关注

评论

发布
暂无评论
发现更多内容

UML练习1-食堂就餐卡系统设计

一剑

程序员如何破除「迷茫」

顿晓

学习 程序员 架构 迷茫

食堂就餐卡系统设计

stardust20

C02-商业模式与架构设计

buoge

架构师训练营第一周学习总结

不谈

随遇而安的适配器模式 | Spring 中的适配器

大头星

Java spring 面试 设计模式 Java 25 周年

如何成为一个架构师

_MISSYOURLOVE

极客大学架构师训练营

重新定义失败

史方远

个人成长 随笔杂谈

第三季已经起航,送你一份活动手册吧

赵新龙

写作 社群

架构师0期 | 架构师是怎样炼成的?

刁架构

极客大学架构师训练营

食堂就餐卡系统设计

wyzwlj

极客大学架构师训练营

架构师思维

极客大学架构师训练营

架构训练营-第一课总结

架构师训练营 第一周 学习总结

一雄

学习 极客大学架构师训练营 第一周

作业1 餐卡系统设计

Geek_2e7dd7

架构设计文档学习总结

jason

食堂就餐卡系统设计

赵龙

Week 01 命题作业

卧石漾溪

极客大学架构师训练营

作业一:食堂就餐卡系统设计

Geek_36d3e5

第01周命题作业-食堂就餐卡系统架构设计

Jaye

极客大学架构师训练营

食堂就餐卡系统设计

极客李

学习总结

Geek_2e7dd7

ReentrantLock 公平锁和非公平锁源码分析

张sir

Java 多线程 Java 25 周年

食堂就餐卡系统架构设计

Cloud.

平台化服务的基石:隔离与交互策略模型

孤岛旭日

企业架构 用户权限 权限系统

虽则悲欢不尽相同

zhoo299

随笔

第一周总结

芒夏

极客大学架构师训练营

ARTS-week3

王钰淇

ARTS 打卡计划

架构训练营-食堂就餐卡管理系统

架构师训练营第一周总结

Cloud.

极客大学架构师训练营

架构师训练营-第一课学习总结

King

学习 感悟 极客大学架构师训练营

架构Twitter_Ruby_Steven Robbins_InfoQ精选文章