写点什么

《天空之城》助 Twitter 刷新纪录,新架构功不可没

  • 2013-08-25
  • 本文字数:1461 字

    阅读完需:约 5 分钟

本月,宫崎骏大师的《天空之城》在NTV 迎来其第14 次电视重播,剧情发展到高潮之时,“Blase 祭”也将Twitter 的TPS(Twitters per second)推上了新的高度——143,199 TPS,Twitter 一般每天会发出5 亿多条微博,平均5700 TPS,新纪录是平均值的25 倍。

Twitter 的“大鲸鱼”曾为人津津乐道,每次 Twitter 出现故障都会挂出大鲸鱼,但细心的朋友一定已经注意到“大鲸鱼”的出镜率越来越低了。自 2010 年世界杯后,Twitter 便开始了大刀阔斧的架构重构,如今的 Twitter 早已不再是那个全球最大的基于 Ruby on Rails 的 Web 站点了。Raffi Krikorian 在 Twitter 的官方博客中介绍了新架构是如何应对 14.3 万 TPS 这一高峰的。

在开始重构前,他们为自己定下了三个目标:

  • 新架构能在性能、效率、可靠性上有所突破,即改善用户体验到的延时,减少 10 倍的服务器数量,在故障面前,基础设施能做到故障隔离。
  • 实现一个松耦合的面向服务的模型,鼓励系统级的封装和模块化。
  • 能更快地让新功能发布到线上。

Twitter 曾经是 Rails 的“金字招牌”,发展初期大量使用了 Rails,但后来 Twitter 从 Ruby 转向了 Scala,一度让人们认为 Ruby 的性能问题阻碍了 Twitter 的发展,而 Linkedin Iron.io 从 Ruby 转向其他语言,也加重了大家对 Ruby 性能的顾虑。其实,Ruby 并非幕后真凶,Rails 才是!为了提供一站式的 Web 建站设施,Rails 默认提供了太多的功能,正如范凯在其博客中说的那样:

Rails 适合开发 Website,但不太适合 Web Service,而移动时代的发展趋势就是:未来服务器端会更多的使用 Web Service 而不是 Website,这也意味着 Rails 将越来越不适合时代的发展。

虽然 Ruby 有点冤,但是 Twitter 却在从 Ruby 到 JVM 的转型中实实在在地得到了好处。Twitter 在 JVM 上实现了它的搜索引擎、流 API 和社交图谱,这让其服务器的吞吐量从每秒处理 200 到 300 个请求提升到了 10000 到 20000 个请求,带来了 10 倍以上的性能提升。

SOA 化也是 Twitter 重构中的重点,从一个庞大的 Ruby 应用拆分为多个相对独立、边界清晰的小系统,专注于各自的服务,服务之间通过 Finagle 实现 RPC 调用。很多知名的互联网站点都有过类似的经历,比如大家所熟知的支付宝和阿里巴巴,支付宝的首席架构师程立就曾在InfoQ 上分享过自己在大规模SOA 系统上的经验;在RPC 框架方面,阿里巴巴也有自己的 Dubbo 框架

存储上,Twitter 对原先的 MySQL 主从结构做了调整,对数据库进行了拆分,在此期间,他们还开发了一系列的框架,比如 Gizzard Snowflake 。淘宝也同样对数据库进行了拆分,大量地分库分表,并且开源了自己的TDDL 框架由此可见,国内外的各大网站当发展到一定规模之后,必然会采取一些类似的措施来保证自己能够进一步发展下去,正所谓“英雄所见略同”。

博文中还提到了监控与开关相关的内容,例如与Finagle 整合在一起的Viz 和 Zipkin ,能方便地对每个请求进行监控。而他们的 Decider 系统集成在 Twitter 的所有服务里,这个系统类似一个开关,能够快速地对功能进行切换,甚至能让某个功能仅为指定百分比的用户提供服务,如此一来,可控的灰度发布就能成为可能。说到功能开关,乔梁曾在介绍百度的持续交付经验时也提到过类似的概念,不过他说的仅是控制特定功能的打开与关闭,显然 Twitter 的 Decider 更胜一筹。

除了这次的博文,Raffi Krikorian 去年在 QConSF 上还专门就 Twitter 的时间线优化做过分享,而著名的 HighScalability.com 上对 Twitter 的新架构也有介绍,如果您对 Twitter 的架构感兴趣,不妨再做进一步的了解,然后将您的体会分享给大家。

2013-08-25 09:374539
用户头像

发布了 135 篇内容, 共 60.6 次阅读, 收获喜欢 43 次。

关注

评论

发布
暂无评论
发现更多内容

RAG系统评测实践详细版:Coze及相关产品评测对比,以及下一代RAG技术

汀丶人工智能

rag

亚马逊国际商品详情API返回值:电商精准营销的关键

技术冰糖葫芦

API Gateway API 接口 API 文档 API 测试 pinduoduo API

简化部署流程:Rainbond让Jeepay支付系统部署更轻松

北京好雨科技有限公司

Kubernetes 云原生 rainbond 企业号10月PK榜

用AI构建小程序可行吗?

FinFish

AI技术 小程序容器 小程序开发 AI开发小程序 前端页面开发

好用的文件对比工具:Beyond Compare 4 (Win&Mac) 中文版

你的猪会飞吗

Beyond Compare 4 for Mac Beyond Compare 4 下载

规模之大刷新世界纪录,Cloudflare成功抵御3.8Tbps的DDoS攻击

网络安全服务

udp 端口 web服务器 Cloudflare DDoS 攻击

深入分析与解决方案:缓存与数据库双写不一致问题

快乐非自愿限量之名

数据库 spring 缓存

低代码:数字化转型的领航人

EquatorCoco

低代码

电商数据化运营:阿里巴巴商品详情API返回值的实际应用

技术冰糖葫芦

API 接口 API 文档 API 测试 pinduoduo API

京东商品详情API接口(JD.item_get)并发策略:提升数据抓取效率

tbapi

京东API接口 京东商品详情接口 京东商品数据接口

在C#中使用适配器Adapter模式和扩展方法解决面向对象设计问题

不在线第一只蜗牛

C# .net

荣誉|奇点云入选“2024年成长型浙江数商”名单

奇点云

人工智能 互联网 软件

打造一站式应用内支付体验,助力开发者商业增长

HarmonyOS SDK

HarmonyOS

软件测试学习笔记丨allure学习指南

测试人

软件测试

[python] 基于PyOD库实现数据异常检测

快乐非自愿限量之名

Python 开发语言

哪些文档管理工具适合你的企业?9个推荐

爱吃小舅的鱼

文档管理系统

语音生成公司 ElevenLabs 估值达 30 亿美元;OpenAI Realtime API 很好也很贵丨RTE 开发者日报

声网

开发高并发体育直播平台:应对百万用户的技术关键

软件开发-梦幻运营部

企业文档管理困扰?看看这9款文档管理软件

爱吃小舅的鱼

文档管理软件

再谈如何优雅修改代码

EquatorCoco

代码 项目开发

哭晕,腾讯的面试太难了。。。

王中阳Go

Go 面试 后端

NL2SQL之DB-GPT-Hub<详解篇>:text2sql任务的微调框架和基准对比

汀丶人工智能

NL2SQL

2024-10-08:用go语言,给定一个字符串 word 和一个整数 k,判断是否可以通过删除最少数量的字符使得该字符串成为 k 特殊字符串。 其中,k 特殊字符串满足字符串中任意两个字符的出现频率

福大大架构师每日一题

福大大架构师每日一题

SD-WAN怎样满足企业网络的需求

Ogcloud

SD-WAN SD-WAN组网 SD-WAN服务商 SDWAN SD-WAN国际专线

DApp智能合约开发:交易平台定制化与系统成品开发

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 NFT开发 公链开发

HelixFold 3 全球首个完整复现 AlphaFold 3,百度智能云 CHPC 为人类生命探索提供算力平台支撑

百度Geek说

百度 大数据‘’ 算法、

很好也很贵?OpenAI Realtime API 一手体验和 Voice AI 的未来 |播客《编码人声》

声网

C++函数指针详解

不在线第一只蜗牛

Java c++ JVM

高效开发Maven架构设计图解/掌握项目工程自动化技巧(精通篇三)

肖哥弹架构

maven 效能

如何提升工作效率?9款文档管理软件助力

爱吃小舅的鱼

文档管理软件工具

《天空之城》助Twitter刷新纪录,新架构功不可没_SOA_丁雪丰_InfoQ精选文章