写点什么

Stack Overflow 2016 最新架构探秘

  • 2016-03-01
  • 本文字数:3547 字

    阅读完需:约 12 分钟

这篇文章主要揭秘 Stack Overflow 截止到 2016 年的技术架构。

首先给出一个直观的数据,让大家有个初步的印象。
相比于 2013 年 11 月,Stack Overflow 在 2016 年 02 月统计数据有较大变化,下面给出 2016 年 02 月 09 号一天的数据,如下:

  • HTTP 请求数 209,420,973 (+61,336,090)
  • 网页加载次数 66,294,789 (+30,199,477)
  • HTTP 流量发送有 1,240,266,346,053 (+406,273,363,426) 字节 (1.24 TB)
  • 接收数据总量 569,449,470,023 (+282,874,825,991) 字节 (569 GB)
  • 发送数据总量 3,084,303,599,266 (+1,958,311,041,954) 字节 (3.08 TB)
  • SQL 查询数 (HTTP 请求)504,816,843 (+170,244,740)
  • Redis 命中数 5,831,683,114 (+5,418,818,063)
  • Elastic 查询次数 17,158,874 (未计入 2013 年的数据)
  • 标签引擎请求次数 3,661,134 (+57,716)
  • SQL 查询耗时 607,073,066 (+48,848,481) 毫秒 (168 小时)
  • Redis 命中耗时 10,396,073 (-88,950,843) 毫秒 (2.8 小时)

你很难想象到.NET 技术架构能够在每天 6100 万请求的情况下减少 757 小时的处理时间 (相比于 2013 年)。这些改善既得益于 2015 年早期的硬件设备升级,也跟软件的性能优化有极大的关系。

那么最近两年在硬件上有什么变化呢?以下为截止到目前为止的硬件列表:

  • 4 台数据库服务器(微软 SQL Server),其中两台更新硬件配置
  • 11 台 Web 服务器(IIS),都已更新硬件配置
  • 2 台分布式缓存和消息处理服务器(Redis),都已更新硬件配置
  • 3 台应用服务器(实现了 tag 引擎功能),其中两台为新硬件配置
  • 3 台搜索服务器(ElasticSearch),配置同 2013 年
  • 4 台负载均衡服务器(HAProxy),其中新增加的两台用于支持 CloudFlare 的 CDN 加速服务
  • 2 台网络交换机(每个都是 Cisco Nexus 5596 + Fabric Extenders,并升级网卡 10Gbps)2 台 Fortinet 800C(替代 2 台 Cisco 5525-X ASA 防火墙)
  • 2 台 Ciso ASR-1001 路由器(替代 2 台 Cisco 3945 路由器)
  • 2 台 Ciso ASR-1001-x 路由器

为了支撑 Stack Overflow 运行,那需要做点什么呢?其实跟 2013 年相比并没有什么显著变化,只是做了前面提到的硬件升级和程序的性能优化。
现有系统一般都不会完全隔离开来,Stack Overflow 也不列外。一图胜千言,下面给出 Stack Overflow 的整体架构效果图。本篇文章仅给出硬件整理的逻辑架构的亮点,具体的硬件细节部分将在下一篇文章详细介绍。
图 1 是机架 A(在 2015 年 2 月升级的)的实物图片展示。

图 1
现在来给出主要系统的逻辑架构图,如图 2。

图 2

基本规则

首先给出全局的通用规则:

  • 万事需要备份
  • 所有服务器和网络交换机要至少 2 x 10Gbps 带宽
  • 所有服务器配备两个电源(带有 UPS 电源备用)
  • 所有服务器在机架 A 和 B 上互为冗余
  • 所有服务器和服务都有异地双活(纽约机房和科罗拉多州机房)

网络服务

首先,用户去 Stack Overflow 网站浏览就要通过 Internet。为了让用户浏览网站的速度更快 Stack Overflow 采用 CloudFlare 的 CDN 加速。这里使用 CloudFlare 服务是因为它们的 CDN 服务器遍布全球。
紧接着,用户的 HTTP 流量通过四大 ISP 提供商(Level 3,Zayo,Cogent 和 Lighttower),经过四台路由器。Stack Overflow 通过标准的边界网关协议(BGP)来均衡所有的流量以便用户更有效率的打开网站。Stack Overflow 的工程师 Nick Craver 建议在两个异地数据中心采用一个 10 Gbps MPLS,这样在出现突发情况下可以快速的恢复和复制数据。

负载均衡(HAProxy)

负载均衡使用的 HAProxy 1.5.15 和 CentOS 7,并在 HAProxy 加入安全传输层协议(TLS/SSL)。后续会升级 HAProxy 到 1.6 版本来支持 HTTP/2。

负载均衡器配备 2 对 10Gbps 网络。Stack Overflow 通过加内存来有效的解决安全套接层(SSL)问题。缓存安全传输层协议 (TLS) 会话到内存加以重复使用,这样可以减少对于同一台客户端连接的重复计算,到达提升会话的速度和成本。况且 RAM 相当便宜,实现了双赢的效果。

负载均衡器的设置是相当的简单。它们监听各路 IPs,并进行路由分发。Stack Overflow 还做了负载均衡限流和监控 HAProxy 的日志做到及时报警。

Web 层架构(IIS 8.5,ASP.Net MVC 5.2.3,和.Net 4.6.1)

Stack Overflow 经过负载均衡层导入流量到 9 台 Web 服务器(“primary”服务器),另外两台做网站元数据等环境管理。除 meta.stackoverflow.com 和 meta.stackexchange.com 外,Stack Overflow、Careers 和 Stack Exchange 网站业务都在“primary”服务器运行。

在监控平台 Opserver 上可以看到,Stack Overflow 在 Web 层的分布,见图 3

图 3
更直观的看下对应的 web 服务器的图形展示,见图 4

图 4

服务层(IIS,ASP.Net MVC 5.2.3, Net 4.6.1 和 HTTP.SYS)

在整体逻辑架构图上可以清晰的看到,紧挨着 Web 层的是服务层(部署在 Window 服务器 Windows 2012R2 上)。其有两个重要的功能:tag 应用服务器(基于 http.sys)和 API(基于 IIS)。为了提升这两个服务做了非常多的冗余,但不超过 9 倍的冗余。举个列子,从数据库加载所有的网页和对应的 tags 变化(每 n 分钟(当前设置为 2 分钟))是非常耗时的。这里只需要加载三次即可保证安全。Stack Overflow 也同时在硬件层做了相关的优化。Tag 应用服务是一个比较复杂的 topic,这里简单说下,当你访问 /questions/tagged/java 就使用 tag 应用服务。还有所有 /search 和导航也都是用的这些数据服务。

缓存 & 发布 / 订阅(Redis)

Stack Overflow 在缓存层用 Redis,Redis 服务器 256GB 内存,采用 master/slave 结构部署,尽管每个月 16000 万的 ops,每个实例的 CPU 使用率也在 2% 之下。

图 5
Redis 所在服务器有 L1/L2 高速缓存,Web 服务的 HTTP 缓存设置在一级缓存 L1 中,Redis 缓存在二级缓存 L2。当用户访问在一级缓存 L1 中未命中后会去二级缓存中的 Redis 取值,这些值以 Protobuf 格式存储,并以 protobuf-dot-net 解析。Redis 客户使用的 StackExchange.Redis (Stack Overflow 内部实现并开源了)。如果 web 服务在 L1 和 L2 两级缓存都未命中,则会直接去原始数据源获取(比如,数据库查询,API 回调等),然后并把获取到的结果缓存到本地和 Redis 中,这时其它服务未命中 L1 高速缓存便会去二级缓存 L2/Redis 中获取,节省了调用数据库查询或者 API 回调的访问时间。

大部分运行的问答网站都有自己的 L1/L2 高速缓存,通过 L1 缓存 Key 前缀、L2/Redis 缓存数据库 ID。

尽管 Redis 主要是用来缓存,但也起到一个消费和订阅的功能,Redis 可以推送一个消息,然后其他订阅者来订阅消息(包括下游的 Redis 从库在订阅消息)。

Websockets (NetGain)

Websockets 实时的推送消息(比如,顶栏的通知,投票,新的答案和评论)给用户。
Sockets 服务器运行在 web 层, NetGain 是 Stack Overflow 实现的一个轻量级高性能实时的开源消息中间件。高峰期可达到 50 万并发的 websocket 连接。
下图展示的是一周 websocket 并发情况:

图 6

Search (Elasticsearch)

Stack Overflow 的工程师 Nick Craver 表示搜索层并没有激动人心的部分。在 web 层采用 Elasticsearch 1.4,并内部实现了高性能的 StackExchange.Elastic 客户端,此部分代码未开源。Stack Overflow 使用 Elastic 来查询相关的问答。

每个数据中心都有一个 Elasticsearch 集群,包含三个节点,每个都建有自己的索引。三个 Elasticsearch 集群全部使用 SSD 存储,192GB 内存和双 10Gbps 网卡。

Stack Overflow 使用 Elasticsearch 代替先前的 SQL 全排索引,主要因素是:Elasticsearch 的扩展性和低成本。

数据库(SQL Server)

SQL Server 是 Stack Overflow 唯一的源数据库,所有 Elastic 和 Redis 的数据都来自 SQL Server。使用微软的 SQL Server 监控组件 AlwaysOn Availability Groups 部署了两个 SQL Server 集群。每个集群有一个主库,一个数据备份在纽约,另一个数据备份在 Colorrado 数据中心。所有备份是异步复制。
第一个集群硬件配置:Dell R720xd 服务器,384G 内存,4TB SSD 存储,双 12 核 CPU;第二个集群硬件配置:Dell R730xd 服务器,768G 内存,4TB SSD 存储,双 8 核 CPU。
所有数据库过去 24 小时 CPU 监控图如图 7 所示,大部分情况 CPU 使用率较低,偶尔做下缓存任务时会高些。图中 NY-SQL02 和 04 是主库,01 和 03 是备份库。

图 7

纵观全文,Stack Overflow 整体架构并没有采用那些非常高端的技术,却造就了一个 IT 界最受欢迎的问答网站之,这是非常不错的。其中每项使用到的技术都进行了深入的研究并开源分享给社区,国内的公司可以从中获得一些启发。


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群InfoQ 好读者(已满),InfoQ 读者交流群(#2)InfoQ 好读者)。

2016-03-01 18:0010404
用户头像

发布了 43 篇内容, 共 29.6 次阅读, 收获喜欢 7 次。

关注

评论

发布
暂无评论
发现更多内容

你只修改了2行代码,为什么需要两天时间?

Java架构师迁哥

一个改变世界的“箱子”

阿里巴巴云原生

Docker 阿里云 容器 云原生 k8s

有了Git这个功能,再也不需要依赖IDE了!

编程 架构

《构建高性能WEB站点》.pdf

田维常

架构

XMEX交易所系统软件开发|XMEX交易所APP开发

系统开发

即构SDK12月迭代:新增多项质量回调,互动白板、云录制SDK同步更新

ZEGO即构

BAT等大厂面试复习资料文档整理:ActiveMQ+redis+Spring+高并发多线程+JVM

Java架构之路

Java 程序员 架构 面试 编程语言

如何在软件发布计划中自动化语义化版本与变更日志

华为云开发者联盟

自动化 工具 发布

手把手教你免费获取正版 Jetbrains 全家桶 License

郭旭东

ide JetBrains

阿里三面惨遭被虐,spring,jvm,mybatis,并发编程等一窍不通

Java架构之路

Java 程序员 架构 面试 编程语言

基于LiteOS Studio零成本学习LiteOS物联网操作系统

华为云开发者联盟

操作系统 物联网 华为云

SpringBoot魔法堂:应用热部署实践与原理浅析

设计原则 框架 spring Boot Starter

赶紧看!阿里架构师必备“绝杀版”Tomact架构笔记堪称绝技

比伯

Java tomcat 编程 架构 程序人生

没弄懂这些Java基础,简历上千万别写熟悉:异常+反射+注解+泛型

小Q

Java 学习 编程 面试 基础

LeetCode题解:429. N叉树的层序遍历,BFS,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

探营苏州数字人民币试点

CECBC

数字人民币

我叫你不要重试,你非得重试。这下玩坏了吧?

比伯

Java 编程 架构 面试 程序人生

海淀区政府携手百度,打造数字政务时代新门户

DT极客

终于学完了阿里云大数据架构师推荐的Flink入门与实战PDF

小Q

大数据 flink 学习 编程 面试

Mybatis是如何解析配置文件的?

田维常

mybatis

社区团购大战升级:零售行业再次面临挑战

石头IT视角

快来!开源一份阿里微服务指导手册:springBoot+springCloud+MQ

小Q

学习 面试 微服务 MQ SpringCloud

终于有人通过笔记+脑图+视频的模式把Spring源码讲明白了

Java架构追梦

Java 学习 架构 面试 spring源码

工作日志:一文总结HBase从搭建到实操,大家一起进步

小Q

大数据 学习 编程 面试 HBase

聚焦LS-MIMO的四大层面,浅谈5G关键技术

华为云开发者联盟

华为 5G 华为云

盘点 2020 | 坚持写技术博客一年能有多少收获!

小傅哥

Java 小傅哥 技术人 盘点2020

互联网新规鼓励保险与大数据、区块链等新技术融合!业内呼吁配套产品管理制度尽快出炉

CECBC

互联网金融

Athena雅典娜交易所系统开发|Athena雅典娜交易所软件APP开发

系统开发

破51项国际榜单纪录!解读华为云擎天架构调度求解引擎

华为云开发者联盟

华为 架构 华为云

网络入门模拟器:Cisco Packet Tracer 实验教程

BATJ面试常被问到的100+题:Spring+微服务+SpringMVC+MyBatis

Java架构之路

Java 程序员 架构 面试 编程语言

Stack Overflow 2016最新架构探秘_语言 & 开发_侠天_InfoQ精选文章