QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Stack Overflow 2016 最新架构探秘

  • 2016-03-01
  • 本文字数:3547 字

    阅读完需:约 12 分钟

这篇文章主要揭秘 Stack Overflow 截止到 2016 年的技术架构。

首先给出一个直观的数据,让大家有个初步的印象。
相比于 2013 年 11 月,Stack Overflow 在 2016 年 02 月统计数据有较大变化,下面给出 2016 年 02 月 09 号一天的数据,如下:

  • HTTP 请求数 209,420,973 (+61,336,090)
  • 网页加载次数 66,294,789 (+30,199,477)
  • HTTP 流量发送有 1,240,266,346,053 (+406,273,363,426) 字节 (1.24 TB)
  • 接收数据总量 569,449,470,023 (+282,874,825,991) 字节 (569 GB)
  • 发送数据总量 3,084,303,599,266 (+1,958,311,041,954) 字节 (3.08 TB)
  • SQL 查询数 (HTTP 请求)504,816,843 (+170,244,740)
  • Redis 命中数 5,831,683,114 (+5,418,818,063)
  • Elastic 查询次数 17,158,874 (未计入 2013 年的数据)
  • 标签引擎请求次数 3,661,134 (+57,716)
  • SQL 查询耗时 607,073,066 (+48,848,481) 毫秒 (168 小时)
  • Redis 命中耗时 10,396,073 (-88,950,843) 毫秒 (2.8 小时)

你很难想象到.NET 技术架构能够在每天 6100 万请求的情况下减少 757 小时的处理时间 (相比于 2013 年)。这些改善既得益于 2015 年早期的硬件设备升级,也跟软件的性能优化有极大的关系。

那么最近两年在硬件上有什么变化呢?以下为截止到目前为止的硬件列表:

  • 4 台数据库服务器(微软 SQL Server),其中两台更新硬件配置
  • 11 台 Web 服务器(IIS),都已更新硬件配置
  • 2 台分布式缓存和消息处理服务器(Redis),都已更新硬件配置
  • 3 台应用服务器(实现了 tag 引擎功能),其中两台为新硬件配置
  • 3 台搜索服务器(ElasticSearch),配置同 2013 年
  • 4 台负载均衡服务器(HAProxy),其中新增加的两台用于支持 CloudFlare 的 CDN 加速服务
  • 2 台网络交换机(每个都是 Cisco Nexus 5596 + Fabric Extenders,并升级网卡 10Gbps)2 台 Fortinet 800C(替代 2 台 Cisco 5525-X ASA 防火墙)
  • 2 台 Ciso ASR-1001 路由器(替代 2 台 Cisco 3945 路由器)
  • 2 台 Ciso ASR-1001-x 路由器

为了支撑 Stack Overflow 运行,那需要做点什么呢?其实跟 2013 年相比并没有什么显著变化,只是做了前面提到的硬件升级和程序的性能优化。
现有系统一般都不会完全隔离开来,Stack Overflow 也不列外。一图胜千言,下面给出 Stack Overflow 的整体架构效果图。本篇文章仅给出硬件整理的逻辑架构的亮点,具体的硬件细节部分将在下一篇文章详细介绍。
图 1 是机架 A(在 2015 年 2 月升级的)的实物图片展示。

图 1
现在来给出主要系统的逻辑架构图,如图 2。

图 2

基本规则

首先给出全局的通用规则:

  • 万事需要备份
  • 所有服务器和网络交换机要至少 2 x 10Gbps 带宽
  • 所有服务器配备两个电源(带有 UPS 电源备用)
  • 所有服务器在机架 A 和 B 上互为冗余
  • 所有服务器和服务都有异地双活(纽约机房和科罗拉多州机房)

网络服务

首先,用户去 Stack Overflow 网站浏览就要通过 Internet。为了让用户浏览网站的速度更快 Stack Overflow 采用 CloudFlare 的 CDN 加速。这里使用 CloudFlare 服务是因为它们的 CDN 服务器遍布全球。
紧接着,用户的 HTTP 流量通过四大 ISP 提供商(Level 3,Zayo,Cogent 和 Lighttower),经过四台路由器。Stack Overflow 通过标准的边界网关协议(BGP)来均衡所有的流量以便用户更有效率的打开网站。Stack Overflow 的工程师 Nick Craver 建议在两个异地数据中心采用一个 10 Gbps MPLS,这样在出现突发情况下可以快速的恢复和复制数据。

负载均衡(HAProxy)

负载均衡使用的 HAProxy 1.5.15 和 CentOS 7,并在 HAProxy 加入安全传输层协议(TLS/SSL)。后续会升级 HAProxy 到 1.6 版本来支持 HTTP/2。

负载均衡器配备 2 对 10Gbps 网络。Stack Overflow 通过加内存来有效的解决安全套接层(SSL)问题。缓存安全传输层协议 (TLS) 会话到内存加以重复使用,这样可以减少对于同一台客户端连接的重复计算,到达提升会话的速度和成本。况且 RAM 相当便宜,实现了双赢的效果。

负载均衡器的设置是相当的简单。它们监听各路 IPs,并进行路由分发。Stack Overflow 还做了负载均衡限流和监控 HAProxy 的日志做到及时报警。

Web 层架构(IIS 8.5,ASP.Net MVC 5.2.3,和.Net 4.6.1)

Stack Overflow 经过负载均衡层导入流量到 9 台 Web 服务器(“primary”服务器),另外两台做网站元数据等环境管理。除 meta.stackoverflow.com 和 meta.stackexchange.com 外,Stack Overflow、Careers 和 Stack Exchange 网站业务都在“primary”服务器运行。

在监控平台 Opserver 上可以看到,Stack Overflow 在 Web 层的分布,见图 3

图 3
更直观的看下对应的 web 服务器的图形展示,见图 4

图 4

服务层(IIS,ASP.Net MVC 5.2.3, Net 4.6.1 和 HTTP.SYS)

在整体逻辑架构图上可以清晰的看到,紧挨着 Web 层的是服务层(部署在 Window 服务器 Windows 2012R2 上)。其有两个重要的功能:tag 应用服务器(基于 http.sys)和 API(基于 IIS)。为了提升这两个服务做了非常多的冗余,但不超过 9 倍的冗余。举个列子,从数据库加载所有的网页和对应的 tags 变化(每 n 分钟(当前设置为 2 分钟))是非常耗时的。这里只需要加载三次即可保证安全。Stack Overflow 也同时在硬件层做了相关的优化。Tag 应用服务是一个比较复杂的 topic,这里简单说下,当你访问 /questions/tagged/java 就使用 tag 应用服务。还有所有 /search 和导航也都是用的这些数据服务。

缓存 & 发布 / 订阅(Redis)

Stack Overflow 在缓存层用 Redis,Redis 服务器 256GB 内存,采用 master/slave 结构部署,尽管每个月 16000 万的 ops,每个实例的 CPU 使用率也在 2% 之下。

图 5
Redis 所在服务器有 L1/L2 高速缓存,Web 服务的 HTTP 缓存设置在一级缓存 L1 中,Redis 缓存在二级缓存 L2。当用户访问在一级缓存 L1 中未命中后会去二级缓存中的 Redis 取值,这些值以 Protobuf 格式存储,并以 protobuf-dot-net 解析。Redis 客户使用的 StackExchange.Redis (Stack Overflow 内部实现并开源了)。如果 web 服务在 L1 和 L2 两级缓存都未命中,则会直接去原始数据源获取(比如,数据库查询,API 回调等),然后并把获取到的结果缓存到本地和 Redis 中,这时其它服务未命中 L1 高速缓存便会去二级缓存 L2/Redis 中获取,节省了调用数据库查询或者 API 回调的访问时间。

大部分运行的问答网站都有自己的 L1/L2 高速缓存,通过 L1 缓存 Key 前缀、L2/Redis 缓存数据库 ID。

尽管 Redis 主要是用来缓存,但也起到一个消费和订阅的功能,Redis 可以推送一个消息,然后其他订阅者来订阅消息(包括下游的 Redis 从库在订阅消息)。

Websockets (NetGain)

Websockets 实时的推送消息(比如,顶栏的通知,投票,新的答案和评论)给用户。
Sockets 服务器运行在 web 层, NetGain 是 Stack Overflow 实现的一个轻量级高性能实时的开源消息中间件。高峰期可达到 50 万并发的 websocket 连接。
下图展示的是一周 websocket 并发情况:

图 6

Search (Elasticsearch)

Stack Overflow 的工程师 Nick Craver 表示搜索层并没有激动人心的部分。在 web 层采用 Elasticsearch 1.4,并内部实现了高性能的 StackExchange.Elastic 客户端,此部分代码未开源。Stack Overflow 使用 Elastic 来查询相关的问答。

每个数据中心都有一个 Elasticsearch 集群,包含三个节点,每个都建有自己的索引。三个 Elasticsearch 集群全部使用 SSD 存储,192GB 内存和双 10Gbps 网卡。

Stack Overflow 使用 Elasticsearch 代替先前的 SQL 全排索引,主要因素是:Elasticsearch 的扩展性和低成本。

数据库(SQL Server)

SQL Server 是 Stack Overflow 唯一的源数据库,所有 Elastic 和 Redis 的数据都来自 SQL Server。使用微软的 SQL Server 监控组件 AlwaysOn Availability Groups 部署了两个 SQL Server 集群。每个集群有一个主库,一个数据备份在纽约,另一个数据备份在 Colorrado 数据中心。所有备份是异步复制。
第一个集群硬件配置:Dell R720xd 服务器,384G 内存,4TB SSD 存储,双 12 核 CPU;第二个集群硬件配置:Dell R730xd 服务器,768G 内存,4TB SSD 存储,双 8 核 CPU。
所有数据库过去 24 小时 CPU 监控图如图 7 所示,大部分情况 CPU 使用率较低,偶尔做下缓存任务时会高些。图中 NY-SQL02 和 04 是主库,01 和 03 是备份库。

图 7

纵观全文,Stack Overflow 整体架构并没有采用那些非常高端的技术,却造就了一个 IT 界最受欢迎的问答网站之,这是非常不错的。其中每项使用到的技术都进行了深入的研究并开源分享给社区,国内的公司可以从中获得一些启发。


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群InfoQ 好读者(已满),InfoQ 读者交流群(#2)InfoQ 好读者)。

2016-03-01 18:0010354
用户头像

发布了 43 篇内容, 共 29.4 次阅读, 收获喜欢 7 次。

关注

评论

发布
暂无评论
发现更多内容

Dataphin V3.6版来了!多项能力升级,助力企业提升全链路数据治理能力

瓴羊企业智能服务

Web3.0杂谈-#005(52/100)

hackstoic

元宇宙 Web3.0

Baklib|企业文档管过不来?试试新型文档管理

Baklib

Vue组件入门(四)组件注册

Augus

Vue 3 10月月更

Vue 组件通信六种方法

默默的成长

Vue 前端 10月月更

零信任时代企业如何提升访问权限的安全?

FinClip

从一个工程师成长看自动化运维的过程

阿泽🧸

自动化运维 10月月更

从 0 到 1 上手阿里云服务器 ECS(四)

六月的雨在InfoQ

Docker 阿里云 容器技术 ECS 10月月更

IaC示例:Terraform & Ansible自动化创建K3S集群

mengzyou

DevOps ansible IaC Terraform

Python进阶(十六)正则表达式

No Silver Bullet

Python 正则表达式 10月月更

分布式事务

C++后台开发

分布式 分布式事务 后端开发 linux开发 C++开发

Baklib|还在为客户服务繁琐感到麻烦?快用帮助中心

Baklib

《新手测试正确的打开方式》

测吧(北京)科技有限公司

软件测试 测试

算法评测在本地生活地图技术领域的探索和实践

阿里技术

算法 可解释

【一Go到底】第十三天---循环控制

指剑

Go golang 10月月更

FinClip | 2022 年 9月产品更新放送

FinClip

【kafka问题】记一次kafka消费者未接收到消息问题

石臻臻的杂货铺

Kafk 10月月更

Bklib|客户体验数字化转型成未来企业升级的新目标

Baklib

数字化转型

Vue 全部生命周期组件整理

默默的成长

Vue 前端 10月月更

Vue 状态过度

默默的成长

前端 Vue 3 10月月更

37手游基于云平台的大数据建设实践

Apache Flink

大数据 flink 实时计算

容器云PaaS平台建设中应关注的重点和难点

穿过生命散发芬芳

10月月更 容器云PaaS

数据库改造方案 | 同花顺、弘源泰平真实案例分享

TDengine

数据库 tdengine 时序数据库

SAP | 常见的命令字段格式

暮春零贰

SAP abap 10月月更

基于 Impala 的高性能数仓实践之物化视图服务

网易数帆

大数据 impala 企业号十月 PK 榜 物化视图 Calcite

转转推荐场景EE题解决思路

转转技术团队

深度学习 推荐系统

Baklib|FAQ页面是什么?为什么它是必要的?

Baklib

煤矿上的女孩

脑极体

免杀实战之面向PHP的WebShell免杀

网络安全学海

网络安全 安全 信息安全 渗透测试 WEB安全

Spring Boot「05」Annotations 02

Samson

Java Spring Boot 学习笔记 技术笔记 10月月更

Stack Overflow 2016最新架构探秘_语言 & 开发_侠天_InfoQ精选文章