写点什么

构建高可用的缓存集群的开源解决方案

  • 2014-10-27
  • 本文字数:1032 字

    阅读完需:约 3 分钟

很多应用都通过使用缓存来避免所有的请求都查询数据库,以加快系统的响应速度, Memcached 是常用的缓存服务器(现在比较流行的还有 Redis ),它一个高性能的分布式内存对象缓存系统,旨在通过缓存数据库查询结果,减少数据库的访问次数。但是在运行多个 Memcached 服务器时,往往还需要考虑其它的问题,比如缓存一致性、缓存失效等,缓存一致性是指要保证多个 Memcached 服务器中数据的一致,缓存失效的后果相对来说比较严重,当在大并发访问的场景下,如果 Memcached 缓存失效,所有请求会在同一瞬间并发访问数据库,可能会导致数据库宕机。为了保证缓存系统的稳定和高可用,很多公司都研发了相应的系统。本文汇总了 Twitter、Facebook、Youtube 在缓存方面的解决方案,供读者参考。

  1. Twitter 的 Redis/Memcached 代理服务:Twemproxy
    Twemproxy 是一个使用 C 语言编写的 Redis 和 Memcache 代理服务器,通过引入一个代理层,将应用程序后端的多台 Redis 或 Memcached 实例进行统一管理,使应用程序只需要在 Twemproxy 上进行操作,而不用关心后面具体有多少个真实的 Redis 或 Memcached 实例。当某个节点宕掉时,Twemproxy 可以自动将它从集群中剔除,而当它恢复服务时,Twemproxy 也会自动连接。由于是代理,所以 Twemproxy 会有微小的性能损失。
  2. Facebook 的 Memcached 协议路由器:McRouter
    McRouter 是一个使用 C++(主要语言,使用了大量的 C++ 11 特性)开发的基于 Memcached 协议的路由器,它是 Facebook 和 Instagram 缓存架构的核心组件,在高峰时期可以处理近 50 亿请求。McRouter 中客户端可以共享连接池,这样能减少连接的数量。McRouter 可以根据 key 前缀把客户端分配到不同的 Memcached 池中,允许以主机、池或者集群为单位设置任何请求的速率的阀值, 同时也支持限制请求的速度以减缓请求的发送速度,以保障服务质量。
  3. Youtube 的 Mysql 中间件:Vitess
    缓存层存在的初衷是减少应用与数据库的交互,以提高响应时间,与其将缓存与数据库分离,不如直接将缓存嵌入数据库中。 Vitess 是 Youtube 的开源分布式 MySQL 工具集,主要使用 Go 语言编写,已经用于 Youtube 生产环境。Vitess 支持行级缓存,并与 Memcached 进行了集成,可以有效提高带主键查询的速率,查询只有在 Memcached 中查询不到时才会进入数据库查询,而当数据被修改或者数据库表结构发生变化时,缓存数据会被删除。

另外,还有一些未开源的解决方案,比如 Box 的 Tron。同时,InfoQ 也非常关注国内相关问题的解决方案,欢迎读者在评论中留言与我探讨。

2014-10-27 06:026563
用户头像

发布了 219 篇内容, 共 143.8 次阅读, 收获喜欢 194 次。

关注

评论

发布
暂无评论
发现更多内容

架构师训练营第四周课后作业

赵凯

高并发 高并发系统设计

一个典型的大型互联网应用系统使用了哪些技术方案和手段

史慧君

第四周-命题作业

天之彼方

中国人口红利将转化成工程师红利,但是这到底是谁的红利?是程序员的悲哀还是无奈?

非著名程序员

程序员 工程师 工程师红利 无代码开发

如何做互联网系统架构

dapaul

极客大学架构师训练营

架构师训练营 0 期第四周

Blink

架构师训练营 第四周 学习总结

亮灯

架构师训练营总结 -4

River Tree

学习 极客大学架构师训练营

架构师训练营第4周作业

aoeiuvzcs

揭秘金山云云游戏PaaS服务平台背后的视频编码技术

Geek_116789

架构师训练营第四周作业

zongbin

极客大学架构师训练营

第四周总结

安阳

系统架构知识总结

史慧君

想解耦必分层

菜根老谭

程序员 架构思维 分层思维

架构师训练营第 4 周 _ 学习总结

方舟勇士

课程总结

区块链系列教程之:比特币中的共识

程序那些事

比特币 区块链 共识与信任 分叉

一个典型的大型互联网应用系统使用了哪些技术方案和手段(作业)

互金从业者X

一文读懂 TypeScript 泛型及应用

阿宝哥

Java typescript 大前端

大型网站技术架构--概述

wei

week3课题作业

架构师训练营第四周学习总结

赵凯

互联网架构设计

关于系统架构学习总结

imicode

Homework- 典型的大型互联网应用系统

River Tree

Homework 大型互联网应用系统

Redis系列(四):天天用着Redis集群,主从同步该知道吧?集群工作原理是否需要了解下?

z小赵

Java redis 高并发 高并发系统设计

架构师训练营第四周总结+作业

林毋梦

架构师训练营第 4周 _ 课后作业

方舟勇士

课程作业

点赞功能,你用 MySQL 还是 Redis ?

Java小咖秀

MySQL redis 分布式 分布式系统 经验

架构训练营 0 期总结 -- 第四周

互金从业者X

k8s 上运行我们的 springboot 服务之——flume同步数据到到clickHouse

柠檬

k8s log Clickhouse SpringBoot 2

一文彻底掌握二叉查找树(多组动图)

淡蓝色

Java 数据结构 算法

大型互联网系统技术总结

dapaul

极客大学架构师训练营

构建高可用的缓存集群的开源解决方案_DevOps & 平台工程_小盖_InfoQ精选文章