写点什么

存储系统设计中的二八定律

  • 2015-01-07
  • 本文字数:1144 字

    阅读完需:约 4 分钟

二八定律又名帕累托法则、不平衡原则等,它是一种不均匀分布的理论,已被广泛应用于社会学、企业管理学以及经济学中。同样,该定律也适应于计算机科学领域,如应用负载、磁盘访问、存储系统设计等也都是不均匀的随机分布。近日,存储服务初创公司 Coho Data 的联合创始人兼 CTO Andy Warfield 发表了一篇关于在存储系统设计中二八定律应用的博文。在博文中,Andy Warfield 对二八定律进行了介绍,并指出 Facebook 为大规模的应用程序而设计的存储系统也利用了这种原理。

Andy Warfield 指出他们首先对最近 11 个开发者的台式机存储数据进行了为期一年的跟踪记录,这些记录包括大概 76 亿次的 IO 操作和在 5TB 存储数据上进行的超过 28TB 传输量。Andy 通过初始容量与时间比例分析发现,这些数据很不均匀,如 11 台台式机上共存储有 5.1TB 的数据,这其中还有 627GB(大约 21%)的数据在一个月内很少被访问,3.1TB 的数据在整整一年中没有被访问, 如下图所示:

通过以上分析结果图,Andy 还得出了以下两个新观点:

首先,使用 LRU (最近最少使用算法)作为一个填充快速内存的模型能够估算来自服务(或缓存)的请求比例。另外,随着将快速存储介质添加到系统中,访问命中率也在增长。

其次,通过该图还可以计算出基于访问的标准成本,而不是基于每 GB 的存储成本。伴随着缓存的不停增加,访问命中率却在下降。要实现 100% 的命中率所花费的金钱是最初使用最小高速缓存而实现 35% 命中率所花费的 11 倍多。因此,数据访问的成本将会变得更加昂贵。

关于如何解决分布不均匀的问题,Andy 认为不应该把资金花费在提高冷数据的访问性能上,而应该将资金花费在如何提高热数据的访问性能上。

Andy 认为当前的存储领域也发生了巨大变化,固态存储已不单单有 SATA/SAS SSD、PCIe/NVMe 和 NVDIMM 三种选择,且每个选择的成本和性能都有很大的差别。因此,即使没有磁盘,存储系统仍需要混合介质,只有通过混合形式才可以实现高性能与卓越的价值。一个混合存储系统仍然需要使用磁盘,且应该把热数据存储在高性能的内存中。同样,一个全闪存阵列 AFA 可能由三个甚至更多不同类型的混合存储介质。为了最大程度地提高混合存储的性能,Andy 还研究了一个新算法

最后,Andy 还指出不均匀分布的广泛性以及正因为二八定律才使得系统设计能够服务于最受关注的事物上(如高速公路和农村公路、核心互联网路由器、中心城市交通运输系统等的设计),并提供高性能的服务。对于存储系统的设计也不例外,构建存储系统尤其需要细心地对工作负载进行响应式分析,以确定存储规模并满足实际应用的需要。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-01-07 03:385144
用户头像

发布了 92 篇内容, 共 47.6 次阅读, 收获喜欢 5 次。

关注

评论

发布
暂无评论
发现更多内容

服务器运维环境安全体系(下篇)

融云 RongCloud

只需八步将小程序一键打包生成App

Geek_99967b

小程序 小程序转app

手慢无!阿里P8架构师力荐Spring生态全家桶全彩笔记

Java全栈架构师

spring 编程 源码 程序员 面试

GameFi新的启程,AQUANEE将于6.9日登陆Gate以及BitMart

BlockChain先知

IPSec的特征与功能

阿泽🧸

6月月更 IPsec

SpringBoot应用使用自定义的ApplicationContext实现类

程序员欣宸

Java spring springboot Spring Framework 6月月更

Vue-4-模板语法-1

Python研究所

前端 6月月更

python小知识-python作用域和闭包

AIWeker

Python python小知识

Django API 开发:视图设置和路由

宇宙之一粟

django 6月月更

SDN特有的网络安全问题

穿过生命散发芬芳

SDN网络 6月月更

马志强:语音识别技术研究进展和应用落地分享丨RTC Dev Meetup

声网

音视频 语音识别

hashmap的底层机制

卢卡多多

集合 6月月更

『Three.js』起飞!

德育处主任

JavaScript canvas 前端可视化 three.js 6月月更

致广大、尽精微,曙光问道算力服务“神经系统”

脑极体

Java异常处理机制

未见花闻

6月月更

企业无忧 | Apipost私有化部署活动即将火热开启

Xd

后端 apipost 接口测试工具

漫谈测试覆盖率

老张

软件测试 质量保障 质量度量

知识图谱、图数据平台、图技术如何助力零售业飞速发展

GPU算力

图计算 图数据分析 图数据一体机

linux之Ansible快速入门

入门小站

Linux

SAAS服务能有哪些优势

Geek_99967b

小程序 SaaS SaaS系统架构

设计千万级学生管理系统的考试试卷存储方案

Fan

架构师实战营

流程测试支持批量参数导入,测试效率直接拉满!

Xd

数据库 后端 接口测试 测试工具

运算符 (第二天)

Jason199

运算符 js 6月月更

Vue中created和mounted的区别

devpoint

Vue Vue3 InfoQ极客传媒15周年庆

【首发】根据壁纸修改App主题,它真的来了

yechaoa

android 6月月更 material design

浅谈企业自媒体如何才能脱颖而出

石头IT视角

在线文本字符串批量替换工具

入门小站

工具

Python时区转换的两种方式

红毛丹

Python 6月月更

【LeetCode】最长连续序列Java题解

Albert

LeetCode 6月月更

在线JSON转CSV工具

入门小站

工具

MySql事务

工程师日月

6月月更

存储系统设计中的二八定律_语言 & 开发_李士窑_InfoQ精选文章