William McKnight 谈面向列的数据库

对于某些业务用例而言，面向列的数据库（columnar database）可提供比传统的关系数据库管理系统（RDBMS）更好的数据存储能力。在不久前召开的 NoSQL Now 2011 大会上，William McKnight 针对面向列的数据库以及如何在某些数据存储需求下有效地利用它们进行了演讲。

他说，使用RDBMS 作为解决方案（此类解决方案都是基于行方式设计的。）的数据查询会发送大量数据。数据输入/ 输出（I/O）已成为目前数据处理需求中的真正瓶颈，更好的情形是，当你在那儿的时候能获得更多数据。为了避免这个问题唯一要做的就是解决输入/ 输出瓶颈，这才是你真正需要做的事情。面向列的数据库提供按需挑列的能力，而不是先获取整行，当数据检索完成后其中多列（开销）又不用。在要求工作负载只占整列字节数很小百分比的使用情况下，面向列的数据库可提供更好的解决方案。

在面向列的数据库中，数据存储在所有列保持同一顺序的多列中。William 讨论了关系数据库记录的数据页面布局，并与列数据库表进行了比较。在这种行页设计（在RDBMS 数据库中）中存在一些开销，因为进行数据查询时会用到行扫描或索引扫描，而且让所有数据都参与其中可能是个昂贵的选择。他展示了一个数据查询实例，在基于行的数据库中完成此查询用了50 万次输入/ 输出，而在面向列的数据库中仅用了235 次输入/ 输出。

有许多不同的面向列的数据存储选项可供使用，例如，分解存储模型（Decomposed Storage Model）、位置表示法（Positional Representation）、改良的B 树/ 行长度加密（Modified B-Tree/Row Length Encryption）、以及位图（Bitmap）。他还谈到了物化（materialization）策略，其中包括“投影”功能（Function of ‘projection’）、早期和晚期物化（Early and Late Materialization）。

一些面向列的数据库厂商有 Vertica 、 ParAccel 、 Sybase IQ 、 InfoBright 、Exasol、VectorWise，还有些开源产品，例如 MonetDB 和 InfiniDB 。

William 说，基于关系行的数据仓库（data warehouse）和数据集市（data mart）将仍然存在。除了数据仓库和 Hadoop 之外，你将拥有以快得多的速度来处理数据的面向列的数据库。他在结束发言时说道，数据库设计者应该从良好的设计原则入手，然后决定你想把数据放在基于行还是基于列的解决方案中。

查看英文原文： William McKnight on Columnar Databases