写点什么

Druid:一个用于大数据实时处理的开源分布式系统

  • 2015-04-25
  • 本文字数:1297 字

    阅读完需:约 4 分钟

Druid 是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时,Druid 仍能够保持 100% 正常运行。创建 Druid 的最初意图主要是为了解决查询延迟问题,当时试图使用 Hadoop 来实现交互式查询分析,但是很难满足实时分析的需要。而 Druid 提供了以交互方式访问数据的能力,并权衡了查询的灵活性和性能而采取了特殊的存储格式。

Druid 功能介于 PowerDrill Dremel 之间,它几乎实现了 Dremel 的所有功能,并且从 PowerDrill 吸收一些有趣的数据格式。Druid 允许以类似 Dremel 和 PowerDrill 的方式进行单表查询,同时还增加了一些新特性,如为局部嵌套数据结构提供列式存储格式、为快速过滤做索引、实时摄取和查询、高容错的分布式体系架构等。从官方得知,Druid 的具有以下主要特征:

  • 为分析而设计——Druid 是为 OLAP 工作流的探索性分析而构建,它支持各种过滤、聚合和查询等类;
  • 快速的交互式查询——Druid 的低延迟数据摄取架构允许事件在它们创建后毫秒内可被查询到;
  • 高可用性——Druid 的数据在系统更新时依然可用,规模的扩大和缩小都不会造成数据丢失;
  • 可扩展——Druid 已实现每天能够处理数十亿事件和 TB 级数据。

Druid 应用最多的是类似于广告分析创业公司 Metamarkets 中的应用场景,如广告分析、互联网广告系统监控以及网络监控等。当业务中出现以下情况时,Druid 是一个很好的技术方案选择:

  • 需要交互式聚合和快速探究大量数据时;
  • 需要实时查询分析时;
  • 具有大量数据时,如每天数亿事件的新增、每天数 10T 数据的增加;
  • 对数据尤其是大数据进行实时分析时;
  • 需要一个高可用、高容错、高性能数据库时。

一个 Druid 集群有各种类型的节点(Node)组成,每个节点都可以很好的处理一些的事情,这些节点包括对非实时数据进行处理存储和查询的 Historical 节点、实时摄取数据、监听输入数据流的 Realtime 节、监控 Historical 节点的 Coordinator 节点、接收来自外部客户端的查询和将查询转发到 Realtime 和 Historical 节点的 Broker 节点、负责索引服务的 Indexer 节点

查询操作中数据流和各个节点的关系如下图所示:

如下图是 Druid 集群的管理层架构,该图展示了相关节点和集群管理所依赖的其他组件(如负责服务发现的 ZooKeeper 集群)的关系:

Druid 已基于 Apache License 2.0 协议开源,代码托管在 GitHub ,其当前最新稳定版本是 0.7.1.1 。当前,Druid 已有 63 个代码贡献者和将近 2000 个关注。Druid 的主要贡献者包括广告分析创业公司 Metamarkets、电影流媒体网站 Netflix 、Yahoo 等公司。Druid 官方还对 Druid 同 Shark Vertica Cassandra Hadoop Spark Elasticsearch 等在容错能力、灵活性、查询性能等方便进行了对比说明。更多关于 Druid 的信息,大家还可以参考官方提供的入门教程白皮书设计文档等。


感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群InfoQ 好读者)。

2015-04-25 03:2733697
用户头像

发布了 46 篇内容, 共 53.5 次阅读, 收获喜欢 15 次。

关注

评论

发布
暂无评论
发现更多内容

Flink时间服务和计时器-6-5

小知识点

scala 大数据 flink

职场求生攻略答疑篇之 4 —— 社会有多真实,人心就有多虚伪

臧萌

职场 职场成长

自学编程,看书还是视频?

沉默王二

程序员 读书 自学编程 视频

十六、深入Python字符串

刘润森

Python

架构师训练营第四周作业

吴传禹

极客大学架构师训练营

三步法解析Express源码

执鸢者

面试 大前端 Node Express

一文带你轻松了解Python导入模块的各种命令

计算机与AI

Python

马化腾的区块链理想

CECBC

区块链 马化腾

甲方日常 32

句子

随笔杂谈

给新入职工程师的10条建议

supernova

管理 职场 工作方式

第四课系统架构课后作业

Geek_michael

极客大学架构师训练营

十五、深入Python输入和输出

刘润森

Python

架构师训练营第四周学习总结

Gosling

极客大学架构师训练营

大区块链的必然性

CECBC

区块链技术

Linux的信号

菜鸟小sailor 🐕

c++

第11周作业

Vincent

极客时间 极客大学

如何设计大型互联网系统架构

天天向上

极客大学架构师训练营

一次用户故事地图之旅

Bruce Talk

敏捷开发 用户故事 Product Owner 用户故事地图

架构师训练营第四周学习总结

吴传禹

极客大学架构师训练营

区块链要如何解决供应链金融痛点?

CECBC

区块链 金融

大型互联网系统常用的技术方案

天天向上

极客大学架构师训练营

Week 3学习总结

balsamspear

极客大学架构师训练营

手把手教你分析Mysql死锁问题

捡田螺的小男孩

MySQL 死锁

第11周总结

Vincent

极客时间 极客大学

典型的大型互联网应用方案

garlic

极客大学架构师训练营

架构师训练营第四周课后作业

Gosling

极客大学架构师训练营

架构师训练营第四周作业

我是谁

极客大学架构师训练营

每天都要写吗?

Nydia

第四周总结

Geek_ac4080

Week 3命题作业

balsamspear

极客大学架构师训练营

迭代开发中的微服务拆分

码猿外

架构 微服务 架构演进

Druid:一个用于大数据实时处理的开源分布式系统_大数据_李小兵_InfoQ精选文章