写点什么

Apache Kylin:基于 Hadoop 的 OLAP 引擎

  • 2016-10-12
  • 本文字数:1369 字

    阅读完需:约 4 分钟

传统上,Hadoop(包括 MapReduce,Pig 以及 Hive)通常用于外部私有

OLAP Cube 引擎准备数据。如今,Zaloni 的客户基于

Apache Kylin 的 OLAP 技术实现了实时查询的能力,这些 Cube 的事实表包含了 400 亿条以上的原始数据。我们正在帮助客户统一归集来自于多个独立系统的账单数据,并构建 OLAP Cube 以支持实时分析,这是以前系统所无法实现的。现在,Hadoop 集群都可以做到了。

基于 ****Hadoop 的分析演化

Hadoop 已经从通用计算能力(MapReduce)的分布式数据平台演化为一个更强大的平台。Hadoop 及其生态系统已经有能力处理更广泛的用例,远超最初设计时的低成本分布式批处理能力。支持了从迭代式的机器学习算法,到

OLAP

OLTP 系统,这些基于“hadoop 集群”的开源分析能力给传统的大玩家们(Oralce,SAS,Teradata,IBM 等)带来了很大的压力。

为规模设计

Apache Kylin 是开源的多维在线分析处理引擎(MOLAP),名字来源于中国的一种神兽“麒麟”。项目最初诞生于 eBay,专为分析处理 PB 级数据集而设计。这里引用一段

Apache 基金会 2015 年 12 月的 Blog:“Apche Kylin 是目前为止大数据领域最好的 OLAP 引擎”,eBay 数据服务与解决方案部门高级总监 Wilson Pang 说到,“在 eBay,我们收集用户在每一个页面的每一个行为。当其他 OLAP 引擎挣扎于数据量的极大膨胀时,Kylin 可以在毫秒级获得查询响应。除此之外,基于 Kylin 我们还实现了近实时的数据流存储和分析。总之,Kylin 在 eBay 产品分析平台中扮演了至关重要的后台核心组件角色。”

如何工作

Kylin 通过预计算实现查询速度的提升,利用

Hive 查询计算多个维度的组合(译者注:此处原文有误,正确应为,Kylin 是通过 Hive 获取数据源,并利用 MapReduce 计算多个维度的任意组合),计算各类指标的聚合值,并将这些中间结果保存在

HBase 中。Kylin 拥有用户友好的查询界面,也支持通过 API 和 JDBC、ODBC 提交查询。查询引擎基于

Apache Calcite 查询处理器和 HBase 的检索功能(比如 fuzzy row filters)实现结果集快速获取。HBase 的 rowkeys 利用

Trie Data Structure 技术实现维度字段字典数据的高效压缩。

当前,Kylin 只支持

星型模型,因此每个Cube 只能有单一的事实表。

建模**** 向导

设计Cube 很容易。假设你已经有了一张Hive 的表,建模向导将帮助你一步步走完设计的流程,包括选择维度(包括层级维度),选择维表,选择指标等。也支持按照日期时间分区,使得Cube 分段刷新易如反掌,这广泛用在了流数据的增量式构建。一旦Cube 定义好了,我们通过Kylin 的监控界面查看Cube 的构建进度。

除了原生的Kylin Web 界面,你可以通过JDBC 查询OLAP Cube,也可以通过Zeppelin(Zeppelin 已经内置了Kylin 的解释器),或者设计良好的REST API。

基于Hadoop 的****OLAP 的其他选项

Kylin 是基于 Hadoop 的 OLAP 技术的一个开源选项。

Apache Lens 是另一个,它是一个

ROLAP 解决方案,并不能实现 Kylin 这种预计算技术所能达到的快速查询响应能力。

Druid 也是一个选项,它采用了自己的集群技术(并不依赖 Hadoop)。也有一些第三方的解决方案,声称支持 Hadoop 之上的 OLAP 能力。

作者:Craig Lukasi,本文已获翻译授权。

译者:刘一鸣(Billy Liu), 现任 Kyligence 产品负责人,负责 Apache Kylin 企业级版本及其他产品的规划和设计。Kyligence 是由 Apache Kylin 核心团队创立的创业公司。

2016-10-12 21:293869

评论

发布
暂无评论
发现更多内容

提示词工程的十大认知误区

阿里技术

提示词

DeepSeek 爆火全球,昇腾让DeepSeek上线加速

极客天地

Three-Body Technology Lost Soul for mac(三体洞箫软件音源) 激活版

Rose

未来技术路线选择:低代码开发还是传统开发?

秃头小帅oi

Numa初识

天翼云开发者社区

服务器 构架 NUMA

华为Mate 70的麒麟9020芯片是谁生产的?

博文视点Broadview

谷歌访问助手(谷歌浏览器插件)Mac版

Rose

PlistEdit Pro for Mac(Plist编辑器)v1.9.7直装版

Rose

2024年最受欢迎的5个Go框架

王中阳Go

后端 go框架

Type Fu for Mac(打字练习)v4.8.0激活版

Rose

综合治理系统(源码+文档+部署+讲解)

深圳亥时科技

Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践

阿里云大数据AI技术

大数据 阿里云 数据集成 Dataworks FFA

阿里云 EMR Serverless Spark 在微财机器学习场景下的应用

阿里云大数据AI技术

大数据 数据采集 分布式训练 EMR

火山引擎数据飞轮2.0助力中信银行,用“AI”开启新年新气象

字节跳动数据平台

音视频互动APP的成本

北京木奇移动技术有限公司

音视频开发 软件外包公司 音视频APP

Volcano v1.11 重磅发布!开启AI与大数据的云原生调度新纪元

华为云原生团队

云计算 开源 容器 云原生

交互式产品原型设计工具 Axure RP 9 mac中文破解版 含永久密钥

Rose

探索生成式AI与低代码结合的无限可能

天津汇柏科技有限公司

低代码 生成式AI

AI驱动软件研发:从辅助到深度协同

思码逸研发效能

人工智能 研发效能 AIGC 思码逸

技术干货|Altair HyperWorks 二次开发与 Python 重构仿真新体验

Altair RapidMiner

Python 重构 开发语言 前处理软件

音视频互动APP的技术难点

北京木奇移动技术有限公司

音视频开发 软件外包公司 音视频APP

人工智能丨DeepSeek-V3:推理速度飙升,开源模型新王者诞生!

测试人

人工智能 软件测试

Apache Kylin:基于Hadoop的OLAP引擎_DevOps & 平台工程_Craig Lukasi_InfoQ精选文章