HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

事件流处理:数据仓库的可伸缩替代品

  • 2008-11-09
  • 本文字数:834 字

    阅读完需:约 3 分钟

Dan Pritchett 在博客上提出了一种数据仓库应用的替代方案。虽然厌恶“只能单一位置及单一存储空间上实现的方案”,他也承认有时候必须先聚合数据才能作分析。他所说的正是数据仓库应用的功能——沿着某些变量轴聚合信息并转化数据间的关系。而在 Pritchett 看来,数据仓库应用在使用中有许多缺点。数据仓库应用不仅非常昂贵,“比较小的组织一般难以企及”,而且 ETL(Extract, Transform and Load,提取、转换、装载)软件的工作方式意味着要付出可伸缩性和反应能力的代价:

首先,ETL 给生产数据库增加了明显的负担。如果你的业务有空窗期可以做 ETL,那是最好的;如果没有,管理可伸缩性就是很大的挑战。第二,数据仓库里的数据新鲜度一般滞后 24 小时或更长,随着业务增长,滞后时间会越来越长。

Dan Pritchett 相信有一种方案更便宜,也更可伸缩:用 ESP( Event Stream Processor )处理事件流。

ESP 用类似 SQL 的语言处理各种事件流。与数据库和数据仓库通过 SQL 分析数据表类似,ESP 用它们的查询语言分析事件流。要想理解 ESP,可以把事件类比成数据库表中的行,而事件的属性则对应数据库表的列。每一种事件类型就等于是一张表。 […]

[ESP 分析] 数据的变化,而且就在变化发生的当时分析。我们不再进行批量的 ETL,而是把业务事件变成一连串的数据状态变化。这就创造出一种更易于管理的生产系统的伸缩模型。

[…]

ESP 可以做水平伸缩,因此可以达至一种更具成本效益的业务方案。而且由于 ESP 执行分析是实时的,因此得到的业务指标更加应时,并且不受业务增长的影响。

Dan 也特别指出这种方法的弱点,就是不能进行历史性的分析,不能从当前以外的角度去观察业务活动。Pritchett 提出用一种捕捉并重演事务的框架去克服此弱点,不过该方案相当昂贵。Tahir Akhtar 在帖子的留言中提出另一种弥补方法:用 ESP 替代 ETL,但在享用 ESP 的可伸缩性和反应能力优势的同时,继续使用数据仓库应用以保留历史分析能力。

查看英文原文: Event Stream Processing: Scalable Alternative to Data Warehouses?

2008-11-09 19:321145
用户头像

发布了 225 篇内容, 共 63.6 次阅读, 收获喜欢 50 次。

关注

评论

发布
暂无评论
发现更多内容

用ChatGPT做一个Chrome扩展 | 京东云技术团队

京东科技开发者

chrome ChatGPT Chrome Extension

【YonBuilder 课堂】“入职申请单” 的创建流程

YonBuilder低代码开发平台

什么是渗透测试?

小魏写代码

稳定性建设框架 | 京东物流技术团队

京东科技开发者

超时管理 稳定性治理 企业号 8 月 PK 榜 稳定性建设

BIM建模软件 Archicad 26 for Mac激活最新中文版

mac大玩家j

BIM Mac软件 建模工具

杰哥教你面试之一百问系列:java多线程

程序那些事

程序那些事 面试秘籍 杰哥教你面试

如何设计一个高质量的 API 接口?

java易二三

Java 编程 程序员 计算机 API

一文看懂研发效能提升 | 京东云技术团队

京东科技开发者

研发效能

方案选择、落地与改进,企业如何突破阻力,打造全新ITSM体系?Atlassian白金合作伙伴——龙智专家解读

龙智—DevSecOps解决方案

ITSM devops国际峰会

王文京:构建企业服务大生态,共同服务企业数智化

用友BIP

企业服务

用了这么久SpringBoot却还不知道的一个小技巧

java易二三

Java 程序员 计算机

苹果应用程序清理 App Cleaner & Uninstaller Pro 最新中文激活

胖墩儿不胖y

Mac软件 卸载工具 软件卸载

软通咨询:引领制造业数字化转型新路径

软通咨询

数字化转型 制造业数字化

开发指导—利用CSS动画实现HarmonyOS动效(一)

HarmonyOS开发者

HarmonyOS

如何找到一款合适的低代码开发平台?

YonBuilder低代码开发平台

PCB工艺制程能力介绍及解析(下)

华秋电子

PCB

R语言之数值型描述分析

timerring

R 语言

C/C++编译命令捕获机制及实现

maijun

编译命令捕获

海量用户IM聊天室的架构设计与实践

JackJiang

网络编程 即时通讯 IM

小程序游戏需要版号吗?电子版权认证和软著的区别在哪里?

没有用户名丶

大数据计算引擎 EasyMR 如何简单高效管理 Yarn 资源队列

袋鼠云数栈

YARN

[BitSail] Connector开发详解系列四:Sink、Writer

字节跳动数据平台

大数据 数据中台 数据治理 数据安全 企业号9月PK榜

直播平台源码弹性云托管技术:稳定直播与降低成本的利器

山东布谷科技

软件开发 源码搭建 直播平台源码 弹性云托管

DataWorks增强分析发布,一站式数据查询分析与可视化

阿里云大数据AI技术

大数据

事件流处理:数据仓库的可伸缩替代品_架构_Sadek Drobi_InfoQ精选文章