写点什么

数据湖 VS 数据仓库,哪个更好用?

  • 2021-06-30
  • 本文字数:1286 字

    阅读完需:约 4 分钟

数据湖 VS  数据仓库,哪个更好用?

任何数据都需要保护、存储和管理,以便更好地应用。本文对比了数据仓库和数据湖这两个大数据存储和处理中的不同概念,分别从定义、特点和应用方面比较了它们之间的差异,方便你在业务中作出正确的选择。


目前,数据仍然是技术创新的关键之一,任何数据都需要保护、存储和管理以便更好地应用。毋庸置疑,有效和合理的数据利用确实可以为各类企业带来不一样的收益。


本文涉及大数据存储和处理的两个不同概念:数据仓库和数据湖。你将认识到它们的主要优点,并为业务作出正确的选择。

数据仓库:定义、特点和应用


数据仓库是一个用于实现和支持各种业务活动的系统,关系到大数据分析和结构化。通常情况下,数据仓库系统产出的报告被用于目标分析、业务战略发展和工作汇报。


由于采用实时数据分析,该系统可以提供最新的信息,进而很容易应用在业务的各个方面。


数据仓库系统的基本功能包括报告、可视化和商业智能,这使它成为完美的业务分析工具。此外,以下特点也促成了它的广泛应用:


  • 灵活性,无论数据的原始来源是什么,它总能用相同的算法进行提取和转换。

  • 可靠性,数据仓库通常在预定时间更新,这大大减少了实时变化的影响。

  • 可扩展性,能利用任何大小的数据,并适用于任何存储空间。


数据仓库适用于结构化和已处理的数据类型,并提供数据聚合和汇总的只读查询,写入机制和预处理功能使其成为商业分析实施的完美选择。


数据仓库一般应用于银行、金融、公共部门或酒店业,数据存储之前通常要进行预处理。


数据湖:定义、特点和应用


数据湖系统以原始格式存储数据,可以存储结构化(表格或图形)、半结构化(CSV、JSON、日志)、非结构化(电子邮件、文档)和二进制数据(音频、照片等)。


数据湖与其他数据系统主要区别如下:


  • 易用,数据湖可以存储不同来源、不同类型的数据,方便进一步分析和重新安置

  • 组织和结构化,数据是以原始格式进行实时收集和存储

  • 实惠,能为任何规模的数据提供划算的价格

  • 适用于任何时间框架,可以实时或按需更新

  • 无限存储空间,为大数据存储提供优秀的解决方案。


不同于数据仓库,数据湖可以完美地处理不同类型的数据,而且因为能提供高性价比的大数据存储而备受赞赏。


它的这些功能主要提供给数据科学家和工程师,他们需要足够的空间来存储所有的重要数据和项目细节,并在深度学习、实时分析及其他方面采用该系统。



图片来自https://www.n-ix.com


数据湖通常应用于医疗、教育、交通这些行业,它既可以提供实时洞察,还能提供一个检测和预防各种潜在问题的未来预测清单。这些领域通常都需要数据后处理程序,而此类程序可以通过数据湖系统轻松实现。

哪个更好用?


总而言之,是用数据湖还是数据仓库,完全取决于你的需求、目标和期望。


有了数据仓库系统,你可以利用经过组织和预分类的数据达成更进一步的目的,而数据湖系统则可以按原始大小和格式为你存储数据。


在了解每种系统的主要特点以及传统上用于哪些行业之后,你应该会更容易确定哪个系统最适合你的业务。


作者介绍:


Conrad Sturdy,自由撰稿人,热爱户外活动,相信新鲜空气会带来新的灵感。


原文链接:


https://www.datasciencecentral.com/profiles/blogs/data-lake-vs-data-warehouse-what-is-the-difference

2021-06-30 10:533429
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 545.7 次阅读, 收获喜欢 1978 次。

关注

评论

发布
暂无评论
发现更多内容

第一周作业一:食堂就餐卡系统设计

登顶计划

极客大学架构师训练营

第一周命题作业

崔方剑

极客大学架构师训练营

项目滞后,如何让自己的技术快速成长

郎哲158

个人成长 舒适区 熟练工

LeetCode题解:94. 二叉树的中序遍历,递归,JavaScript,详细注释

Lee Chen

大前端 LeetCode

训练营第一周作业1

仲夏

架构师训练营第一周作业 (就餐卡UML图)

springH₂O

用简单而又专业的角度为大家揭秘区块链和比特币

CECBC

比特币 区块链 数字货币

架构师训练营第一期第一周学习总结

朱磊

极客大学架构师训练营

极客时间架构师培训1期-第1周总结

Kaven

go runtime debug 小技巧

Gopher指北

debug 后端 runtime Go 语言

食堂就餐卡系统设计

……

我们需要软件工艺

Bruce Talk

敏捷 随笔 Agile

架构师训练营第 1 期-第一周周总结

郑凯元

极客大学架构师训练营

电商管理系统之交易子系统设计(一)

长沙造纸农

系统设计 产品经理 系统架构 订单管理 电商平台

Spring Cloud 微服务实践 (3) - 服务间的调用

xiaoboey

Spring Cloud 熔断 服务调用 Feign

中国法定数字货币发展新机遇

CECBC

数字货币 数字经济

Nacos如何实现服务自动注册

编号94530

spring nacos 源码阅读 spring cloud alibaba

架构师训练营第一周

子青

架构方法--课后练习

Nick~毓

「架构师训练营第 1 期」-食堂卡管理系统

睡不着摇一摇

极客大学架构师训练营

架构师训练营第 1 期 - 作业提交

Todd-Lee

极客大学架构师训练营

架构师训练营大作业二

Hanson

极客大学--架构师训练营1期-第一周总结(vaik)

行之

架构师训练营第一期第一周命题作业

朱磊

极客大学架构师训练营

架构师训练营第一周作业

木头发芽

week1-UML图

张兵

极客大学架构师训练营

训练营第一周作业 2

仲夏

第1周 架构方法 浮皮潦草之总结

Pyr0man1ac

RxSwift和RxCocoa入门

teoking

ios swift

区块链将掀开人类的伟大时代

CECBC

区块链 智能合约 价值物联网

极客时间架构师培训1期-第1周作业

Kaven

数据湖 VS  数据仓库,哪个更好用?_AI&大模型_Conrad Sturdy_InfoQ精选文章