QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流

  • 2021-05-12
  • 本文字数:3232 字

    阅读完需:约 11 分钟

主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流

2021 年上半年,湖仓一体俨然已经成为大数据领域最火热的流行词,各大云厂商推出自己的湖仓一体产品,在众多产品中,企业如何找到符合自身需求的数据管理产品?


近日,国际权威分析机构弗若斯特沙利文 Frost & Sullivan(以下简称“沙利文”)发布了《2020 年中国数据管理解决方案市场报告》,对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借 FusionInsight 的持续创新位居中国数据管理解决方案领导者,并在中国大数据厂商中全面领先。



沙利文用 Frost Radar(弗若斯特雷达)清晰明了地展示中国数据管理解决方案市场态势。横坐标代表“创新指数”,体现服务丰富度和产品调优能力;纵坐标代表“成长指数”,衡量产品功能和性能的竞争力,色深代表“基础指数”,体现大数据平台基础能力。


华为云位居右上角的领导者区间,三项指标均领先国内其他大数据厂商,其主打解决方案华为云 FusionInsight 智能数据湖是获得沙利文认可的关键。


报告还指出,预计到 2024 年,中国大数据硬件市场规模为 111 亿美元,中国大数据软件市场规模为 162.3 亿美元,中国大数据整体市场规模即为两者之和——273.3 亿美元,即将到来的百亿级美元市场,考验着数据管理厂商的能力边界。

大数据管理:不仅要存得好更要用得好


在行业发展的不同阶段,数据管理解决方案所要面临的主要矛盾截然不同,此前数据管理解决方案的重点分别是数据的数量、种类和速度,现阶段企业对数据管理解决方案的需求,逐渐聚焦于数据如何支撑重要决策,并不断促使数据管理解决方案走向湖仓一体,提升企业的数据价值创造力。


数据仓库与数据湖是企业经常会使用到的两种数据管理解决方案,数据仓库到数据湖的演进并不是替代关系,数据仓库诞生较早,借鉴了数据库的数据理念,通过预先定义 schema,将结构化数据清洗提炼,提供数据服务和管理能力。


数据湖则诞生于半结构化、非结构化数据的海量增长背景之下,以原始形态存储数据并且逐渐发展数据处理能力,成为可以运行不同类型的大数据工具,对数据进行大数据处理、实时分析和机器学习等操作的统一数据管理平台。


在面对愈发复杂的大数据场景时,数据仓库与数据湖各自的弊端显现,也就有了湖仓一体产品的诞生,相较于单一使用数据湖或数据仓库,湖仓一体将两者的优势兼容并蓄。湖仓一体的数据管理解决方案具备事务支持、数据的模型化和数据治理、BI 支持、存算分离、灵活开放、支持多种数据类型、支持各种工作负载、端到端流等特性,此外,数据的安全和访问控制也十分重要,契合云计算时代企业的业务模型。


华为云 FusionInsight 智能数据湖为政企客户提供“湖仓一体”的解决方案,提供 MRS 云原生数据湖、GaussDB(DWS) 云数据仓库、DGC 数据湖治理中心、GES 图引擎、DLI 数据湖探索等云服务,用于离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入治理、图计算等海量数据分析场景,实现政企客户一企一湖、一城一湖的业务模式。

湖仓一体、云化部署已是大数据主流趋势


大数据平台的发展历史就是一部企业探索数据价值的历史,当业务发展与现有技术产生矛盾,总会有新的技术浮现,Spark、Flink、Hudi、ClickHouse、HetuEngine 等等技术尽皆如此,大数据平台不断查漏补缺,最终由单点式的工具演变为全栈式的系统。


传统数据管理解决方案一般部署在通用服务器之上,近年来数据仓库和数据湖的整体上云趋势愈演愈烈,美国市场还诞生出一些备受关注的独角兽企业,而在中国市场,云化部署也成为数据管理解决方案的大趋势。


沙利文报告提出,大数据云化部署方案将成为主流。在存算分离理念的基础上,云化服务完美应对了弹性扩展、功能迭代、成本控制等需求,在资源需求差异化的场景中实现资源的合理配置。同时,按客户业务需要,弹性发放的云化服务显著节约了使用等待时间。


华为云得以进入领导者区间,很大程度上也是因为其覆盖数据全生命周期的全栈式数据管理能力,由采、存、算、管、用的全面云化,再到湖仓一体的一站式融合分析,FusionInsight 智能数据湖提供的湖仓一体架构,帮助客户构建一企一湖、一城一湖。


华为云 FusionInsight 湖仓一体架构提供灵活的多样性算力和存算分离方案,符合当下的企业需求。MRS 云原生数据湖实现了一个架构可构建逻辑、实时、离线 3 种数据湖,HetuEngine 提供跨湖、跨仓、跨云的协同分析,Hudi 支持 ACID 数据实时增量入湖,提供 ClickHouse 毫秒级 OLAP 分析、Flink 批流合一等实时处理能力,离线数据湖拥有交互式、BI、AI 等多个计算引擎,一个平台实现海量数据多场景分析。


GaussDB(DWS) 云数据仓库同时具备分析及混合负载能力,具有高性能、高扩展、高可用等特点,广泛应用于汽车、制造、零售、互联网、金融、政府、电信等行业核心分析决策系统。


DGC 数据湖治理中心是一站式数据开发集成管理平台,包含数据架构、标准规范、数据开发、数据质量等功能,支持 40+ 异构数据源、全拖拽开发,效率提升 3 倍,助力企业快速构建从数据接入到分析的 E2E 数据治理体系,统一数据标准,加速数据资产沉淀。


GES 图引擎是中国首个商用的、拥有自主知识产权的原生图产品,具备多项自主专利。针对以关系为基础的图结构数据,应用于社交 APP、关系分析、物流配送、知识图谱等场景。


数据湖探索 DLI 提供 Serverless 的融合处理分析服务,企业使用标准 SQL、Spark、Flink 就可轻松完成多数据源的联合计算分析,挖掘和探索数据价值。

数据兑现价值,FusionInsight 深入核心业务场景


伴随数据管理解决方案的底层设施逐渐成熟,技术升级和服务应用场景拓展的加速及深化,数据管理解决方案行业应用逐渐向各领域的核心业务延伸,数据管理解决方案产品与应用场景融合加深。


华为云 FusionInsight 智能数据湖深入各行业客户需求,已经规模商用湖仓一体创新技术方案,以数据驱动各行业业务增长。据了解,华为云 FusionInsight 客户覆盖全球 60 多个国家 3000 多家客户,覆盖政府、金融、运营商、电力、传媒、医疗、教育、交通、油气、物流、零售、制造等行业。


政务领域,在政务数字化参与部委、各省市智慧城市、数字城市建设。在某市,华为云 FusionInsight 联合伙伴建成“一云二网三平台”,针对民生、产业、政府的“痛点”和“难点”,从构建城市数据资源库为开端,以大数据分析支撑政府智慧决策,在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面,支撑 “一号、一窗、一网” 政务服务,让简政放权、百姓办业务“最多跑一次”成为现实。


金融领域,华为云 FusionInsight 在工商银行、建设银行、招商银行等银行、证券、保险行业广泛应用。在某行使用华为云 FusionInsight 构建大数据基础平台,支撑了一湖两库建设,保障银行 BI、AI、数据挖掘、数据分析等日常数据分析,实现全行即时 BI,加速银行数字化转型进程。


运营商领域,已覆盖国内三大运营商以及海外运营商客户。其中广东移动基于华为云 FusionInsight,联合政企客户共同打造智慧电网、智慧港口、高清视频等系列标杆应用,打通数据全生命周期链路,实现对内业务支撑、对外应用赋能,全面支撑了各类政务、民生等大数据应用服务。


面向大企业客户,覆盖能源、交通、制造等行业客户大数据平台建设。其中深圳地铁采用华为城轨云解决方案,利用云计算、大数据、5G、人工智能等技术核心,建立了统一、开放、智能的城轨数字平台,利用华为云 FusionInsight MRS 云原生数据湖能力构建深圳地铁大数据分析平台,在智慧车站、智慧运维方面,对新技术与地铁场景进行创新融合,推进了车站业务全日自动运行、线上线下一体化客服、设备主动检测、健康管理等应用,探索数字化、高效化的新业务模式,为城市提供更优质的公共交通服务。

写在最后


随着 IoT、AI 等新技术的大量应用,未来 4 年里数据量将激增 4 倍,到 35 年呈 50 倍增长。在政企数字化转型的过程中,湖仓一体将是政企客户实现一企一湖、一城一湖的最佳选择,使得业务洞见更准,数据价值兑现更快。华为云等厂商所倡导的湖仓一体,将持续引领 2021 年大数据领域技术创新潮流,让我们拭目以待。

2021-05-12 15:095631

评论

发布
暂无评论
发现更多内容

HarmonyOS 5.0应用开发——瀑布流WaterFlow

高心星

鸿蒙 HarmonyOS 鸿蒙5.0 HarmonyOS NEXT

HarmonyOS 5.0应用开发——多种方式实现图片解码

高心星

鸿蒙 HarmonyOS HarmonyOS框架 鸿蒙5.0 HarmonyOS NEXT

HarmonyOS 5.0应用开发——图像PixelMap压缩保存

高心星

鸿蒙 HarmonyOS 应用开发 鸿蒙5.0

HarmonyOS 5.0应用开发——应用打包HAP、HAR、HSP

高心星

鸿蒙 HarmonyOS 应用开发 鸿蒙5.0 HarmonyOS NEXT

双报到系统(源码+文档+部署+讲解)

深圳亥时科技

数字身份发展趋势前瞻:增强用户体验

芯盾时代

数字身份 iam 统一身份认证

HarmonyOS 5.0应用开发——RCP框架的使用

高心星

鸿蒙 HarmonyOS 鸿蒙5.0 HarmonyOS NEXT

养护系统

深圳亥时科技

大模型退潮,奇点将至|StartDT Talk

奇点云

AI

物联网监控数据采集,传输和存储方案:使用 GreptimeDB 和 YoMo

Greptime 格睿科技

数据库 物联网 集成 数据监控

小间距LED显示屏前维护的意义

Dylan

产品 厂商 LED显示屏 屏幕

HarmonyOS 5.0应用开发——文件读写

高心星

鸿蒙 HarmonyOS 鸿蒙5.0 HarmonyOS NEXT

HarmonyOS 5.0应用开发——下拉刷新和上拉加载更多组件

高心星

鸿蒙 HarmonyOS 鸿蒙5.0 HarmonyOS NEXT

HarmonyOS 5.0应用开发——RCP框架实现断点续传

高心星

鸿蒙 HarmonyOS 鸿蒙5.0 HarmonyOS NEXT

HarmonyOS 5.0应用开发——图像PixelMap变换

高心星

鸿蒙 HarmonyOS 鸿蒙5.0 HarmonyOS NEXT

HarmonyOS 5.0应用开发——Navigation实现页面路由

高心星

鸿蒙 HarmonyOS 应用开发 鸿蒙5.0 HarmonyOS NEXT

EMR Serverless Spark:一站式全托管湖仓分析利器

阿里云大数据AI技术

大数据 Serverless 数据分析 云原生 EMR

浅谈TiKV集群运维问题排查与修复——磁盘空间占用问题

vivo互联网技术

运维 TiKV

WEB 3D CAD中绘制一个窗户模型

WEB CAD SDK

STP CAD 2023下载

火山引擎VeDI数据服务平台:在电商场景中,如何解决API编排问题?

字节跳动数据平台

HarmonyOS 5.0应用开发——菜单的显示

高心星

鸿蒙 HarmonyOS 鸿蒙5.0 HarmonyOS NEXT

07.适配器模式设计思想

杨充

HarmonyOS 5.0应用开发——抽屉布局SideBarContainer

高心星

鸿蒙 HarmonyOS 鸿蒙5.0 HarmonyOS NEXT

用 GreptimeDB 和 Metabase 解锁时序数据洞察的无限潜力

Greptime 格睿科技

数据分析 时序数据库 数据可视化

剧本杀平台(源码+文档+部署+讲解)

深圳亥时科技

CST电磁仿真教程:如何进行时域自适应网格设置

思茂信息

网络 仿真 cst

主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流_大数据_InfoQ编辑部_InfoQ精选文章