写点什么

主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流

  • 2021-05-12
  • 本文字数:3232 字

    阅读完需:约 11 分钟

主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流

2021 年上半年,湖仓一体俨然已经成为大数据领域最火热的流行词,各大云厂商推出自己的湖仓一体产品,在众多产品中,企业如何找到符合自身需求的数据管理产品?


近日,国际权威分析机构弗若斯特沙利文 Frost & Sullivan(以下简称“沙利文”)发布了《2020 年中国数据管理解决方案市场报告》,对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借 FusionInsight 的持续创新位居中国数据管理解决方案领导者,并在中国大数据厂商中全面领先。



沙利文用 Frost Radar(弗若斯特雷达)清晰明了地展示中国数据管理解决方案市场态势。横坐标代表“创新指数”,体现服务丰富度和产品调优能力;纵坐标代表“成长指数”,衡量产品功能和性能的竞争力,色深代表“基础指数”,体现大数据平台基础能力。


华为云位居右上角的领导者区间,三项指标均领先国内其他大数据厂商,其主打解决方案华为云 FusionInsight 智能数据湖是获得沙利文认可的关键。


报告还指出,预计到 2024 年,中国大数据硬件市场规模为 111 亿美元,中国大数据软件市场规模为 162.3 亿美元,中国大数据整体市场规模即为两者之和——273.3 亿美元,即将到来的百亿级美元市场,考验着数据管理厂商的能力边界。

大数据管理:不仅要存得好更要用得好


在行业发展的不同阶段,数据管理解决方案所要面临的主要矛盾截然不同,此前数据管理解决方案的重点分别是数据的数量、种类和速度,现阶段企业对数据管理解决方案的需求,逐渐聚焦于数据如何支撑重要决策,并不断促使数据管理解决方案走向湖仓一体,提升企业的数据价值创造力。


数据仓库与数据湖是企业经常会使用到的两种数据管理解决方案,数据仓库到数据湖的演进并不是替代关系,数据仓库诞生较早,借鉴了数据库的数据理念,通过预先定义 schema,将结构化数据清洗提炼,提供数据服务和管理能力。


数据湖则诞生于半结构化、非结构化数据的海量增长背景之下,以原始形态存储数据并且逐渐发展数据处理能力,成为可以运行不同类型的大数据工具,对数据进行大数据处理、实时分析和机器学习等操作的统一数据管理平台。


在面对愈发复杂的大数据场景时,数据仓库与数据湖各自的弊端显现,也就有了湖仓一体产品的诞生,相较于单一使用数据湖或数据仓库,湖仓一体将两者的优势兼容并蓄。湖仓一体的数据管理解决方案具备事务支持、数据的模型化和数据治理、BI 支持、存算分离、灵活开放、支持多种数据类型、支持各种工作负载、端到端流等特性,此外,数据的安全和访问控制也十分重要,契合云计算时代企业的业务模型。


华为云 FusionInsight 智能数据湖为政企客户提供“湖仓一体”的解决方案,提供 MRS 云原生数据湖、GaussDB(DWS) 云数据仓库、DGC 数据湖治理中心、GES 图引擎、DLI 数据湖探索等云服务,用于离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入治理、图计算等海量数据分析场景,实现政企客户一企一湖、一城一湖的业务模式。

湖仓一体、云化部署已是大数据主流趋势


大数据平台的发展历史就是一部企业探索数据价值的历史,当业务发展与现有技术产生矛盾,总会有新的技术浮现,Spark、Flink、Hudi、ClickHouse、HetuEngine 等等技术尽皆如此,大数据平台不断查漏补缺,最终由单点式的工具演变为全栈式的系统。


传统数据管理解决方案一般部署在通用服务器之上,近年来数据仓库和数据湖的整体上云趋势愈演愈烈,美国市场还诞生出一些备受关注的独角兽企业,而在中国市场,云化部署也成为数据管理解决方案的大趋势。


沙利文报告提出,大数据云化部署方案将成为主流。在存算分离理念的基础上,云化服务完美应对了弹性扩展、功能迭代、成本控制等需求,在资源需求差异化的场景中实现资源的合理配置。同时,按客户业务需要,弹性发放的云化服务显著节约了使用等待时间。


华为云得以进入领导者区间,很大程度上也是因为其覆盖数据全生命周期的全栈式数据管理能力,由采、存、算、管、用的全面云化,再到湖仓一体的一站式融合分析,FusionInsight 智能数据湖提供的湖仓一体架构,帮助客户构建一企一湖、一城一湖。


华为云 FusionInsight 湖仓一体架构提供灵活的多样性算力和存算分离方案,符合当下的企业需求。MRS 云原生数据湖实现了一个架构可构建逻辑、实时、离线 3 种数据湖,HetuEngine 提供跨湖、跨仓、跨云的协同分析,Hudi 支持 ACID 数据实时增量入湖,提供 ClickHouse 毫秒级 OLAP 分析、Flink 批流合一等实时处理能力,离线数据湖拥有交互式、BI、AI 等多个计算引擎,一个平台实现海量数据多场景分析。


GaussDB(DWS) 云数据仓库同时具备分析及混合负载能力,具有高性能、高扩展、高可用等特点,广泛应用于汽车、制造、零售、互联网、金融、政府、电信等行业核心分析决策系统。


DGC 数据湖治理中心是一站式数据开发集成管理平台,包含数据架构、标准规范、数据开发、数据质量等功能,支持 40+ 异构数据源、全拖拽开发,效率提升 3 倍,助力企业快速构建从数据接入到分析的 E2E 数据治理体系,统一数据标准,加速数据资产沉淀。


GES 图引擎是中国首个商用的、拥有自主知识产权的原生图产品,具备多项自主专利。针对以关系为基础的图结构数据,应用于社交 APP、关系分析、物流配送、知识图谱等场景。


数据湖探索 DLI 提供 Serverless 的融合处理分析服务,企业使用标准 SQL、Spark、Flink 就可轻松完成多数据源的联合计算分析,挖掘和探索数据价值。

数据兑现价值,FusionInsight 深入核心业务场景


伴随数据管理解决方案的底层设施逐渐成熟,技术升级和服务应用场景拓展的加速及深化,数据管理解决方案行业应用逐渐向各领域的核心业务延伸,数据管理解决方案产品与应用场景融合加深。


华为云 FusionInsight 智能数据湖深入各行业客户需求,已经规模商用湖仓一体创新技术方案,以数据驱动各行业业务增长。据了解,华为云 FusionInsight 客户覆盖全球 60 多个国家 3000 多家客户,覆盖政府、金融、运营商、电力、传媒、医疗、教育、交通、油气、物流、零售、制造等行业。


政务领域,在政务数字化参与部委、各省市智慧城市、数字城市建设。在某市,华为云 FusionInsight 联合伙伴建成“一云二网三平台”,针对民生、产业、政府的“痛点”和“难点”,从构建城市数据资源库为开端,以大数据分析支撑政府智慧决策,在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面,支撑 “一号、一窗、一网” 政务服务,让简政放权、百姓办业务“最多跑一次”成为现实。


金融领域,华为云 FusionInsight 在工商银行、建设银行、招商银行等银行、证券、保险行业广泛应用。在某行使用华为云 FusionInsight 构建大数据基础平台,支撑了一湖两库建设,保障银行 BI、AI、数据挖掘、数据分析等日常数据分析,实现全行即时 BI,加速银行数字化转型进程。


运营商领域,已覆盖国内三大运营商以及海外运营商客户。其中广东移动基于华为云 FusionInsight,联合政企客户共同打造智慧电网、智慧港口、高清视频等系列标杆应用,打通数据全生命周期链路,实现对内业务支撑、对外应用赋能,全面支撑了各类政务、民生等大数据应用服务。


面向大企业客户,覆盖能源、交通、制造等行业客户大数据平台建设。其中深圳地铁采用华为城轨云解决方案,利用云计算、大数据、5G、人工智能等技术核心,建立了统一、开放、智能的城轨数字平台,利用华为云 FusionInsight MRS 云原生数据湖能力构建深圳地铁大数据分析平台,在智慧车站、智慧运维方面,对新技术与地铁场景进行创新融合,推进了车站业务全日自动运行、线上线下一体化客服、设备主动检测、健康管理等应用,探索数字化、高效化的新业务模式,为城市提供更优质的公共交通服务。

写在最后


随着 IoT、AI 等新技术的大量应用,未来 4 年里数据量将激增 4 倍,到 35 年呈 50 倍增长。在政企数字化转型的过程中,湖仓一体将是政企客户实现一企一湖、一城一湖的最佳选择,使得业务洞见更准,数据价值兑现更快。华为云等厂商所倡导的湖仓一体,将持续引领 2021 年大数据领域技术创新潮流,让我们拭目以待。

2021-05-12 15:095662

评论

发布
暂无评论
发现更多内容

探索AI技术应用场景

felix

产业落地 AI探索 API接口 模型管理

深度剖析Istio共享代理新模式Ambient Mesh

华为云开发者联盟

云计算 云原生 后端 企业号九月金秋榜

Code For Better 谷歌开发者之声——Google Cloud谷歌云

Fire_Shield

云原生 Google Cloud 9月月更

[SpringBoot]配置文件格式、yaml配置及读取

十八岁讨厌编程

Java 9月月更

大数据调度平台Airflow(七):Airflow分布式集群搭建原因及其他扩展

Lansonli

airflow 9月月更

如何在笔记本上安装openEuler 22.03 LTS

openEuler

开源 操作系统 openEuler 安装部署

物联网实践分享

彭发红

流程图布局在项目中的实践

相续心

openEuler资源利用率提升之道 03:rubik混部引擎简介

openEuler

Linux 开源 cpu 操作系统 openEuler

Http轮询分为长查询和短查询总结

知识浅谈

HTTP 9月月更

SpringBoot初识

十八岁讨厌编程

Java 后端开发 9月月更

关爱2700多万听障者,手语服务助力无声交流

HarmonyOS SDK

手语

NestOS应用案例:容器化部署OpenStack

openEuler

架构 openEuler 开源操作系统 OpenStack

面向深度神经网络的特定领域架构

俞凡

深度学习 架构 TPU

架构实战营-模块一作业

Geek_92ba6f

19道高频vue面试题,顺便写一下自己的答案

bb_xiaxia1998

Vue 前端

Struts实现登录

Struts2 9月月更

[SpringBoot]多环境配置,配置文件分类

十八岁讨厌编程

Java 后端开发 9月月更

开发者有话说|一名普通大专学历开发者的成长

彭发红

工赋开发者社区 |【数智化】数字化工厂规划与建设方案

工赋开发者社区

NFTScan 与 ET.XYZ 在 NFT API 数据层面进行深度合作

NFT Research

区块链 NFT web3

Serverless遇到 FinOps: Economical Serverless

华为云开发者联盟

云原生 后端 企业号九月金秋榜

开发者有话说|如何写出更加优雅的代码

闫同学

个人成长

融云员工服务台,跟“干不完”说再见

融云 RongCloud

IT职场

关于 Angular 应用 tsconfig.json 中的 lib 属性

汪子熙

typescript 前端开发 angular web开发 9月月更

TCP协议和UDP协议详细介绍

阿柠xn

TCP 计算机网络 协议族 UDP协议 9月月更

js常见手写题总结

helloworld1024fd

JavaScript 前端

js高频手写题总结

helloworld1024fd

JavaScript 前端

这些react面试题你会吗,反正我回答的不好

beifeng1996

前端 React

跟我学Python图像处理丨带你掌握傅里叶变换原理及实现

华为云开发者联盟

Python 人工智能 企业号九月金秋榜

死锁检测实现

C++后台开发

后台开发 线程 多线程 死锁 C++开发

主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流_大数据_InfoQ编辑部_InfoQ精选文章