抖音技术能力大揭密!钜惠大礼、深度体验,尽在火山引擎增长沙龙,就等你来! 立即报名>> 了解详情
写点什么

华为云“智能数据湖”解决之道

2020 年 4 月 10 日

华为云“智能数据湖”解决之道

以人工智能为代表的创新 ICT 技术兴起与应用,正加速各产业数字化转型进入智能时代:交通+智能,懂你的路;医疗+智能,懂你的痛;制造+智能,懂你所需……


由此可见,数据是关键生产要素,蕴藏巨大的价值。而企业生产活动产生的数据只有不到 2%被保存,不足 10%得到分析利用,数据的价值还远远没有释放!


这次,云湖湖在华为云城市峰会上了解到华为云在面对“数据价值”的挑战提供了“智能数据湖”的解决之道,和大家一同分享。



华为云 EI 智能数据服务域总经理丁响明发表演讲


“人类已经进入了数字经济时代,数据成为数字经济的重要原料,云计算和 AI 好比是炼油厂,对数据开采、 传输、并将其‘智能熔炼’,进行数据‘提纯’,获取商业 &社会价值,进而对源头产生了更多的数据需求周而复始,这样的循环将是智能世界的基本运行规律。但怎样用好数据是需要探讨的话题。”丁响明表示。


数据价值实现面临三大挑战

来自华为全球产业展望(GIV)报告显示,到 2025 年,全球企业应用云化率将达 85%,AI 利用率达 86%,数据利用率将剧增至 80%,全球年数据增量将快速增长到 2025 年的 180ZB,全球数字经济 GDP 将达 23 万亿美金。


数据成为新生产资料,智能成为新生产力,要充分挖掘数据经济价值,企业需要构建领先的数据基础设施,从而打通数据供应全流程,使能数据与业务全连接,提升业务敏捷性。


对数据的加工处理通常包括“采-存-算-管-用”全生命周期管理能力,让数据存得下、流得动、算得快、用得好,帮助客户将数据资源转变为数据资产。虽然各行各业都已经公认数据中隐藏的巨大价值,但在实现过程中,面临多重挑战:


01 数据准备难

花 24 小时采集数据、花 3 小时转换数据做 ETL 入库、花 1 小时准备训练数据、最后只花了半小时训练+推理,得到需要的决策数据…


02 数据融合分析难

传统的烟囱式企业 ICT 建设难以打通数据: 技术栈多、接口不统一,开发周期长;数据类型多,结构化/半结构化/非结构化;数据分析链路长,多系统集成难度大。


03 数据消费难

某企业 IT 系统,数据源 130+万张表,要从海量表中寻找目标数据,耗时 30 天左右,犹如大海捞针;然后将目标数据加工成业务可使用数据,烟囱多、步骤多,错综复杂,又耗时 7 天。导致找数难、取数难。


华为云智能数据湖,以融合架构实现数据融合分析


针对多样性的业务、多样性的系统、多样性的数据带来数据价值变现的挑战,华为云打造了“智能数据湖”解决方案——面向数据采集、存储、计算、分析的数据生命周期,提供了包括数据集成、数据开发、数据建模、数据治理、数据开放的一站式可视化数据管理能力,帮助企业快速构建自己的数据中台,加速数据价值发现。


华为云“智能数据湖”解决方案通过数据统一存储、数据融合分析(DLI)、数据运营使能(DAYU)等关键能力,消除客户使用数据的烦恼、提升实时数据服务能力,拥抱行业数字化。


01 数据融合架构,大幅缩短数据准备时间

  • 以往数据等待 1 天,现在数据实时入湖,直接基于原始数据近实时分析;

  • 以往数据计算要 4 小时,现在存算解耦,弹性伸缩,3 倍资源,半小时完成计算。

  • 以往 T+1 分析,现在采用增量式分析,一次一小批持续分析。


02 数据融合分析,打通数据,减少数据搬家

  • CarbonData 应对多种类型数据格式统一存储,实现大数据 &AI 使用同一份数据。

  • 数据湖洞察通过联邦计算支持多种数据类型跨源分析。


03 以数据目录为中心,一站式数据运营,更易数据消费

  • 以数据目录为中心,快速找到最合适的数据源。

  • 一站式数据运营,源头在哪,目的地在哪,数据血缘一目了然 。

  • 拖拽式开发,E2E 数据链路编排监控,行业模型算子使治理更高效。



此外,通过在软硬件结合上做出更多努力,华为云智能数据湖具有超高性价比:


大数据和数据仓库服务全面支持鲲鹏芯片的自研基础设施,同等条件下性能提升 20%,成本降低 30%;


华为云大数据+OBS 垂直优化,同等配置情况下 SparkSQL 性能是客户自建集群的 2 倍以上。


总结

截至目前,华为云智能数据湖解决方案及服务广泛应用于金融、医学、物流、互联网、汽车、政府、大企业等行业。面向未来,华为云将与合作伙伴和客户携手创新,用智能数据湖方案帮助企业构建领先的数据基础平台,让企业用户更方便快捷的用好数据,掘金数字经济。


2020 年 4 月 10 日 18:16673

评论

发布
暂无评论
发现更多内容

通俗易懂和你聊聊寄存器那些事(精美图文)

cxuan

后端 计算机 汇编

你不知道的java对象序列化的秘密

程序那些事

Java java序列化 序列化的秘密

SpringBoot-技术专题-多环境下maven打包

李浩宇/Alex

spring-boot-route(十六)使用logback生产日志文件

Java旅途

Java Spring Boot logback

SpringBoot-技术专题-Caffeine用法

李浩宇/Alex

每个数据科学家都应该知道的5个概念

计算机与AI

学习 数据科学

优质数据库管理工具盘点,看看这三个软件的区别

CloudQuery社区

数据库 sql 云原生 工具 编辑器

美团外卖实时数仓建设实践

StarRocks

数据库 数据仓库 实时数仓 数据库选择

面经手册 · 第13篇《除了JDK、CGLIB,还有3种类代理方式?面试又卡住!》

小傅哥

Java 字节码编程 asm 动态代理 cglib

一个草根的日常杂碎(10月9日)

刘新吾

随笔杂谈 生活记录 社会百态

一个草根的日常杂碎(10月11日)

刘新吾

随笔杂谈 生活记录 社会百态

为什么学Go(二)

soolaugust

go

Hive UDF/UDAF 总结

windism

比MySQL快839倍!揭开分析型数据库JCHDB的神秘面纱

京东科技开发者

数据库 JCHDB

路径依赖:穷人很难逆袭突破的科学道理

陆陆通通

程序人生 穷人 逆袭 突破

多种方式实现 LazyMan

局外人

前端 队列 Promise

CloudQuery,数据库管理用它就够了!

CloudQuery社区

数据库 sql 安全 工具软件

血亏!阿里P8轻易把总结了近一年的java高级特性笔记送人了

996小迁

Java 学习 架构 笔记 Java高级特性

Guava-技术专题-Cache用法介绍

李浩宇/Alex

我们可以把Adapter精简到什么地步

mengxn

RecyclerView BetterAdapter Adapter

【高并发】面试官:讲讲高并发场景下如何优化加锁方式?

冰河

性能优化 高并发 线程安全 同步 加锁

重新学习面向对象设计之开放-封闭原则

IT老兵重开始

面向对象设计 OCP 开闭原则

高难度对话读书笔记——表达自我

wo是一棵草

一个草根的日常杂碎(10月10日)

刘新吾

随笔杂谈 生活记录 社会百态

华为程序员发现孩子不是自己的,怒提离婚!女方不要孩子!绿他的竟然是个酒吧混混!

程序员生活志

华为 程序员

容器技术之发展简史

阿里云基础软件团队

云原生

媒介狂想曲

善宝橘

媒介 想象

JDK14性能管理工具:jmap和jhat使用介绍

程序那些事

内存泄露 JDK14 jmap jhat

如何优化多表查询情况下的查询性能问题

迹_Jason

数据库设计 架构设计 查询优化 数据优化

Java-技术专题-Pattern类与Matcher类详解

李浩宇/Alex

通过MapReduce降低服务响应时间

万俊峰Kevin

golang mapreduce

Study Go: From Zero to Hero

Study Go: From Zero to Hero

华为云“智能数据湖”解决之道-InfoQ