写点什么

数据网格平台如何连接数据生产者和消费者

  • 2024-07-11
    北京
  • 本文字数:1347 字

    阅读完需:约 4 分钟

大小:658.17K时长:03:44
数据网格平台如何连接数据生产者和消费者

公司在利用数据仓库或数据湖中的数据时经常会面临的一个挑战,那就是分析数据的所有权很弱或根本不存在,因此质量可能会受到影响。数据网格是公司如何从数据中创造价值的组织范式转变,责任又重新回到了生产者和消费者手中。

 

Matthias Patzak 在法国FlowCon大会上发表了关于数据网格平台的演讲。

 

正如 Patzak 所解释的那样,当公司想要利用数据并实现数据驱动时,他们面临的最大挑战之一就是他们所收集的数据的质量:

 

你听过“数据就是新石油”这句话吗?在 21 世纪末,人们认为所有的数据都应该被存储,因为它是一种宝贵的资源。但是,当你不知道是谁存储了什么数据以及为什么存储时,谁会信任一个 5 年前的 S3 存储桶呢?

 

Patzak 认为数据更像是葡萄酒。他说,有些数据就像是葡萄酒一样,必须迅速消耗掉,否则就会变质。其他数据,如果存储和处理得当,可以很好地保存,甚至随着时间的推移,其价值和质量也会提高。

 

Patzak 提到,根本问题是分析数据的所有权往往很弱或根本不存在,因此质量可能会受到影响。分析数据由事务系统生成的。然而,Patzak 说,了解并拥有这些系统和底层流程的人不负责对其数据进行分析的应用程序。它通常被提取、转换、加载到数据仓库或数据湖中,并由中心化的、高度专业化的部门使用。他补充道,这些专家通常也没有真正的主人翁意识。

 

Patzak 说到,数据网格是一种分布式数据基础设施,它将使用数据并从数据中创造价值的责任重新交到数据的生产者和消费者手中。它消除了专门的数据组织作为在生产者和消费者之间通信的的代理和瓶颈。这种分布式数据基础设施的核心是数据产品,它们本身就可以创造切实的商业价值。

 

要构建一个数据网格,你需要创建一个面向领域的架构,在该架构中,每个业务单元都将其数据作为一种产品进行管理,使用自助服务基础设施和工具进行编排、共享和治理,正如 Patzak 所解释的那样:

 

这种自助服务基础设施由数据网格平台构建,包括云服务、数据编排工具和 CI/CD 管道,并由用于安全和质量的联邦治理策略以及用于监控的可观测性系统来支持。

 

Patzak 提到,访问由强大的安全机制控制,整个数据基础设施是自动化的,并通过“基础设施即代码”实践进行维护。他补充道,至关重要的是,通过平台团队提供的有针对性的支持和培训计划,领域团队具备了必要的技能,确保技术设置促进了自主、质量和协作的文化。

 

Patzak 总结道,数据网格的好处是实施时间更快,生产者和消费者的认知负荷更少,为公司提供了一致的工具和标准。

 

InfoQ 就创建数据网格平台一事采访了Matthias Patzak

 

InfoQ:创建数据网格平台需要什么?平台能带来什么好处?

 

Matthias Patzak:从技术角度来看,一切都可以用来构建数据网格平台的核心服务。这只是一项繁重的工作。与任何平台一样,挑战在于确保平台服务被用户接受和使用。这是通过让平台用户优先处理平台积压的工作,并通过轮岗的方式让用户团队的开发人员参与平台服务的开发来实现的。

 

InfoQ:对于那些希望使用数据网格来利用数据的组织来说,你有什么建议嘛?

 

Patzak:不要大费周章!从一个特定的用例开始,将开放的生产者和消费者配对,并利用数据网格的去中心化方法。甚至在你准备好之前就开始,并通过开始来做好准备。最后,与特定的用例并行开发平台。

 

原文链接:

https://www.infoq.com/news/2024/06/data-mesh-platforms/

2024-07-11 08:007138

评论

发布
暂无评论
发现更多内容

今年LED显示屏市场趋势

Dylan

商业 广告 娱乐 数字化 LED显示屏

MySQL 8.0.29 instant DDL 数据腐化问题分析

GreatSQL

greatsql greatsql社区

当GaussDB遇上了毕昇编译器

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 6 月 PK 榜

“敏捷教练进阶课程”7月22-23日 ·A-CSM认证在线周末班【提前报名特惠】CST导师亲授

ShineScrum

敏捷教练

智慧生活垃圾焚烧发电厂Web3D可视化平台

2D3D前端可视化开发

物联网 数字孪生 三维可视化 工业组态 智慧垃圾焚烧发电厂

“数字创新产品课程”7月29-30日 · CSPO认证周末班【提前报名特惠】CST导师亲授

ShineScrum

DevEco创建项目时的错误解决

路北路陈

6 月 优质更文活动

电路板电镀中4种特殊的电镀方法

华秋PCB

经验 电路板 焊接 PCB板 电镀

【零售电商系列】走进亚马逊之自建仓储&物流

小诚信驿站

6 月 优质更文活动

Navicat Premium将关系和实体添加到概念模型的方法

背包客

macos MySQL 数据库 Mac 软件 Navicat Premium

源生创新 云享未来|GOTC全球开源技术峰会华为云云原生精彩时刻

华为云开发者联盟

云原生 后端 华为云 华为云开发者联盟 企业号 6 月 PK 榜

3 个技巧,让你像技术专家一样解决编码问题

LigaAI

程序人生 技术专家 技术人成长 问题分析及解决 企业号 6 月 PK 榜

抓包分析RST信号

蓝胖子的编程梦

TCP Wireshark tcpdump RST 报文 Connection reset

揭秘Spring依赖注入和SpEL表达式

华为云开发者联盟

开发 华为云 华为云开发者联盟 企业号 6 月 PK 榜

教培行业的“智能GPT私教”?WorkPlusAI助理帮助教培机构实现十倍人效!

BeeWorks

Win服务器图床配置

路北路陈

6 月 优质更文活动

NFTScan | 06.05~06.11 NFT 市场热点汇总

NFT Research

NFT 热点

Java代码性能测试实战之ContiPerf

javalover123

单元测试 性能测试 压测 JUnit Java'

数据可视化设计四大原则透析

搞大屏的小北

数据可视化 设计要素 大屏设计

数据分析:电子商务需要关注的重要指标有哪些?

搞大屏的小北

电子商务 销售指标

从分布式到微服务解密“架构”原理与实战笔记

小小怪下士

Java 程序员 分布式 微服务

Sentinel熔断降级的规则及实现原理

互联网架构师小马

Java sentinel 熔断降级

TCMalloc 技术细节详解

KaiwuDB

KaiwuDB TCMalloc

赋能矿山 | KaiwuDB 智慧矿山解决方案

KaiwuDB

解决方案 智慧矿山 KaiwuDB

相约未名湖畔,百度商业AI技术创新大赛携手北大学子共探AI发展

百度Geek说

人工智能 百度 企业号 6 月 PK 榜

精耕丝路,智胜全球 | 新华三助力中企跑好“出海”赛道

新消费日报

科兴未来|2023年扬中高层次人才创新创业大赛

科兴未来News

科兴未来|2023”福地句才”海外人才创业大赛

科兴未来News

Web网页端IM产品RainbowChat-Web的v5.0版已发布

JackJiang

网络编程 即时通讯 IM

对线面试官-线程池(四)

派大星

Java 面试题

分享几款 Mac 上非常好用的的免费软件

搞大屏的小北

数据可视化 数据库工具 截图软件 视屏转 gif 视频号下载

数据网格平台如何连接数据生产者和消费者_管理/文化_Ben Linders_InfoQ精选文章