QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

数据网格平台如何连接数据生产者和消费者

  • 2024-07-11
    北京
  • 本文字数:1347 字

    阅读完需:约 4 分钟

大小:658.17K时长:03:44
数据网格平台如何连接数据生产者和消费者

公司在利用数据仓库或数据湖中的数据时经常会面临的一个挑战,那就是分析数据的所有权很弱或根本不存在,因此质量可能会受到影响。数据网格是公司如何从数据中创造价值的组织范式转变,责任又重新回到了生产者和消费者手中。

 

Matthias Patzak 在法国FlowCon大会上发表了关于数据网格平台的演讲。

 

正如 Patzak 所解释的那样,当公司想要利用数据并实现数据驱动时,他们面临的最大挑战之一就是他们所收集的数据的质量:

 

你听过“数据就是新石油”这句话吗?在 21 世纪末,人们认为所有的数据都应该被存储,因为它是一种宝贵的资源。但是,当你不知道是谁存储了什么数据以及为什么存储时,谁会信任一个 5 年前的 S3 存储桶呢?

 

Patzak 认为数据更像是葡萄酒。他说,有些数据就像是葡萄酒一样,必须迅速消耗掉,否则就会变质。其他数据,如果存储和处理得当,可以很好地保存,甚至随着时间的推移,其价值和质量也会提高。

 

Patzak 提到,根本问题是分析数据的所有权往往很弱或根本不存在,因此质量可能会受到影响。分析数据由事务系统生成的。然而,Patzak 说,了解并拥有这些系统和底层流程的人不负责对其数据进行分析的应用程序。它通常被提取、转换、加载到数据仓库或数据湖中,并由中心化的、高度专业化的部门使用。他补充道,这些专家通常也没有真正的主人翁意识。

 

Patzak 说到,数据网格是一种分布式数据基础设施,它将使用数据并从数据中创造价值的责任重新交到数据的生产者和消费者手中。它消除了专门的数据组织作为在生产者和消费者之间通信的的代理和瓶颈。这种分布式数据基础设施的核心是数据产品,它们本身就可以创造切实的商业价值。

 

要构建一个数据网格,你需要创建一个面向领域的架构,在该架构中,每个业务单元都将其数据作为一种产品进行管理,使用自助服务基础设施和工具进行编排、共享和治理,正如 Patzak 所解释的那样:

 

这种自助服务基础设施由数据网格平台构建,包括云服务、数据编排工具和 CI/CD 管道,并由用于安全和质量的联邦治理策略以及用于监控的可观测性系统来支持。

 

Patzak 提到,访问由强大的安全机制控制,整个数据基础设施是自动化的,并通过“基础设施即代码”实践进行维护。他补充道,至关重要的是,通过平台团队提供的有针对性的支持和培训计划,领域团队具备了必要的技能,确保技术设置促进了自主、质量和协作的文化。

 

Patzak 总结道,数据网格的好处是实施时间更快,生产者和消费者的认知负荷更少,为公司提供了一致的工具和标准。

 

InfoQ 就创建数据网格平台一事采访了Matthias Patzak

 

InfoQ:创建数据网格平台需要什么?平台能带来什么好处?

 

Matthias Patzak:从技术角度来看,一切都可以用来构建数据网格平台的核心服务。这只是一项繁重的工作。与任何平台一样,挑战在于确保平台服务被用户接受和使用。这是通过让平台用户优先处理平台积压的工作,并通过轮岗的方式让用户团队的开发人员参与平台服务的开发来实现的。

 

InfoQ:对于那些希望使用数据网格来利用数据的组织来说,你有什么建议嘛?

 

Patzak:不要大费周章!从一个特定的用例开始,将开放的生产者和消费者配对,并利用数据网格的去中心化方法。甚至在你准备好之前就开始,并通过开始来做好准备。最后,与特定的用例并行开发平台。

 

原文链接:

https://www.infoq.com/news/2024/06/data-mesh-platforms/

2024-07-11 08:007105

评论

发布
暂无评论
发现更多内容

面向对象究竟是什么鬼?该如何理解?

乌龟哥哥

10月月更

80%的前端开发都答不上来的js异步面试题

loveX001

JavaScript

【一Go到底】第五天---指针

指剑

Go golang 10月月更

硬核好文!网络拓扑类型:总线、环形、星形、网状、树形、点对点、混合

wljslmz

网络技术 网络拓扑 10月月更

【牛客刷题-算法】NC16 对称的二叉树

清风莫追

算法 二叉树 10月月更

说说Vue响应式系统中的Watcher和Dep的关系-面试进阶

bb_xiaxia1998

Vue

书单推荐|宅家不动过国庆,好书相伴不寂寞

图灵社区

书单 国庆节

Fiddler(一) - Fiddler简介

No Silver Bullet

fiddler 10月月更 抓包工具

【牛客刷题-算法】NC25 删除有序链表中重复的元素-I

清风莫追

算法 链表 10月月更

基于IDE和dlv远程调试Kubernetes组件

琦彦

Go Kubernetes 调试 10月月更 delve

微服务通信

穿过生命散发芬芳

微服务 10月月更

说说你对Vue的keep-alive的理解

bb_xiaxia1998

Vue

C++学习---_IO_new_fdopen函数原理分析学习

桑榆

c++ 源码分析 10月月更

最长回文串

掘金安东尼

10月月更 算法、

经常会采坑的javascript原型应试题

loveX001

JavaScript

老生常谈React的diff算法原理-面试版

beifeng1996

React

【牛客刷题-算法】NC22 合并两个有序的数组

清风莫追

算法 数组 10月月更

什么是 Python 垃圾回收机制中的引用计数

宇宙之一粟

Python 垃圾回收机制 引用计数 10月月更

令人头秃的js隐式转换面试题,你能做对吗

loveX001

JavaScript

Fiddler(二) - 使用Fiddler做抓包分析

No Silver Bullet

fiddler 抓包分析 10月月更

Vue3入门指北(八)v-model

Augus

Vue3 10月月更

InetAddress.getLocalHost() 执行很慢?

xiaoxi666

网络 网络库

面试官:React怎么做性能优化

beifeng1996

React

Vue是怎样监听数组的变化的?

bb_xiaxia1998

Vue

Mac下vagrant从安装到体验

程序员欣宸

vagrant 虚拟机 10月月更

【C语言难点突破】指针入门讲解

Geek_65222d

10月月更

React-Hooks怎样封装防抖和节流-面试真题

beifeng1996

React

网络请求模块(2)

张立梵

Python. 爬虫必备知识讲解 10月月更

Collections之Arraylist源码解读(五)

知识浅谈

ArrayList 10月月更

【愚公系列】2022年10月 Go教学课程 018-分支结构之switch

愚公搬代码

10月月更

2022-10-04:以下go语言代码输出什么?A:{123} main.T{x:123} B:{123} T{x:123} C:boo boo D:boo main.T{x:123}。 packag

福大大架构师每日一题

golang 福大大 选择题

数据网格平台如何连接数据生产者和消费者_管理/文化_Ben Linders_InfoQ精选文章