写点什么

百分点 AI 讲堂|程佳:AI+ 时代的数据中台设计与实践

  • 2020-03-08
  • 本文字数:2210 字

    阅读完需:约 7 分钟

百分点AI讲堂|程佳:AI+时代的数据中台设计与实践


百分点产品副总监 程佳

一 百分点数据中台长什么样

作为百分点的产品副总监,程佳多年来都在面向传统企业进行 To B 级的大数据技术平台、数据资产管理平台,以及与 AI 相关产品的规划和设计。


对于数据中台,她谈到,数据中台是集数据采集、融合、治理、组织管理和智能分析为一体的平台,但它的实质是一种解决方案而不是产品。数据中台最核心的要点,是使数据能够源源不断地驱动上层业务创新,并且业务创新产生的数据又可以回流到数据中台,进行持续性的数据迭代


而在数据中台中内含的数据资产管理平台的治理体系、生命周期管理,以及 AI 中台等产品,本质上是构建数据中台过程中积累的全链路工具集。通过对这些工具的使用,再结合数据中台实施落地的方法论,就能构建一个完整的数据中台,为企业和客户创造价值。


“这也是我把这些产品定义为工具型产品的原因。而百分点做的,就是在构建数据中台的过程中提供更加智能化的工具,让企业能够更快速地构建数据中台。”程佳总结道。

二 数据中台实施标准路径

万事万物,皆有章法。百分点实施数据中台的“章法”就是“五大体系、十一个步骤”。五大体系即数据接入、数据处理、数据治理、数据组织和数据服务,而十一个步骤则是五大体系的完整运作过程共有十一步。


举例来说,当团队进场做数据中台项目时,首先项目经理要带团队做业务盘点和数据盘点工作,知晓客户业务情况;其次将数据接到大数据平台,做数据勘探、数据治理,了解现有数据的质量。之后梳理数据标准体系,做数据的标准化。接着建设数据仓库,对数据进行加工、整合与归类。归类完成后,基于数据可视的目的,对元数据进行管理,建立数据资源目录。最后完成数据的开放和共享,使数据能够在数据中台中被分析和可视化应用。


程佳笑谈:“这十一步其实都是很底层的工作,可以说是苦活、累活,我们叫搬砖的活。它只是按照数据的角度,对数据做了类别整理和数据目录展现,还没有到释放数据价值的那一步。但是它是必备步骤,没有前面这十一步,就没有后面所有的应用。”

三 用 AI 为传统企业数据中台落地提速

提高数据中台落地效率,最终目的还是把更多的时间用来做真正的价值释放。然而传统企业数据中台的使用用户群繁杂,包括大数据技术团队、数据开发团队、商业智能团队和可视化团队等。即使有数据中台标准架构的方法论、完整的团队,也并不意味着做传统企业数据中台的困境已经消失。


程佳从产品层面,总结了构建传统企业数据中台面临的三个困境:


  • 业务杂。各业务版块关系松散,各自为战,缺乏统一管理标准。客户商业模式各不相同,业务、技术解决方难。

  • 组织重。组织结构复杂,业务、技术部门的融合、协同能力不够。

  • 技术难。大数据技术门槛高,人才储备不足。


面对这些困境,程佳结合多年数据平台设计与实施经验,提出在做数据中台的产品设计时,应该更多地去想如何结合百分点“五大体系、十一个步骤”的方法论,让这一方法论的实现更简单、智能、敏捷。基于此,她提出:


  1. 将工具组件化,积木式组合快速扩充平台能力。


数据中台内含的基础服务、数据管理服务,甚至某些应用服务、前台可视化服务全部可以实现组件化。比如企业要求对某些核心数据做数据质量稽核,就可把基础服务中的任务执行引擎、认证、公共配置等完成一个质量稽核平台,通过整体服务组装成中台。


以组件的形式搭建数据中台,一方面可以保证高度的灵活、低度的耦合,组件可拆可合,同时还具备了强大的兼容性。


  1. 借助 AI 提升数据管理效率,实现数据资产管理智能化。


数据中台实施标准路径的十一个步骤缺一不可,所以就会面临全域数据整合后,无法界定具体做哪些数据或核心数据过多的问题。而借助 AI,可以使这十一步更优化、智能和敏捷。


  • 智能定义数据标准


数据治理依赖于统一标准。百分点将国标、行标结合企业实际情况,加速数据标准落地,形成百分点整体标准库。


  • 稽核规则智能匹配


首先按字段名称自动对标。其次按业务逻辑(业务口径)自动推荐稽核规则。投入将大幅缩减,而释放的价值不断提升。


  • 核心代码自动生成


设计数据仓库,可通过智能开发引擎提供的工具(如模型开发、自动代码生产以及调试、代码智能优化等功能组件),基于 NLP 进行智能数据治理,设计替代编码,智能编排数据开发,大幅提升设计效率。


  • 数据流自动编排


基于数据血缘自动编排数据开发工作流,不再需要大量人力,只需要做一些轻微调整,大大降低了人工成本。


程佳总结道,借助 AI 提升数据管理效率,实际上是依赖于过去项目中所积累的大量规则和经验,把这些经验沉淀、融入到产品中,再通过用人工智能技术,实现产品更智能。


  1. 抛开技术思维,降低使用门槛,扩充平台使用人群。


百分点基于统一数据模型、内存、Pipeline 的交互式数据融合引擎,明确了生产流水线设计,能够让客户轻松地操作平台,解决业务问题。


以交互式机器学习建模设计为例:传统建模设计,需要进行大量代码编写和少量的数据训练。而机器平台可视化建模,将复杂晦涩的机器学习算法集成到平台,形成可视化的算法组件,按需组合,通过简单的参数配置就可完成机器学习建模过程,极大地降低了使用门槛。而交互式机器学习建模设计的价值点表现在三个方面:第一零代码操作机器学习算法组件,第二自动感知数据流、无需关心管道设计步骤;第三可以可视化参数配置。


最后,传统企业运营数据中台,要将数据越用越好,而不是越管越好。这就要求企业以高质量的数据为基础,充分盘活数据资产,并通过业务驱动数据流通,最终促进前台业务创新。只有数据中台运营得当,才能打造良性的生态闭环。


2020-03-08 16:441163

评论

发布
暂无评论
发现更多内容

win版PrintFab Pro XL(打印机驱动程序套件) v1.21 激活版

iMac小白

win版Native Instruments Maschine(音频制作工具) v2.18.3 (x64)特别版

iMac小白

算力新时代下,低代码助力企业跨越数字化转型挑战

EquatorCoco

低代码 算力 低代码数字转型

探讨利用现成源码开发游戏直播APP的利弊

软件开发-梦幻运营部

这2个办公实用技巧,让PPT文件保存不再困难!

彭宏豪95

职场 PPT 办公软件 效率软件 AI生成PPT

win版BluffTitler Ultimate16(3D文字制作软件) v16.6.0.3 特别版

iMac小白

win版DBeaver Ultimate (数据库连接管理) v24.1.3 特别版

iMac小白

一文带你搞清楚Python的多线程和多进程

不在线第一只蜗牛

Python 多线程

win版XYplorer(便携式文件管理器) v26.20注册激活版

iMac小白

win版Rhinoceros 8 (犀牛8) v8.9.24194.18121激活版

iMac小白

win版Boris FX Silhouette 2024 (影视跟踪抠像合成软件) v2024.0.1 特别版

iMac小白

win版Native Instruments Traktor Pro(数字DJ音乐制作平台) v4.0.0 英文版

iMac小白

革新工业运维:TDengine 助力双合电气智能化管理更上一层楼

TDengine

SPSS平方符号如何输入,SPSS平方如何计算 spss数据分析怎么用

阿拉灯神丁

统计学 IBM SPSS Statistics中文 IBM SPSS Statistics下载 spss统计软件 #数据

圣诺联合加入龙蜥社区,共筑数据安全长城

OpenAnolis小助手

开源 操作系统 龙蜥社区 龙蜥生态 圣诺联合

重磅活动推荐:2024 CLK 大会启动中,承办单位开放报名

OpenAnolis小助手

Linux

火山引擎云搜索服务通过信通院向量数据库可信认证

字节跳动云原生计算

云搜索

Yalla、WePlay、YoYo、chamet、MatchPub、Mico、Poppo live--跨越文化差异,畅享全球交流:海外语聊APP的技术挑战

山东布谷科技胡月

语音直播源码 海外社交APP 语聊APP源码 语音聊天平台 交友平台定制

win版UltraSearch Pro(文件搜索软件) v4.3.0.974 激活版

iMac小白

云仿真技术的定义、云仿真平台特点

3DCAT实时渲染

实时渲染 云仿真 3D实时云渲染 云3D渲染 仿真云平台

观测云:开源生态的桥梁

可观测技术

开源

龙蜥开发者说:开源与标准结合的探索之路 | 第 28 期

OpenAnolis小助手

开源 操作系统 龙蜥开发者说

百分点AI讲堂|程佳:AI+时代的数据中台设计与实践_文化 & 方法_百分点科技技术团队_InfoQ精选文章