HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

百分点 AI 讲堂|程佳:AI+ 时代的数据中台设计与实践

  • 2020-03-08
  • 本文字数:2210 字

    阅读完需:约 7 分钟

百分点AI讲堂|程佳:AI+时代的数据中台设计与实践


百分点产品副总监 程佳

一 百分点数据中台长什么样

作为百分点的产品副总监,程佳多年来都在面向传统企业进行 To B 级的大数据技术平台、数据资产管理平台,以及与 AI 相关产品的规划和设计。


对于数据中台,她谈到,数据中台是集数据采集、融合、治理、组织管理和智能分析为一体的平台,但它的实质是一种解决方案而不是产品。数据中台最核心的要点,是使数据能够源源不断地驱动上层业务创新,并且业务创新产生的数据又可以回流到数据中台,进行持续性的数据迭代


而在数据中台中内含的数据资产管理平台的治理体系、生命周期管理,以及 AI 中台等产品,本质上是构建数据中台过程中积累的全链路工具集。通过对这些工具的使用,再结合数据中台实施落地的方法论,就能构建一个完整的数据中台,为企业和客户创造价值。


“这也是我把这些产品定义为工具型产品的原因。而百分点做的,就是在构建数据中台的过程中提供更加智能化的工具,让企业能够更快速地构建数据中台。”程佳总结道。

二 数据中台实施标准路径

万事万物,皆有章法。百分点实施数据中台的“章法”就是“五大体系、十一个步骤”。五大体系即数据接入、数据处理、数据治理、数据组织和数据服务,而十一个步骤则是五大体系的完整运作过程共有十一步。


举例来说,当团队进场做数据中台项目时,首先项目经理要带团队做业务盘点和数据盘点工作,知晓客户业务情况;其次将数据接到大数据平台,做数据勘探、数据治理,了解现有数据的质量。之后梳理数据标准体系,做数据的标准化。接着建设数据仓库,对数据进行加工、整合与归类。归类完成后,基于数据可视的目的,对元数据进行管理,建立数据资源目录。最后完成数据的开放和共享,使数据能够在数据中台中被分析和可视化应用。


程佳笑谈:“这十一步其实都是很底层的工作,可以说是苦活、累活,我们叫搬砖的活。它只是按照数据的角度,对数据做了类别整理和数据目录展现,还没有到释放数据价值的那一步。但是它是必备步骤,没有前面这十一步,就没有后面所有的应用。”

三 用 AI 为传统企业数据中台落地提速

提高数据中台落地效率,最终目的还是把更多的时间用来做真正的价值释放。然而传统企业数据中台的使用用户群繁杂,包括大数据技术团队、数据开发团队、商业智能团队和可视化团队等。即使有数据中台标准架构的方法论、完整的团队,也并不意味着做传统企业数据中台的困境已经消失。


程佳从产品层面,总结了构建传统企业数据中台面临的三个困境:


  • 业务杂。各业务版块关系松散,各自为战,缺乏统一管理标准。客户商业模式各不相同,业务、技术解决方难。

  • 组织重。组织结构复杂,业务、技术部门的融合、协同能力不够。

  • 技术难。大数据技术门槛高,人才储备不足。


面对这些困境,程佳结合多年数据平台设计与实施经验,提出在做数据中台的产品设计时,应该更多地去想如何结合百分点“五大体系、十一个步骤”的方法论,让这一方法论的实现更简单、智能、敏捷。基于此,她提出:


  1. 将工具组件化,积木式组合快速扩充平台能力。


数据中台内含的基础服务、数据管理服务,甚至某些应用服务、前台可视化服务全部可以实现组件化。比如企业要求对某些核心数据做数据质量稽核,就可把基础服务中的任务执行引擎、认证、公共配置等完成一个质量稽核平台,通过整体服务组装成中台。


以组件的形式搭建数据中台,一方面可以保证高度的灵活、低度的耦合,组件可拆可合,同时还具备了强大的兼容性。


  1. 借助 AI 提升数据管理效率,实现数据资产管理智能化。


数据中台实施标准路径的十一个步骤缺一不可,所以就会面临全域数据整合后,无法界定具体做哪些数据或核心数据过多的问题。而借助 AI,可以使这十一步更优化、智能和敏捷。


  • 智能定义数据标准


数据治理依赖于统一标准。百分点将国标、行标结合企业实际情况,加速数据标准落地,形成百分点整体标准库。


  • 稽核规则智能匹配


首先按字段名称自动对标。其次按业务逻辑(业务口径)自动推荐稽核规则。投入将大幅缩减,而释放的价值不断提升。


  • 核心代码自动生成


设计数据仓库,可通过智能开发引擎提供的工具(如模型开发、自动代码生产以及调试、代码智能优化等功能组件),基于 NLP 进行智能数据治理,设计替代编码,智能编排数据开发,大幅提升设计效率。


  • 数据流自动编排


基于数据血缘自动编排数据开发工作流,不再需要大量人力,只需要做一些轻微调整,大大降低了人工成本。


程佳总结道,借助 AI 提升数据管理效率,实际上是依赖于过去项目中所积累的大量规则和经验,把这些经验沉淀、融入到产品中,再通过用人工智能技术,实现产品更智能。


  1. 抛开技术思维,降低使用门槛,扩充平台使用人群。


百分点基于统一数据模型、内存、Pipeline 的交互式数据融合引擎,明确了生产流水线设计,能够让客户轻松地操作平台,解决业务问题。


以交互式机器学习建模设计为例:传统建模设计,需要进行大量代码编写和少量的数据训练。而机器平台可视化建模,将复杂晦涩的机器学习算法集成到平台,形成可视化的算法组件,按需组合,通过简单的参数配置就可完成机器学习建模过程,极大地降低了使用门槛。而交互式机器学习建模设计的价值点表现在三个方面:第一零代码操作机器学习算法组件,第二自动感知数据流、无需关心管道设计步骤;第三可以可视化参数配置。


最后,传统企业运营数据中台,要将数据越用越好,而不是越管越好。这就要求企业以高质量的数据为基础,充分盘活数据资产,并通过业务驱动数据流通,最终促进前台业务创新。只有数据中台运营得当,才能打造良性的生态闭环。


2020-03-08 16:441094

评论

发布
暂无评论
发现更多内容

Lightsail CDN 现已对 Lightsail Container Services 作为来源进行支持

亚马逊云科技 (Amazon Web Services)

CDN Amazon Lightsail Amazon CloudFront

如何使用商品详情API接口获取商品数据:一篇详尽的论述

Noah

Util应用框架概述

何镇汐

SecureCRT for mac(终端SSH仿真工具)v9.4.1中文激活版

mac

securecrt 苹果mac Windows软件 终端SSH仿真工具

MobPush后台配置教程

MobTech袤博科技

智能推送

MobPush自定义智能标签,赋能精细化运营

MobTech袤博科技

智能推送

跨平台.NET IDE集成开发 JetBrains Rider注册码激活版

mac大玩家j

代码编辑器 Mac软件

HarmonyOS数据管理与应用数据持久化(二)

HarmonyOS开发者

iZotope RX 10 for mac(音频修复和增强工具) 10.4.2完整激活版

mac

苹果mac Windows软件 iZotope RX 10 音频修复软件

Flink JobManager内存管理机制介绍与调优总结

腾讯云大数据

flink、

混合云场景下基于 Fluid 的焱融高效存储方案

焱融科技

云原生微服务的下一站:Proxyless Service Mesh

华为云开发者联盟

微服务 云原生 华为云 华为云开发者联盟

MobPush智能推送工具,助力实现用户全生命周期管理

MobTech袤博科技

智能推送

Stable Diffusion 的提示词使用技巧

3D建模设计

Stable Diffusion 自动纹理

.NET CORE 之gRpc使用

gogo

git原理与基本应用

丛风

git

如何使用商品详情API接口来获取想要的商品数据?

Noah

企业级API资产如何管理

RestCloud

API 资产管理 API 接口

喜讯!云起无垠获评GEEKCON 2023"前沿突破奖"

云起无垠

DAPP合约代币质押算力挖矿系统开发

l8l259l3365

以技术创新,让美好发生!第二届华为云杯“少年开发者”人工智能大赛总决赛成功落幕

彭飞

MobPush智能推送:数智化运营释放APP用户生命周期价值

MobTech袤博科技

Techwalk攻略 | 来北京与OpenHarmony技术大会一起技术漫游!

OpenHarmony开发者

Util应用框架介绍

何镇汐

C# 后端 软件开发 开源框架’

After Effects 2024 for Mac(ae视频特效制作工具) v24.0.2永久激活版

mac

windows 苹果mac After Effects 2024 AE2024 视频特效制作软件

推送没人看?MobPush助力APP运营提质增效

MobTech袤博科技

企业几种快速传输大文件的使用方法,你GET到了吗

镭速

大文件传输 传输大文件

利用稳定扩散快速修复图像

3D建模设计

人工智能「 Stable Diffustion 图像修复

一图看懂华为云CodeArts Link六大特性,带你体验一站式跨平台数据互联

华为云PaaS服务小智

云计算 软件开发 华为云

百分点AI讲堂|程佳:AI+时代的数据中台设计与实践_文化 & 方法_百分点科技技术团队_InfoQ精选文章