数据中台强调的是一种复用能力。很多企业的愿景都是“将数据用起来”,这也是数据平台类型企业基础设施的定位目标,如果再加上一些复用方法论和完善的运营机制,那么就可以认为企业在建设“数据中台”。使用数据中台最明显的效果就是提升开发效率,使用封装好的工具平台,降低开发难度,数据分析的速度会大大提高。 那么,企业建设数据中台需要如何调整组织架构?数据中台团队的人员构成是什么样子?本文,InfoQ 对百分点大数据平台负责人贾喜顺进行了独家采访,了解数据中台建设背后的组织架构调整问题。
数据中台是“一把手”工程
当中台具体化为数据中台时,应该如何定义呢?此前,InfoQ 曾就这一话题采访了数家企业,最终表明:一个完整的数据中台至少应该包含三层,即大数据计算平台、数据中台、数据应用前台。中台的定位是用技术链接计算平台的数据处理能力,用数据链接应用前台的数据应用能力。因此,中台不但要将很复杂的大数据处理技术(流计算、批量计算、实时采集、离线采集、机器学习)封装起来,形成计算平台;同时,进入中台的数据都需按照规范的建模方法论将数据形成主题域模型、形成标签模型或者算法模型。这些数据模型则是数据中台的核心资产。
企业要想建设数据中台,在贾喜顺看来,这件事情至少需要 CIO 或者 CTO 层面推动。他补充道,数据中台是“一把手”工程,需要从上到下进行。中台是战略层面的事情而不是战术层面,自下向上推动几乎没有可能,比如涉及标准统一等。
具体来说,数据中台是一个集数据采集、融合、治理、组织管理、智能分析为一体,将数据以服务方式提供给前台应用,以提升业务运行效率、持续促进业务创新为目标的整体平台。从下而上往往只能看到其中一个点,难免会以偏概全,毕竟大部分员工很难站在一定的高度去做一个”看十年、做一年“的规划,特别是当一件事和眼前的 KPI 难以达成平衡时,中台的工作会受到各个方面的挑战。因此,高层的坚定支持是中台战略的第一必要条件。
数据中台组织架构调整
当企业高层决定建设数据中台后,下一步就要考虑中台团队的人员组成以及整个团队在组织架构中的位置。对于是否要进行大的组织架构调整,贾喜顺表示,首先,这要看企业的业务复杂程度。类似阿里巴巴、京东等大厂需要通过组织架构调整来保障战略顺利推进,但规模相对较小的企业可能没有必要进行组织架构调整;其次,这取决于企业决策者对数据中台战略的态度,是否将其放到整个公司的战略高度,类似阿里巴巴、京东等大厂已经将数据中台作为重要战略,陆续进行了组织架构变更。
如果企业在搭建数据中台后进行了架构调整,贾喜顺认为,这肯定会对中台落地提供更大保障。这是因为,中台涉及各业务系统数据汇集、治理、标准和推广,这些都需要从组织层面提供保障。百分点认为,要发挥数据中台的最大价值,需要建设完善的数据治理体系,即将分散、多样化的核心数据通过数据治理技术手段和产品工具进行优化,形成企业内的数据管理体系,并结合企业组织结构,形成数据管控执行体系,在企业内部持续运行、提升挖掘数据的应用价值。
通过长期实践,百分点总结了数据治理体系包含的四个部分,即组织体系、管理体系、执行体系、技术体系。
组织体系是指从领导层自上而下推动数据治理,明确人员组织和责任分工;
管理体系是指,制定针对数据标准、数据模型的生成、变更、维护和删除等过程进行规范的流程管理;
执行体系是指,要促进所有人员遵照规范的管理流程,运用数据治理工具和技术手段,持续保障良好的数据质量;
技术体系是指,通过数据标准、数据质量、元数据管理、主数据管理等技术和工具,及时发现、解决及监控预防系统的数据问题。
数据智能类厂商一般只能做到技术体系的梳理,其他三个部分还需要企业内部进行完善,这其中包括确定中台团队人选并对垂直业务线进行变更。
中台团队人员构成
通常情况下,中台团队的人员会从企业内部各垂直业务线进行人才筛选,在组织架构调整或者成立中台团队时,会有一部分人从垂直业务线剥离出来,这是因为企业内部的人更了解技术,会比外部招聘的人更容易进入状态。当然,贾喜顺表示,整个过程主要取决于中台团队一把手的想法。
不过,对于传统企业,其内部更偏管理,数据中台团队建设更多需要借助外部力量,比如搭建数据中台的企业,然后在企业内部辅助一些团队人员进行支撑。
垂直业务线调整
对各垂直业务线而言,由于中台团队抽调了部分人才,垂直业务线的人员很大可能会缩减。中台是把以往企业各部门做的同样的事情进行集中,其中就有部分人员要被调整到其他部门,比如偏业务分析类工作,较偏底层的技术人员在垂直业务领域可能就不需要了。
贾喜顺表示,人员结构也会有变化,底层技术、研发人员会缩减,在实践数据中台的垂直业务线团队更偏重面向业务的应用产品研发人员和业务分析人员,调整后的团队与数据中台团队的人员协作之间可能还存在一定磨合期。以前的模式是垂直部门从上到下打通业务流程,现在要进行跨部门沟通,与数据中台团队进行合作,这就需要互相进行沟通协作,难免需要一段时间磨合,业务边界同样也需要磨合。
数据中台提供的共性能力是基于多业务数据融合后的数据服务能力,如果是共性需要,可以承接在数据中台上统一提供,如果是为了满足个性化需求,从数据中台角度看,除了提供数据层面的能力(DaaS),还可以提供 PaaS 层能力,比如百分点已经把数据中台里面的一些产品和技术以多租户的形式提供给垂直部门,提供非常个性化的能力,业务线可以基于数据中台加工的基础数据上,进一步做二次开发。
在架构调整的过程中,贾喜顺坦言肯定会遇到矛盾和冲突,任何组织架构调整都会涉及矛盾和冲突,尤其是这种集中式的组织结构变更。一方面,这种调整会把责任和权限聚集到一起,涉及组织管理的权力缩减问题;另一方面,业务边界的划分上需要进行磨合,要理清中台、前台的边界在哪里,如果边界不确定,就会涉及很多矛盾冲突。但是,有些边界又很难界定,业务划分不是很清楚,比如基于数据中台出指标体系,统计访问业务的 PV、UV 等关键指标,不同部门的统计口径不同,一旦通过中台定义,很多指标都需要进行调整。类似的,企业内部可能有成千上万的指标需要重新划分边界,确定哪些指标体系由中台提供,哪些由前台做,很多情况下需要一事一议,不是那么容易划分清楚的。
结束语
过去,企业的数据量少,建设数据烟囱没有问题。随着数据越来越多,假如一个企业有数十个甚至上百个应用,就会有有明显的重复建设和资源浪费,甚至更严重的是因建设者不同而造成口径标准不一致。另一方面,当数据量较为庞大时,增删改查也会变得非常缓慢。“数据中台”就这样随需而生,虽然很多企业对建设数据中台来打破数据壁垒抱有很大希望,但采访最后,贾喜顺也提醒道,建设数据中台是个长期过程,不是三个月或者半年就能出成效的,决策者需要在理念上进行转变。
嘉宾介绍:
贾喜顺,长期专注于数据仓库、数据中心和大数据平台建设,先后任职东方国信、搜狐畅游等企业,现为百分点大数据平台负责人,负责底层平台研发及企业级服务。
相关文章:
活动推荐:
2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。
评论