写点什么

顺丰数据中台是怎样炼成的?专访顺丰科技大数据总监蔡适择

  • 2022-07-25
  • 本文字数:2652 字

    阅读完需:约 9 分钟

顺丰数据中台是怎样炼成的?专访顺丰科技大数据总监蔡适择

顺丰高速发展背后隐藏巨大阻力,各领域的数据问题成为顺丰精细化经营的最大困境,主要体现在核心业务线 O 线、M 线、F 线、H 线跨领域数据共享困难、数据服务时效性不足、数据质量问题、分析口径不统一和缺乏对数据的深度分析和挖掘。

 

而为了解决这样的问题,顺丰内部推动了数据中台项目,旨在打通内部数据的使用效率。数据中台作为集团最核心技术系统之一,如何构建其架构体系,如何在实际业务场景进行落地?本次采访了顺丰科技大数据总监蔡适择老师,来讲讲相关实战经验。

 

2022 年 8 月 18-19 日北京ArchSummit全球架构师峰会上,也设置了大数据治理专题,感兴趣的可以查看会议日程,来自字节跳动、快手、美团、网易的嘉宾,将分享 LakeHouse、流批一体等内容,欢迎关注。

 

InfoQ:蔡老师,您目前负责顺丰大数据平台底盘建设及产品化工作,完成顺丰大数据平台从 0 至 1 的整个建设过程。数据平台建设之前,顺丰内部的数据是一种什么样的状况?有哪些阻力?

 

蔡适择:在建设统一平台之前,数据是分散到各个独立的组织中,且各组织的数据想要共享比较困难,所以以前也有大数据,但它是一个个的数据孤岛,对业务的助力也仅仅是做一些报表,数据的需求则要由指定的人在指定的机器上编写指定的脚本来满足,交付效率低。

 

建设统一的平台,最大的挑战在于如何在满足信息安全的同时,对全域数据进行拉通与融合,并以开放自助的方式来大幅提升交付效率,而顺丰的数据又是相对来说比较敏感的,所以信息安全的思维惯性反而在当时成为了最大的阻力。

 

InfoQ:顺丰数据中台建设经过了哪几个阶段?建设之初,做了哪些架构层面的规划?

 

蔡适择:大体来说,可以分为三个阶段吧,第一个阶段算是开荒期,重点是做统一平台、统一工具、统一数据湖,在数据安全、可扩展性、数据共享上做了较为细致的规划,基本奠定了整体的平台服务基础。

 

第二阶段算是整合期,基于顺丰多元化战略的契机,在多租户模式下数据融合、数据协同开发、数据资产线上化上给予重点突破,让数据开发效率有大幅的提升,反映到业务中,就是数字指导经营基本深入到了业务各条线。

 

第三阶段一直持续至今天,我们称之为治理期,经过多年的数据野蛮增长,平台沉淀了不少数据,但数据的质量、数据的复用性、数据口径的统一却常常未达预期,因此需要对其进行深度的治理,在此期间,重点推进数据标准与质量、数据开发规范、平台数据运营工作,并在底盘架构上进行云原生、多机房、实时化改造,让全集团的数据人员深度参与,让顺丰的数据中台在数据质量、数据共享、数据应用效率上有质的提升。

 

InfoQ:数据中台建设之前,一直存在的“跨领域数据共享困难、数据服务时效性不足、数据质量问题、分析口径不统一和缺乏对数据的深度分析和挖掘”这些问题,在中台建设之后,已经完全解决了嘛?在业务上的效果如何?

 

蔡适择:这些问题完全解决是不太可能的,但对比以前,算是有质的飞跃。

 

  • 比如跨领域数据共享,我们在保障数据安全合规的情况下,通过数据标准、研发标准,以及底盘逻辑化改造,基本解决掉曾经或潜在的共享障碍;

  • 在数据时效性上,我们通过自建的数据开发平台、实时数据湖能力、湖仓一体的能力,让数据时效提升变得轻松且低成本;

  • 在数据质量上,经过多年的数据标准沉淀及数据质量平台的建设,让数据质量问题得以及时发现、及时处理,有效地提升数据质量,并基于数据指标平台及建模工具,在数据标准、数出一孔方面得以大幅保障,基本改善了口径不统一的情况。

 

从业务效果上来总结,让用户搜不到、找到不可用、查到不敢信等数据问题基本得到解决。

 

InfoQ:数据中台在实际业务场景进行落地的时候,遇到了哪些技术上,或者内部推动上的困难?例如跨领域共享、指标时效、数据治理、团队协同及跨云计算等问题。又是如何解决的?

 

蔡适择:能用技术解决的问题都不能算是大的问题,最大的困难还是在于内部推动上,数据共享、多人协同开发、数据标准化都是需要跨组织拉通,并推动对现有的内容进行改造的,对现有业务的影响如何避免、改造后的短期收益不明显都是明显的障碍,因此需要从上往下推行,需要在高层上就取得一致的共识与支持才能进行下去。所以顺丰的数据中台能够顺利推进,最大的因素还是因为管理层有坚定的决心,且取得了一致的共识。

 

当然,在技术上还是有一定的挑战的,比如数据实时化,让研发写专业的代码肯定也是可以实现的,但这成本高、灵活性低。因此我们需要在实时数据湖、实时数据开发平台上做深度的低门槛化,才能让数据实时化得以大幅推进;再比如跨云计算,因为随着业务用数的人越来越多、用户自助分析的需求越来越大,且物流快递行业是具有明显的高峰低谷时期,算力需求的不稳定性是比较突出的,因此我们通过对大数据底盘架构做深度改造,在存算分离、精细化缓存、跨机房精细调度等方面进行深度研发,并与公有云打通,借助公有云的弹性能力,让计算按需弹性到公有云,在平衡成本的情况下,有效地保障了不稳定的算力需求。

 

InfoQ:在您看来,顺丰数据治理体系的关键理念是什么?又是如何践行的?

 

蔡适择:一套数据治理体系、一个数据中台、N 个应用,要践行这样的理念,首先需要管理层有深刻的共识,让事情能推下去;其次,平台及工具要足够地简单与透明,让用户愿意配合;最后,要有配套的数据运营,即需要有一条鞭子,确保标准规范得以落地,并让数据的价值得以数字化显现。

 

InfoQ:数据中台建设,及应用落地的经验,对快递行业发展有什么借鉴经验可以传播的?

 

蔡适择:要有数据标准、要关注数据质量。快递行业是一个“人多、车多、货多、场多、环节多”的业务场景,如果全靠人管,没有全局的数据支撑,效率必将大打折扣,一个相对完备的数据中台,不仅仅能够让管理者及时发现业务问题、调整战略方向,还能让经营精细化、物流智能化得以推进,但这么多的环节对接、这么多的人工操作,数据质量问题是最容易出现且又最容易被忽视的,而一个有众多数据质量问题的数据中台,是没有可能成功的。

讲师简介

蔡适择,顺丰科技有限公司大数据总监。负责顺丰大数据平台底盘建设及产品化工作,完成顺丰大数据平台从 0 至 1 的整个建设过程,之前负责京东实时计算平台从 0 至 1 的整体建设。在大数据平台、物联网、边缘计算领域有丰富的实践经验,深耕大数据平台存算分离、实时数仓、融合计算等技术,致力于大幅降低数据开发及应用门槛,让大数据技术成为一项人人可用、可快速应用的技术。

活动推荐


ArchSummit全球架构师峰会(北京站)设置了企业数字化转型落地探索专题。来自来自字节跳动、快手、美团、网易的嘉宾,将分享 LakeHouse、流批一体等内容,欢迎关注。

2022-07-25 18:178330

评论

发布
暂无评论
发现更多内容

多线程、分布式、高并发都不懂?你拿什么跳槽?

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

给Arm生态添把火,腾讯Kona JDK Arm架构优化实践

腾源会

开源 腾讯 jdk 腾讯开源 KonaJDK

堡垒机品牌就认行云管家!为什么呢?

行云管家

云计算 系统运维 堡垒机 IT运维 云计算运维

终于有人把TCP协议与UDP协议给搞明白了

编程菌

Java 编程 程序员 计算机 java技术宅

云原生 | 混沌工程工具 ChaosBlade Operator Node 篇

RadonDB

数据库 云原生 混沌工程

基于KubeEdge实现中国移动10086客服云边协同平台

华为云原生团队

云计算 开源 运维 边缘计算 边缘技术

EMQ 映云科技成为开源项目 Vue.js 定期捐赠者

EMQ映云科技

Java 开源 大前端 emq

机会!痛点!难点!中国游戏泛娱乐企业出海攻略全解析

环信

游戏出海 直播 社交APP出海 泛娱乐社交

太为难我了,阿里面试了7轮(5年经验,拿下P7岗offer)

Java 编程 程序员 架构 面试

二本渣渣5面阿里,从准备简历到“直怼”面试官,经历了什么?

Java 程序员 架构 面试 计算机

架构实战营毕业总结

俞立夫

架构实战营

云时代的到来会淘汰运维人员吗?运维工作可以一直做吗?

行云管家

云计算 运维 云服务 IT运维 云时代

IM开发技术学习:揭秘微信朋友圈这种信息推流背后的系统设计

JackJiang

即时通讯 IM 微信朋友圈

底层即真理!Netty+Redis+ZooKeeper解读高并发架构

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

webrtc AlrDetector

webrtc developer

千亿级模型在离线一致性保障方案详解

百度Geek说

百度 测试 后端

centos8 mediasoup 搭建

webrtc developer

WebRTC mediasoup

去哪儿网数据同步平台技术演进与实践

Qunar技术沙龙

数据库 数据中台 ES 数据同步 Kafk

腾讯WeTest零售行业质量解决方案

WeTest

价值连城 图灵奖得主Yoshua Bengio约书亚·本吉奥的采访 给AI从业者的建议 John 易筋 ARTS 打卡 Week 60

John(易筋)

ARTS 打卡计划

LeetCode题解:217. 存在重复元素,哈希表,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

使用账号密码来操作github? NO!

程序那些事

Java GitHub 程序那些事

业界良心啊!第五次更新的Spring Cloud Alibaba升级太多内容

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

“区块链”赋能智慧社区,多维度提升管理质效

旺链科技

区块链 智慧社区

MySQL 系列教程之(六)DML 操作:数据的增删改

若尘

数据库 MySQL 数据库 8月日更

linux工具之TC

webrtc developer

多张图片的形式

冇先生

银行小程序隐私安全如何做?诊疗一体,一步到位

WeTest

工具 | 使用 CLion 编译调试 MySQL 8.0

RadonDB

MySQL 数据库

好评如潮,PerfDog两年迭代正式启动商业化探索

WeTest

架构师训练营-毕业设计

俞立夫

顺丰数据中台是怎样炼成的?专访顺丰科技大数据总监蔡适择_大数据_Xue Liang_InfoQ精选文章