近几年,大数据领域逐渐开始拥抱“融合”(或所谓“一体化”)演进的新方向,不管是今年刚成为热议话题的“湖仓一体”,还是更早提出的“流批一体”,其实都是这一思路的阶段性成果。
今年双 11, Flink 流批一体开始在阿里最核心的数据业务场景崭露头角,并抗住了 40 亿条/秒的实时计算峰值。这是第一次有互联网超级大厂真正在核心数据业务上规模化落地流批一体技术。这次成功打样的案例或许能让更多企业和团队打消观望情绪,并使 2020 年成为流批一体落地的元年。
今年的双 11,基于 Flink 的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角。
本文主要介绍顺丰在数据仓库的数据实时化、数据库 CDC、Hudi on Flink 上的实践应用及产品化经验。
流批一体已经从理论走向实践,并在 2020 年迎来落地元年。