写点什么

Paimon 流式湖仓架构在字节大规模业务场景的落地实践|QCon 北京

  • 2025-04-07
    北京
  • 本文字数:992 字

    阅读完需:约 3 分钟

大小:460.31K时长:02:37
Paimon 流式湖仓架构在字节大规模业务场景的落地实践|QCon 北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


字节跳动研发工程师闵文俊已确认出席并发表题为《Paimon 流式湖仓架构在字节大规模业务场景的落地实践》的主题分享。本次演讲将探讨传统实时和离线开发中遇到的问题与挑战,并介绍 Paimon 作为数据湖的新星,在流式湖仓场景中的核心价值与能力。同时,将分享如何在实际业务场景中有效应用 Paimon,以及如何解决其在大规模场景中的稳定性和性能问题。


闵文俊是字节跳动研发工程师,Apache Paimon Committer,Apache Flink Contributor。多年大数据领域的从业者,目前专注于 Paimon 的流式湖仓相关的工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 背景 & 挑战

  • 传统实时和离线链路开发所面临的问题

  • 引入流式湖仓架构

2. Paimon 湖格式架构

  • Paimon 的发展历程

  • Paimon 整体架构与核心功能

  • Paimon 1.0 社区新进展

3. 业务实践

  • 广告归因场景中的应用

  • 大规模维表场景的应用

4. 未来规划

  • 基于 Paimon 流式湖仓架构的进一步演进

  • Paimon 稳定性和性能进一步的优化


您认为,这样的技术在实践过程中有哪些痛点?

  • 数据湖体系下对湖表管理的新的诉求

  • 在大规模流量场景如何满足稳定性和时效的要求


演讲亮点

  • Paimon 在流式湖仓场景的演进

  • Paimon 在实际生产实践中遇到的问题和优化手段


听众收益

  • 了解 Paimon 的核心功能和社区最新动态

  • 了解 Paimon 在大规模场景中的生产实践

  • 了解 Paimon 在落地过程中遇到的问题和解决方案


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-07 08:001

评论

发布
暂无评论

盘点JDK中基于CAS实现的原子类

JAVA旭阳

Java Java并发

学习java参加培训哪个比较好呢?

小谷哥

直播预告丨泛CG元宇宙分会场云桌π—从NVIDIA XR到云渲染,如何构建元宇宙虚拟场景生态闭环

3DCAT实时渲染

CG 渲染 虚拟现实 元宇宙 元宇宙开发

FFA 2022 收官总结|活动报告出炉,实时即未来!

Apache Flink

大数据 flink 实时计算

30个编程小技巧,提高代码性能

千锋IT教育

go基于泛型的FUNCTIONAL OPTIONS

Z.K

埃文科技完成数千万A轮融资

郑州埃文科技

网络安全 企业融资 数据服务

海鑫科金:通过 YMatrix 实现离线在线平台统一,满足公安数据场景的管理分析需求

YMatrix 超融合数据库

超融合数据库 YMatrix 公安数据场景 海鑫科金

职场沟通术语

J.Smile

沟通技巧

福利Day | KaiwuDB 邀你相约 DTCC 2022,文末免费抢价值3200元大会门票!

KaiwuDB

数据库

前端培训学习需要什么条件?

小谷哥

web前端培训应该怎么做

小谷哥

制定数据战略的三大要素和五个步骤!

用友BIP

龙磐投资,中国领先生物医药风险投资机构,规模超百亿

联营汇聚

从SPL看开放计算能力的意义

石臻臻的杂货铺

SPL

微服务中的鉴权该怎么做?

江南一点雨

SpringCloud Gateway openfei

大数据培训学习方法有哪些

小谷哥

微服务开发平台 Spring Cloud Blade 部署实践

北京好雨科技有限公司

Kubernetes 微服务 云原生 Spring Cloud

艾瑞《政企数智办公平台行业研究报告》,政企数智办公「百宝书」

融云 RongCloud

办公 数智化

go实现类似spring BeanUtil工具

Z.K

Smart Finance将AIGC引入GameFi,P2E进入人工智能时代

鳄鱼视界

初步了解Istio

穿过生命散发芬芳

istio 12月月更

学习web前端培训怎么样呢

小谷哥

找运营商电商化运营突破口的九个策谋

鲸品堂

12 月 PK 榜

Smart Finance将AIGC引入GameFi,P2E进入人工智能时代

股市老人

Gin路由添加流程

Z.K

架构实战营第十期模块一作业

Geek_4db2d5

智慧交通的待解谜题,中科视语在首届昇腾AI创新大赛交出金奖答案

脑极体

Getaverse月报 - 11月

Geek_Web3

区块链 Web3 Daily #区块链# did web3

笔记2022-12-06

mklop

学习笔记 构架

Paimon 流式湖仓架构在字节大规模业务场景的落地实践|QCon 北京_大数据_QCon全球软件开发大会_InfoQ精选文章