写点什么

阿里云高级开发工程师罗宇侠将在 QCon 北京分享 Lakehouse 架构实时化演进实践

  • 2025-04-06
    北京
  • 本文字数:1364 字

    阅读完需:约 4 分钟

大小:690.97K时长:03:55
阿里云高级开发工程师罗宇侠将在QCon 北京分享 Lakehouse 架构实时化演进实践

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


阿里云高级开发工程师罗宇侠已确认出席并发表题为《Fluss 湖流一体:Lakehouse 架构实时化演进》的主题分享。湖仓一体 Lakehouse 凭借其开放性和成本效益,已经成为当今数据平台的主流架构。然而在 LakeHouse 架构下,数据的时效性最多只能达到分钟级。为了满足企业对实时数据分析的需求,通常需要额外引入秒级延迟的流存储(如 Kafka)。流存储游离在 LakeHouse 架构外,带来的成本、一致性、治理等问题都面临很大的挑战。


本次演讲将探讨流存储和 LakeHouse 架构割裂的现状下用户面临的问题和挑战,以及目前业界在融合两者上的趋势。然后会介绍流存储 Fluss 如何完美地融入进 LakeHouse 架构,无缝地将 LakeHouse 架构进行实时化改造,深度解析其技术架构和原理,分析该架构相比割裂地使用流存储和 LakeHouse 架构能带来的收益。最后将分享基于 Fluss 来构建实时 LakeHouse 架构的最佳实践,希望能给听众带来一些帮助。


罗宇侠是阿里云智能高级开发工程师,Apache Flink Committer,早期致力于 Flink 与 Hive 生态以及数据湖生态的集成。目前专注于流存储 Fluss 项目,负责湖流一体的研发工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 湖流割裂的现状和挑战

  • LakeHouse 架构下,流存储与湖存储割裂的现状

  • 流存储与湖存储割裂面临的挑战

2. 湖流融合的业界趋势

  • 业界在流批融合方向上的趋势

  • 业界在流批融合方向上提出的解决方案

3. Fluss 湖流一体架构和技术原理

  • Fluss 湖流一体的架构设计

  • Fluss 湖流一体的技术原理解析

4. 基于 Fluss 构建实时 Lakehouse

  • 结合湖格式 Paimon,分析 Fluss 构建实时 Lakehouse 的收益

  • Fluss 构建实时 Lakehouse 最佳实践

5. Demo 演示 & 未来规划

  • Demo 展示 Fluss 湖流一体的能力

  • Fluss 在湖流一体方向的未来规划


您认为,这样的技术在实践过程中有哪些痛点?

  • 不可避免依然需要引入提供秒级延迟的流存储

  • Fluss 同步到湖存储的 Service 依然需要管理


演讲亮点

  • LakeHouse 架构在实时化方向上的演进趋势

  • Fluss 作为面向实时分析设计的流存储,如何无缝融合进 LakeHouse 架构,满足数据分析的实时化需求


听众收益

  • 了解当前 LakeHouse 架构在数据时效性上的痛点

  • Fluss 的湖流一体架构是如何解决 LakeHouse 架构时效性上的痛点的

  • 收获基于 Fluss 来构建实时 LakeHouse 架构的最佳实践


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-06 10:005314

评论

发布
暂无评论

飞算JavaAI+开发者:双剑合璧,编程效率倍增!

飞算JavaAI开发助手

HarmonyOS官网上线“稳定性”专栏 助力更稳定流畅的鸿蒙原生应用开发

HarmonyOS开发者

知识文档管理系统哪个好?对比25年主流11款

易成研发中心

文档管理系统

报名开启丨Future.Industry 2025线上直播会议:探索AI、仿真与HPC的技术未来

Altair RapidMiner

AI HPC 知识图谱 仿真 hyperworks

YashanDB共享集群

YashanDB

数据库 yashandb

低代码+ Vue.js:企业级应用开发实践指南

秃头小帅oi

释放你的创造力:飞算JavaAI,让代码编写不再是负担

飞算JavaAI开发助手

设计模式3:代理、适配器、装饰器模式

卷福同学

设计模式 代理模式

YashanDB内存体系

YashanDB

数据库 yashandb

飞算JavaAI:一款改变编程行业格局的智能助手

飞算JavaAI开发助手

AI写代码再进化!飞算JavaAI让编程不再属于重复造轮子工程

飞算JavaAI开发助手

DevEco Studio构建分析工具Build Analyzer 为原生鸿蒙应用开发提速

HarmonyOS开发者

在杭州智算中心,听懂钱塘江畔人工智能潮

脑极体

AI

MobPush智能推送系统的用户行为分析:驱动精准运营的核心引擎

MobTech袤博科技

YashanDB数据库实例

YashanDB

数据库

两台运行“满血版”DeepSeek,第四范式推出大模型推理一体机解决方案SageOne IA

新消费日报

AI代码生成器如何降低系统复杂度

伤感汤姆布利柏

Spring AI接入DeepSeek:快速打造微应用

京东科技开发者

YashanDB主备高可用

YashanDB

数据库 yashandb

当AI遇上代码库,飞算JavaAI让程序员不再孤单

飞算JavaAI开发助手

生产管理思路和方法

易成研发中心

告别高配焦虑!三款白菜价云电脑PK

小喵子

阿里云 云电脑 云游戏 ToDesk

DeepSeek冲击(含本地化部署实践)

京东科技开发者

Vue3 基础概念与环境搭建

不在线第一只蜗牛

JavaScript vue.js

应用程序中的网络协议:原理、应用与挑战

运维有小邓

协议 #HTTP

53 倍性能提升!TiDB 全局索引如何优化分区表查询?

PingCAP

数据库 TiDB

解剖DeepSeek四把刀,一场深到源码,大到行业,细到人心的手术盛宴

京东科技开发者

YashanDB实例架构

YashanDB

数据库 yashandb

阿里云高级开发工程师罗宇侠将在QCon 北京分享 Lakehouse 架构实时化演进实践_软件工程_QCon全球软件开发大会_InfoQ精选文章