写点什么

StarRocks x Iceberg: 探索 Lakehouse 架构极致查询性能|QCon 北京

  • 2025-04-06
    北京
  • 本文字数:1391 字

    阅读完需:约 5 分钟

大小:706.58K时长:04:01
StarRocks x Iceberg: 探索Lakehouse架构极致查询性能|QCon 北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将汇聚全球 140+ 技术先行者及创新实践者,直击行业痛点,解锁可复制的经验与模式。这不仅是一场会议,更是一次对技术演进的集体探索。无论你是资深开发者,还是技术管理者,都能在这里有所收获,为下一步的技术决策提供方向。


StarRocks 研发工程师王云霏已确认出席并发表题为《StarRocks x Iceberg: 探索 Lakehouse 架构极致查询性能》的主题分享。Lakehouse 通过融合数据湖与数据仓库的优势,能实现 “One Data, All Analytics” 的业务价值,基于 StarRocks 构建 Lakehouse,只需三步:选择开放的数据湖作为底座,例如 Iceberg 、 Paimon;StarRocks 直接分析湖上的数据,满足绝大部分场景的性能诉求;如果分析性能不满足要求,则基于数据湖创建物化视图加速。StarRocks 查询 Iceberg 的性能是 Trino 的 3-6 倍,查询 Delta Lake 的性能是 Databricks Photon 的 2 倍。本次演讲将介绍典型案例,分享 StarRocks 在 Lakehouse 架构中的定位和未来规划,揭开 StarRocks 极致查询性能的面纱。


王云霏 StarRocks 数据湖分析研发工程师,本科毕业于清华大学电子工程系,而后在国家高性能集成电路设计中心从事计算机体系结构研究工作,参与“核高基重大专项”1 项,发表学术论文 3 篇,近年来主要从事数据湖分析相关工作,是 StarRocks/ClickHouse/Trino Contributor ,目前专注于 Lakehouse 性能优化相关工作。他在本次会议的详细演讲内容如下:


演讲提纲

1. 数据分析架构演进与挑战

  • Warehouse -> Data lake -> Lakehouse

  • StarRocks 快速迭代,持续创新 1.x 极速查询-> 2.x 融合统一-> 3.x 湖仓一体 Lakehouse

2. 基于 StarRocks 构建 Lakehouse

  • 如何构建 Lakehouse 架构 Storage-> Catalog -> Engine

  • StarRocks Lakehouse 基本架构

  • StarRocks x Iceberg 构建 Lakehouse,案例小红书/携程/微信

3. StarRocks x Iceberg 性能优化

  • StarRocks 最新 Performance benchmark

  • Metadata Cache + 分布式 Plan

  • 增量投递

  • Native Parquet Reader

  • Data Cache

  • 物化视图

  • ...

4. StarRocks Lakehouse 未来规划


您认为,这样的技术在实践过程中有哪些痛点?

  • 性能对于 Lakehouse 架构至关重要,StarRocks 通过不断提升性能上限,实现 Lakehouse 极致查询性能,真正实现 “One Data, All Analytics”


演讲亮点

  • 基于 StarRocks 解锁 Lakehouse 极致查询性能,以及 StarRocks 在 Lakehouse 架构中的定位与未来规划

  • 着重介绍 StarRocks 如何打造极致性能


听众收益

  • 了解 StarRocks 在 Lakehouse 架构上的最新进展和极致性能,为技术选型提供更多参考

  • 了解 StarRocks 性能优化的底层原理

  • 了解 StarRocks Lakehouse 架构的未来规划


除此之外,本次大会还策划了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


目前,所有大会演讲嘉宾已结集完毕,了解更多报名和详情信息可扫码或联系票务经理 18514549229 咨询。



为确保大会顺利举行,现诚邀志愿者加入,时长 3.5 天。可与大咖交流、获极客时间 VIP 月卡、大会演讲视频资源和证书。主办方提供午餐和交通支持。时间:4 月 9 日 13:00-4 月 12 日 18:00,地点:北京万达嘉华酒店,报名链接:https://www.infoq.cn/form/?id=2088

2025-04-06 14:006332

评论

发布
暂无评论
StarRocks x Iceberg: 探索Lakehouse架构极致查询性能|QCon 北京_架构_QCon全球软件开发大会_InfoQ精选文章