QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

  • 2023-12-18
    北京
  • 本文字数:803 字

    阅读完需:约 3 分钟

大小:439.74K时长:02:30
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

QCon 全球软件开发大会,将于 12 月在上海召开。作业帮大数据平台架构负责人孙建业将发表题为《作业帮大数据湖仓架构和实践》主题分享,从作业帮现有架构面对的挑战出发,结合真实的业务场景,探讨相关数据湖仓技术方案和实践经验。


孙建业,曾就职于 Talkingdata、摩拜、美团,多年大数据研发经验。目前就职于作业帮平台架构部,主要负责组件维护、平台架构和成本管控。他在本次会议的演讲内容如下:


演讲:作业帮大数据湖仓架构和实践


随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势,在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发,结合真实的业务场景,阐述相关数据湖仓技术方案和实践经验。


演讲提纲:


  1. 现有架构的挑战

○ 作业帮现有数据架构

○ 架构缺陷及历史问题

  1. Iceberg 介绍

○ 元数据结构 & 特性

  1. 湖仓整体架构

○ 典型场景

○ 架构方案

  1. 湖仓实践

○ 采集入湖实践

○ 离线计算实践

  1. 展望和不足


听众收益点:


○ 作业帮的业务场景及可复制的湖仓架构设计

○ HIVE 到 Iceberg 迁移及 Iceberg 应用实践


除上述演讲外,QCon 上海还将围绕 GenAI和通用大模型应用探索AI Agent 与行业融合应用的前景LLM 时代的性能优化智能化信创软件 IDE面向人工智能时代的架构性能工程:提升效率和创新的新方法等专题进行交流。


12 月 28-29 日,QCon 全球软件开发大会即将落地上海,中国科学院外籍院士、国际数据库专家樊文飞院士,英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。


这次会议主要探讨大模型的全面技术架构的进化,不仅有跟大模型本身相关的推理加速、AI Agent、GenAI,还有架构的演进思路、性能优化,以及以智能代码助手为代表的研发效能提升等方向,感兴趣的朋友可以扫描下方二维码,查看大会详细日程。咨询购票可联系票务经理 18514549229。



2023-12-18 11:3010366
用户头像

发布了 89 篇内容, 共 45.9 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

Tuner for YouTube music Mac(YouTube音乐播放器)v7.2激活版

理理

黄仁勋:通用机器人的ChatGPT时刻即将到来!马斯克:YES!!

机器人头条

英伟达 科技 ces 人形机器人 具身智能

探索模型驱动测试框架:GraphWalker 的自动化测试用例生成

测吧(北京)科技有限公司

测试

Java面试题及答案整理(2025年春招最新版,持续更新)

架构师之道

编程 java面试

数百名研发人员使用通义灵码,33% 新增代码由 AI 生成,信也科技研发模式焕新升级

阿里巴巴云原生

阿里云 云原生

【YashanDB知识库】YCM上告警项怎么修改

YashanDB

数据库 yashandb

YT Saver for Mac(视频下载和转换器)v9.2.5激活版

理理

ChemDraw:化学绘图与数据分析的全能助手

理理

【YashanDB知识库】审计表UNIFIED_AUDIT_TRAIL出现YAS-00220 utf8 sequence is wrong

YashanDB

数据库 yashandb

如何在SpringBoot/MySQL事务中并行执行多条SQL?

秃头小帅oi

DeepSeek-V3模型对软件测试行业的影响

测试人

软件测试

分布式 UI 自动化测试环境部署实践:使用 Docker 快速构建测试平台

测吧(北京)科技有限公司

测试

致全体用户:2024 年,TapData 的五周年,我们在海内外市场埋下了两颗新的种子

tapdata

实时数据 金融数字化 物化视图 TapView

暴跌的「优必选」,持续融资、高估值的人形机器人创企

机器人头条

科技 人形机器人 优必选 具身智能

OpenTiny2024年终总结~

OpenTiny社区

开源 前端 低代码 组件库 OpenTiny

【YashanDB知识库】YashanDB run.log中有slow log queue is full信息

YashanDB

数据库 yashandb

使用火语言RPA批量创建指纹浏览器,并给每个指纹浏览器设置不同的代理IP

火语言RPA

【YashanDB知识库】YCM托管YashanDB报错 /home/yashan/.yasboot/.env is not existed

YashanDB

数据库 yashandb

模型驱动测试 (MBT):从概念到实践的全面解析

测吧(北京)科技有限公司

测试

微店API接口深度探索:如何高效获取商品详情及代码实践

代码忍者

微店商品详情API接口

DeepSeek 最新推理模型 R1-Lite:一场数学题的死胡同之旅

测吧(北京)科技有限公司

测试

【YashanDB知识库】kettle做增量同步,出现报错:Unrecognized VM option 'MaxPermSize-256m'

YashanDB

数据库 yashandb

CAD图层管理器是干什么的?怎么使用?

在路上

cad CAD看图软件 CAD看图王

数百名研发人员使用通义灵码,33% 新增代码由 AI 生成,信也科技研发模式焕新升级

阿里云云效

阿里云 云原生 通义灵码

Nacos 3.0 Alpha 发布,在安全、泛用、云原生更进一步

阿里巴巴云原生

阿里云 云原生 nacos

普通Java程序员如何获取高并发经验?

了不起的程序猿

后端 高并发 java程序员 java面试 Java高并发

Docker Compose 实战:如何使用 Docker Compose 进行多容器应用编排

测吧(北京)科技有限公司

测试

强大的SSH管理工具Termius for Mac激活版

iMac小白

从模拟数据到场景复现,剖析 MySQL Online DDL 异常报错之谜

袋鼠云数栈

苹果Mac桌面宠物软件推荐 platelet mac血小板桌面宠物

理理

Postman for Mac:API开发测试,一键搞定!

理理

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践_架构_徐晓博_InfoQ精选文章