写点什么

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

  • 2023-12-18
    北京
  • 本文字数:803 字

    阅读完需:约 3 分钟

大小:439.74K时长:02:30
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

QCon 全球软件开发大会,将于 12 月在上海召开。作业帮大数据平台架构负责人孙建业将发表题为《作业帮大数据湖仓架构和实践》主题分享,从作业帮现有架构面对的挑战出发,结合真实的业务场景,探讨相关数据湖仓技术方案和实践经验。


孙建业,曾就职于 Talkingdata、摩拜、美团,多年大数据研发经验。目前就职于作业帮平台架构部,主要负责组件维护、平台架构和成本管控。他在本次会议的演讲内容如下:


演讲:作业帮大数据湖仓架构和实践


随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势,在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发,结合真实的业务场景,阐述相关数据湖仓技术方案和实践经验。


演讲提纲:


  1. 现有架构的挑战

○ 作业帮现有数据架构

○ 架构缺陷及历史问题

  1. Iceberg 介绍

○ 元数据结构 & 特性

  1. 湖仓整体架构

○ 典型场景

○ 架构方案

  1. 湖仓实践

○ 采集入湖实践

○ 离线计算实践

  1. 展望和不足


听众收益点:


○ 作业帮的业务场景及可复制的湖仓架构设计

○ HIVE 到 Iceberg 迁移及 Iceberg 应用实践


除上述演讲外,QCon 上海还将围绕 GenAI和通用大模型应用探索AI Agent 与行业融合应用的前景LLM 时代的性能优化智能化信创软件 IDE面向人工智能时代的架构性能工程:提升效率和创新的新方法等专题进行交流。


12 月 28-29 日,QCon 全球软件开发大会即将落地上海,中国科学院外籍院士、国际数据库专家樊文飞院士,英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。


这次会议主要探讨大模型的全面技术架构的进化,不仅有跟大模型本身相关的推理加速、AI Agent、GenAI,还有架构的演进思路、性能优化,以及以智能代码助手为代表的研发效能提升等方向,感兴趣的朋友可以扫描下方二维码,查看大会详细日程。咨询购票可联系票务经理 18514549229。



2023-12-18 11:3010385
用户头像

发布了 89 篇内容, 共 46.0 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

如何做代币分析:以 BNB 币为例

Footprint Analytics

Token 代币 bnb

正式发布后的一年,我们都做了什么? | Sermant 2023年度总结

华为云开源

开源 微服务 服务治理 sermant

提升网络灵活性,SD-WAN助您快速应对备用线路需求

Ogcloud

网络 SD-WAN 企业网络 SD-WAN组网 SD-WAN服务商

技术分享 | 神级程序员都在用什么工具?

互联网工科生

IntelliJ IDEA 数据源 JNPF

面试官:如何实现多级缓存?

王磊

Java 面试

已解决xlrd.biffh.XLRDError: Excel xlsx file; not supported异常的正确解决方法,亲测有效!!!

小明Java问道之路

旁门左道:借助 HttpClientHandler 拦截请求,体验 Semantic Kernel 插件

不在线第一只蜗牛

Java c++ 开发语言

多人协同开发场景,如何做到高效发布

阿里云云效

阿里云 云原生 云效

spark为什么比mapreduce快?

京东科技开发者

户外全彩LED显示屏的验收标准

Dylan

全彩LED显示屏 户外LED显示屏 led显示屏厂家

多人协同开发场景,如何做到高效发布

阿里巴巴云原生

阿里云 微服务 云原生 云效

AI 大模型微调训练营第 0 期 -- 毕业总结

Jabez

探索AI视频生成新纪元:文生视频Sora VS RunwayML、Pika及StableVideo——谁将引领未来

快乐非自愿限量之名

人工智能 视频制作 AI视频

当平台工程遇上DevEx:打造卓越的开发者体验

京东科技开发者

技术专栏丨Rust 语言简介及其在 Fabarta 技术栈中的应用

Fabarta

为什么程序员不能一次性写好,需要不停改bug?

伤感汤姆布利柏

分布式场景怎么Join | 京东云技术团队

京东科技开发者

《人工智能在测试开发中的应用》

测吧(北京)科技有限公司

测试

关于代码性能优化的总结

快乐非自愿限量之名

深度学习 代码 代码优化

春节后,必读的12篇大模型论文

学术头条

人工智能 大模型 AIGC AI Agent

APISIX 可观测性最佳实践

观测云

APISIX

人工智能的起源和应用场景

小齐写代码

3款好用的国产软件,装了就舍不得卸载

高端章鱼哥

思维导图 低代码

Enhancing WiFi7 Network Efficiency: How IPQ9574 and IPQ9554 Collaborate with QCN9274

wallyslilly

ipq9574

安全利器!龙蜥推出机密计算远程证明服务—OAAS 诚邀广大用户测试

OpenAnolis小助手

开源 安全 龙蜥社区 机密计算 OAAS

Sora文生视频模型深度剖析:全网独家指南,洞悉98%关键信息,纯干货

汀丶人工智能

Pika sora 文生视频 文生视频模型

聚道云软件连接器助力生产制作行业实现数字化升级

聚道云软件连接器

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践_架构_徐晓博_InfoQ精选文章