QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

  • 2023-12-18
    北京
  • 本文字数:803 字

    阅读完需:约 3 分钟

大小:439.74K时长:02:30
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

QCon 全球软件开发大会,将于 12 月在上海召开。作业帮大数据平台架构负责人孙建业将发表题为《作业帮大数据湖仓架构和实践》主题分享,从作业帮现有架构面对的挑战出发,结合真实的业务场景,探讨相关数据湖仓技术方案和实践经验。


孙建业,曾就职于 Talkingdata、摩拜、美团,多年大数据研发经验。目前就职于作业帮平台架构部,主要负责组件维护、平台架构和成本管控。他在本次会议的演讲内容如下:


演讲:作业帮大数据湖仓架构和实践


随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。相比较传统数仓在数据更新时效性、查询索引增强等方面有明显优势,在基于云对象存储的存算分离架构下表现更为突出。本次演讲将从作业帮现有架构面对的挑战出发,结合真实的业务场景,阐述相关数据湖仓技术方案和实践经验。


演讲提纲:


  1. 现有架构的挑战

○ 作业帮现有数据架构

○ 架构缺陷及历史问题

  1. Iceberg 介绍

○ 元数据结构 & 特性

  1. 湖仓整体架构

○ 典型场景

○ 架构方案

  1. 湖仓实践

○ 采集入湖实践

○ 离线计算实践

  1. 展望和不足


听众收益点:


○ 作业帮的业务场景及可复制的湖仓架构设计

○ HIVE 到 Iceberg 迁移及 Iceberg 应用实践


除上述演讲外,QCon 上海还将围绕 GenAI和通用大模型应用探索AI Agent 与行业融合应用的前景LLM 时代的性能优化智能化信创软件 IDE面向人工智能时代的架构性能工程:提升效率和创新的新方法等专题进行交流。


12 月 28-29 日,QCon 全球软件开发大会即将落地上海,中国科学院外籍院士、国际数据库专家樊文飞院士,英特尔大数据技术全球 CTO 戴金权等大咖会亲临现场分享大数据、芯片、架构等方向的前沿洞见。


这次会议主要探讨大模型的全面技术架构的进化,不仅有跟大模型本身相关的推理加速、AI Agent、GenAI,还有架构的演进思路、性能优化,以及以智能代码助手为代表的研发效能提升等方向,感兴趣的朋友可以扫描下方二维码,查看大会详细日程。咨询购票可联系票务经理 18514549229。



2023-12-18 11:3010416
用户头像

发布了 89 篇内容, 共 46.4 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

当.Net撞上BI可视化,这3种“套路”你必须知道

葡萄城技术团队

看板 数据大屏 BI数据分析

Apache DolphinScheduler 2.X保姆级源码解析,中国移动工程师揭秘服务调度启动全流程

白鲸开源

Apache 大数据 开源 DolphinScheduler workflow

揭秘英特尔未来IPU路线图,开启数据中心“进化之旅”

科技新消息

蝉联第一!金蝶夺取Gartner中国高生产力aPaaS市场冠军!

金蝶云·苍穹

直播预告 | PolarDB-X 动手实践系列——PolarDB-X Replica原理和使用

阿里云数据库开源

数据库 阿里云 开源 PolarDB-X

「码」力集结!他们用作品为FinClip黑客松打造出一道靓丽的风景线

Speedoooo

小程序 hackathon 黑客马拉松 黑客松 小程序容器

英特尔以四大超级技术力量,助力数字未来,发布多项进展

科技新消息

echarts饼图指示器文字颜色设置不同

空城机

eCharts 5月月更

AIRIOT物联网低代码平台如何配置MQTT驱动?

AIRIOT

物联网 低代码平台 驱动配置

windows服务器是什么?运维管理用什么工具好?

行云管家

windows 服务器 自动化运维 服务器运维

有趣、实用、全面,是程序员心中理想人工智能教材的样子了

图灵教育

深度学习 PyTorch

Spring Security

Zhang

Java spring security

Spring Authorization Server 实现授权中心

Zhang

Java OAuth 2.1 Spring Security OAuth

netty系列之:我有一个可扩展的Enum你要不要看一下?

程序那些事

Java Netty 程序那些事 5月月更

ansible template jinja2 渲染

ghostwritten

ansible

FinClip+微幕小程序,助力企业全端公私域流量互通

Speedoooo

小程序 WordPress 移动开发 小程序容器

GPU分类和应用现状分析

Finovy Cloud

人工智能 云计算 gpu GPU服务器

基于 FFI 的 PyFlink 下一代 Python 运行时介绍

Apache Flink

大数据 flink 编程 流计算 实时计算

企业文档爆炸,如何管?

小炮

企业文档管理工具

美哭了,一款开发者必备的接口管理工具!

Liam

Postman 开发工具 API API接口管理 接口管理工具

Hugging Face创始人亲述:一个GitHub史上增长最快的AI项目

OneFlow

人工智能 深度学习 nlp 开源社区

Go1.18泛型浅谈

CodeWithBuff

golang 泛型 新特性 Go 语言

如何开发 LAXCUS 分布式应用软件(三):编写终端软件

LAXCUS分布式操作系统

集群架构 并行计算 端边云 分布式操作系统 分布式应用软件

墨天轮访谈 | OceanBase 白超:海量数据管理,为什么选择OceanBase?

墨天轮

数据库 oceanbase 国产数据库

数据标准在网易的实践

网易数帆

大数据 数据仓库 数据治理 元数据 数据标准

硬件为矛 软件为盾 英特尔分享数据中心GPU的攻守之道

科技新消息

英特尔公布数据中心和人工智能领域重大进展,全方位展示强劲领导力

科技新消息

拿起手中的键盘做公益侠客,让你的第一个低代码应用为公益发光发热!

InfoQ写作社区官方

低代码 公益 大学生 热门活动 码上公益

无聊科技正经事周刊(第6期):纯粹的程序员与必然的中年危机

潘大壮

程序员 周刊 行业趋势 科技周刊

容器化 | 构建 RadonDB MySQL 集群监控平台

RadonDB

MySQL 数据库 容器化 RadonDB KubeSphere

等保三级全称是什么?是什么意思?

行云管家

网络安全 等级保护 等保三级 等保2.0

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践_架构_徐晓博_InfoQ精选文章