写点什么

中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路

  • 2023-09-11
    北京
  • 本文字数:1535 字

    阅读完需:约 5 分钟

大小:896.81K时长:05:06
中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路

FCon 全球金融科技大会,将于 11 月在上海召开。中国工商银行大数据和人工智能实验室 / 部门经理袁一将发表题为《工商银行大数据平台助力全行数字化转型之路》主题分享,介绍实时数仓技术在工商银行的技术实践及典型案例、在运营大规模大数据集群和大数据平台在实践信创转型时的经验、在向大数据平台云原生架构演进的实践,以及数据洞察平台(EasyDI)的实施。


袁一,从 2011 年开始接触大数据相关技术,从零到一全程参与了工商银行大数据平台的建设,是工商银行大数据技术领域的先行者和技术专家,先后多次在中国信通院、华为金融峰会、Flink Forward Asia 等行业大会上就工行大数据体系的建设发表过公开演讲,发表大数据领域的专利 11 篇。


在最近几年里,持续关注行业新技术的动态,并积极引入新技术,成功落地了多个大型项目,包括主机下平台转型、SAS 国产化转型、实时数仓演进、湖仓一体云原生架构演进等,为工商银行的数字化转型工作提供了持续的持和助力。他在本次会议的演讲内容如下:


演讲:工商银行大数据平台助力全行数字化转型之路


本次演讲,将主要介绍工商银行大数据平台在近几年数字化转型过程中,对大数据平台的使用越来越重,因此立足于解决业务痛点,在近几年里主要推进了如下几项工作:


1、业务侧对数据时效的要求越来越高,原先 T+1 已无法满足,而基于 ORC 文件做定时存增量合并的方式资源开销很大,因此引入了 Flink+Hudi 的实时数仓加工模式,并提炼了设计模式,最终使数据加工时效最快达到了 1 分钟级。同步通过 CDC 技术,将主机或 Oracle 等数据库中产生的数据实时地同步到大数据平台,实现业务下主机。


2、随着实时数仓技术的不断成熟,工商银行大数据平台逐步将所有数据切换成实时入湖的 Hudi 格式,形成了基于 Flink 开发的实时数仓和基于 Spark 开发的离线数仓的两条并行加工链路,两条加工链路之间数据可以共享,无需冗余存储,同时为配合实时数仓链路中 Flink 中所要关联的维表,工商银行大数据平台根据不同的业务场景,建设了关系型、键值型、多维搜索、时序、空间、向量等多种类型的联机数据库。


3、推进大数据平台向存算分离云原生化演进。工商银行大数据平台最大的 Hadoop 集群目前规模近 3000 台物理机,随着集群规模越来越大,在资源隔离、弹性扩缩容等方面的不足越来越明显。因此通过参照互联网企业的做法,开始实践云下存算一体向云原生存算分离架构演进,在此过程中同步推动了数据平台信创转型。


4、建设 EasyDI 平台,在 2022 年面向全集团分析师提供了可视化报表开发工具,使报表开发不再依赖于科技。在 2023 年中通过策略模板中心形成了不同分行、不同部室之间用数模式复用的能力,构建了出生态。同时 2023 年 2 季度起正在研究基于生成式大模型技术实现对话式 BI 用数助理的课题,旨在通过 AI 技术进一步降低用数门槛。


演讲提纲:


  1. 实时数仓技术在工商银行的技术实践及典型案例

  2. 工商银行在运营大规模大数据集群时的若干经验

  3. 工商银行在向大数据平台云原生架构演进的若干实践

  4. 工商银行大数据平台在实践信创转型时的若干经验

  5. 工商银行数据洞察平台(EasyDI)的若干实施


你将获得:


○ 了解到实时数仓技术在工商银行的技术实践及典型案例

○ 了解到工商银行在运营大规模大数据集群时的若干经验

○ 了解到工商银行在向大数据平台云原生架构演进的若干实践

○ 了解到工商银行大数据平台在实践信创转型时的若干经验

○ 了解到工商银行数据洞察平台(EasyDI)的若干实施


除上述演讲外,FCon 上海还将围绕 DevOps 在金融企业落地实践金融行业大模型应用创新的金融科技应用金融实时数据平台建设之路金融安全风险管控数据要素流通与数据合规等进行交流。


FCon 上海 2023,相约 11 月!现在购票,前 100 人可享 5 折特惠购票,咨询购票请联系:17310043226(微信同手机号)。



2023-09-11 11:302415
用户头像

发布了 89 篇内容, 共 44.9 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

【编程实践】提高工作效率,避免重复且枯燥的操作,利用Python自动发送邮件

迷彩

SMTP 邮件协议 9月月更 Python邮件发送

20道常被问到的JavaScript题目

helloworld1024fd

JavaScript 前端

阿里五位MySQL封神大佬耗17个月总结出53章性能优化法则

Geek_0c76c3

Java 数据库 开源 程序员 开发

互联网架构师联合总结的Java面试攻略,GitHub标星30K!

程序知音

java面试 大厂面试 java架构师 后端技术 Java面试八股文

Canvas+Javascript实现点击小球的爆炸效果

Sam9029

JavaScript canvas 9月月更 小球爆炸

微信业务架构图与学生管理系统架构图

冷夫冲

架构实战营 #架构实战营 架构师实战营 「架构实战营」

全网首次公开!阿里巴巴1685页Java面试突击核心讲(基础到高级足足涵盖19个Java核心技术)

Java永远的神

数据库 spring 程序员 程序人生 java面试

【算法实践】手把手带你简单实现希尔排序

迷彩

算法 排序算法 希尔排序 算法实践 9月月更

直冲云霄,阿里大牛耗时49天整理12W字面试手册,押题准确率直冲95%

Geek_0c76c3

Java 数据库 开源 程序员 架构

【云原生 | 从零开始学Kubernetes】八、命名空间资源配额以及标签

泡泡

Docker 云计算 云原生 k8s 9月月更

2022年企业Java面试前复习的正确姿势(已助力512人入职大厂)

收到请回复

Java 程序员 微服务 语言 & 开发

阿里P8大牛总结的Java锁机制入门笔记,堪称教科书式天花板

收到请回复

多线程 语言 & 开发

总结了一下前端高频面试题的答案

loveX001

JavaScript 前端

阿里最新秋招面经,腾讯/美团/字节1万道Java中高级面试题

程序知音

Java 大厂面试 后端技术 Java面试八股文 阿里面试

【云原生 | 从零开始学Kubernetes】九、k8s的node节点选择器与node节点亲和性

泡泡

Docker 云计算 云原生 k8s 9月月更

Javaweb核心响应对象

楠羽

笔记 Java核心笔记 9月月更

2022前端面试官经常会考什么

beifeng1996

前端 React

react面试应该准备哪些题目

beifeng1996

前端 React

遭不住了!Alibaba开源内网“M9”级别高并发编程全彩版进阶手册

程序知音

Java 架构 并发编程 多线程与高并发 后端技术

Python语法之字典

芯动大师

字典 9月月更 Python语法

Linux安装minikube指南

程序员欣宸

Kubernetes minikube 9月月更

信息论与编码(一)| 信源分类与数学模型

timerring

9月日更 信息熵

数据中台架构概述

穿过生命散发芬芳

数据中台 9月月更

大数据ELK(四):Lucene的美文搜索案例

Lansonli

9月月更 EKL

如何准备vue相关的知识点

bb_xiaxia1998

Vue 前端

阿里内网流传的9w字图解网络(全彩版)GitHub现已下载量过百万

程序知音

Java 程序员 计算机网络 后端技术 计算机底层

2022-09-25:给定一个二维数组matrix,数组中的每个元素代表一棵树的高度。 你可以选定连续的若干行组成防风带,防风带每一列的防风高度为这一列的最大值 防风带整体的防风高度为,所有列防风高度

福大大架构师每日一题

算法 rust 福大大

面试突击86:SpringBoot 事务不回滚?怎么解决?

王磊

Java 面试

第九期-模块一

wuli洋

大厂前端面试考什么?

loveX001

JavaScript 前端

全网首次公开:Java面试参考指南V3.0版(完美契合当下所有互联网公司面试需求)

Java全栈架构师

数据库 程序人生 后端 高并发 Java 面试

中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路_银行_徐晓博_InfoQ精选文章