写点什么

中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路

  • 2023-09-11
    北京
  • 本文字数:1535 字

    阅读完需:约 5 分钟

大小:896.81K时长:05:06
中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路

FCon 全球金融科技大会,将于 11 月在上海召开。中国工商银行大数据和人工智能实验室 / 部门经理袁一将发表题为《工商银行大数据平台助力全行数字化转型之路》主题分享,介绍实时数仓技术在工商银行的技术实践及典型案例、在运营大规模大数据集群和大数据平台在实践信创转型时的经验、在向大数据平台云原生架构演进的实践,以及数据洞察平台(EasyDI)的实施。


袁一,从 2011 年开始接触大数据相关技术,从零到一全程参与了工商银行大数据平台的建设,是工商银行大数据技术领域的先行者和技术专家,先后多次在中国信通院、华为金融峰会、Flink Forward Asia 等行业大会上就工行大数据体系的建设发表过公开演讲,发表大数据领域的专利 11 篇。


在最近几年里,持续关注行业新技术的动态,并积极引入新技术,成功落地了多个大型项目,包括主机下平台转型、SAS 国产化转型、实时数仓演进、湖仓一体云原生架构演进等,为工商银行的数字化转型工作提供了持续的持和助力。他在本次会议的演讲内容如下:


演讲:工商银行大数据平台助力全行数字化转型之路


本次演讲,将主要介绍工商银行大数据平台在近几年数字化转型过程中,对大数据平台的使用越来越重,因此立足于解决业务痛点,在近几年里主要推进了如下几项工作:


1、业务侧对数据时效的要求越来越高,原先 T+1 已无法满足,而基于 ORC 文件做定时存增量合并的方式资源开销很大,因此引入了 Flink+Hudi 的实时数仓加工模式,并提炼了设计模式,最终使数据加工时效最快达到了 1 分钟级。同步通过 CDC 技术,将主机或 Oracle 等数据库中产生的数据实时地同步到大数据平台,实现业务下主机。


2、随着实时数仓技术的不断成熟,工商银行大数据平台逐步将所有数据切换成实时入湖的 Hudi 格式,形成了基于 Flink 开发的实时数仓和基于 Spark 开发的离线数仓的两条并行加工链路,两条加工链路之间数据可以共享,无需冗余存储,同时为配合实时数仓链路中 Flink 中所要关联的维表,工商银行大数据平台根据不同的业务场景,建设了关系型、键值型、多维搜索、时序、空间、向量等多种类型的联机数据库。


3、推进大数据平台向存算分离云原生化演进。工商银行大数据平台最大的 Hadoop 集群目前规模近 3000 台物理机,随着集群规模越来越大,在资源隔离、弹性扩缩容等方面的不足越来越明显。因此通过参照互联网企业的做法,开始实践云下存算一体向云原生存算分离架构演进,在此过程中同步推动了数据平台信创转型。


4、建设 EasyDI 平台,在 2022 年面向全集团分析师提供了可视化报表开发工具,使报表开发不再依赖于科技。在 2023 年中通过策略模板中心形成了不同分行、不同部室之间用数模式复用的能力,构建了出生态。同时 2023 年 2 季度起正在研究基于生成式大模型技术实现对话式 BI 用数助理的课题,旨在通过 AI 技术进一步降低用数门槛。


演讲提纲:


  1. 实时数仓技术在工商银行的技术实践及典型案例

  2. 工商银行在运营大规模大数据集群时的若干经验

  3. 工商银行在向大数据平台云原生架构演进的若干实践

  4. 工商银行大数据平台在实践信创转型时的若干经验

  5. 工商银行数据洞察平台(EasyDI)的若干实施


你将获得:


○ 了解到实时数仓技术在工商银行的技术实践及典型案例

○ 了解到工商银行在运营大规模大数据集群时的若干经验

○ 了解到工商银行在向大数据平台云原生架构演进的若干实践

○ 了解到工商银行大数据平台在实践信创转型时的若干经验

○ 了解到工商银行数据洞察平台(EasyDI)的若干实施


除上述演讲外,FCon 上海还将围绕 DevOps 在金融企业落地实践金融行业大模型应用创新的金融科技应用金融实时数据平台建设之路金融安全风险管控数据要素流通与数据合规等进行交流。


FCon 上海 2023,相约 11 月!现在购票,前 100 人可享 5 折特惠购票,咨询购票请联系:17310043226(微信同手机号)。



2023-09-11 11:302529
用户头像

发布了 89 篇内容, 共 46.0 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

资产梳理与应用自动化部署技术实践

智维数据

大数据 数据可视化 智能运维 应用交付平台 流量分析系统

Sam Altman的成功学|升维指南

OneFlow

人工智能 深度学习

市场上常见的5种LED异形屏

Dylan

LED LED显示屏 led显示屏厂家

生产环境10分钟黄金时间快速排障:CPU不定时飙高怎么排查?

KINDLING

Java Linux 后端 监控 ebpf

15个 高并发系统设计 锦囊帮助你设计高并发!

风铃架构日知录

Java 程序员 后端 高并发 分库分表

云原生应用你应该这么管- 谐云发布基于KubeVela增强的应用版本管理和在线升级

谐云

云计算 Kubernetes OAM 容器云 企业号 2 月 PK 榜

软件测试/测试开发 | 接口自动化中如何完成接口加密与解密?

测试人

软件测试 自动化测试 接口测试 测试开发

智慧公安!3DCAT实时云渲染助力某公安机关打造数字孪生可视化系统

3DCAT实时渲染

智慧城市 数字孪生 云渲染 实时云渲染

关于 JavaScript 定时器

devpoint

JavaScript 定时器 setTimeout setInterval

网络安全中API常见漏洞

郑州埃文科技

API漏洞

软件测试/测试开发 | 接口自动化测试,如何实现多套环境的自动化测试?

测试人

软件测试 自动化测试 接口测试 测试开发

火山引擎DataTester:“在字节,A/B实验是一种信仰”

字节跳动数据平台

大数据 字节跳动 AB testing实战

启科QuTrunk+Runtime+QuSaaS+AWS量子计算编程实战

启科量子开发者官方号

量子计算

为什么 Go 不支持 []T 转换为 []interface

AlwaysBeta

Go golang 源码 slice interface

认识区块链,认知区块链——NFT

MavenTalker

区块链 NFT web3 数字藏品

vivo 超大规模消息中间件实践之路

vivo互联网技术

kafka 中间件 pulsar 消息中间件 RoketMQ

秒云获评开源GitOps产业联盟“当仁不让 · 最佳分享奖”

MIAOYUN

开源 产业联盟 gitops OGA产业联盟

2023,不一样的数据库

NineData

数据库 运维 数据开发 数据管理 NineData

Object中的wait和notify方法详解

threedayman

面试 并发编程 java;

从 JVM 中深入探究 Synchronized

小小怪下士

Java 程序员 JVM synchronize

架构实战营4.4 如何设计存储架构随堂练习

西山薄凉

「架构实战营」

高频JavaScript手写面试题

梁木由

JavaScript 前端 前端面试题

认知篇:CQRS架构模式的本质

京东科技开发者

架构 微服务 后端 CQRS 企业号 1 月 PK 榜

国产射频滤波器公司频岢微电子 完成近两亿元B轮融资

硬科技星球

Trie树简介及应用

京东科技开发者

数据结构 算法 高性能 双数组trie树 企业号 1 月 PK 榜

我们要的一种自学方式,也许是看书自学成才。

叶小鍵

如何使用 Java8 改造模板方法模式!

风铃架构日知录

Java 程序员 后端 设计模式 模板方法

微信小程序实训|基于云数据库的语文听写工具

TiAmo

微信小程序 云开发 微信开发

5K字 由浅入深聊聊Promise实现原理

梁木由

JavaScript 前端 前端开发 前端面试

Verilog HDL数据流建模与运算符

timerring

FPGA

Python 内置界面开发框架 Tkinter入门篇 乙

eng八戒

Python GUI tkinter

中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路_银行_徐晓博_InfoQ精选文章