写点什么

中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路

  • 2023-09-11
    北京
  • 本文字数:1535 字

    阅读完需:约 5 分钟

大小:896.81K时长:05:06
中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路

FCon 全球金融科技大会,将于 11 月在上海召开。中国工商银行大数据和人工智能实验室 / 部门经理袁一将发表题为《工商银行大数据平台助力全行数字化转型之路》主题分享,介绍实时数仓技术在工商银行的技术实践及典型案例、在运营大规模大数据集群和大数据平台在实践信创转型时的经验、在向大数据平台云原生架构演进的实践,以及数据洞察平台(EasyDI)的实施。


袁一,从 2011 年开始接触大数据相关技术,从零到一全程参与了工商银行大数据平台的建设,是工商银行大数据技术领域的先行者和技术专家,先后多次在中国信通院、华为金融峰会、Flink Forward Asia 等行业大会上就工行大数据体系的建设发表过公开演讲,发表大数据领域的专利 11 篇。


在最近几年里,持续关注行业新技术的动态,并积极引入新技术,成功落地了多个大型项目,包括主机下平台转型、SAS 国产化转型、实时数仓演进、湖仓一体云原生架构演进等,为工商银行的数字化转型工作提供了持续的持和助力。他在本次会议的演讲内容如下:


演讲:工商银行大数据平台助力全行数字化转型之路


本次演讲,将主要介绍工商银行大数据平台在近几年数字化转型过程中,对大数据平台的使用越来越重,因此立足于解决业务痛点,在近几年里主要推进了如下几项工作:


1、业务侧对数据时效的要求越来越高,原先 T+1 已无法满足,而基于 ORC 文件做定时存增量合并的方式资源开销很大,因此引入了 Flink+Hudi 的实时数仓加工模式,并提炼了设计模式,最终使数据加工时效最快达到了 1 分钟级。同步通过 CDC 技术,将主机或 Oracle 等数据库中产生的数据实时地同步到大数据平台,实现业务下主机。


2、随着实时数仓技术的不断成熟,工商银行大数据平台逐步将所有数据切换成实时入湖的 Hudi 格式,形成了基于 Flink 开发的实时数仓和基于 Spark 开发的离线数仓的两条并行加工链路,两条加工链路之间数据可以共享,无需冗余存储,同时为配合实时数仓链路中 Flink 中所要关联的维表,工商银行大数据平台根据不同的业务场景,建设了关系型、键值型、多维搜索、时序、空间、向量等多种类型的联机数据库。


3、推进大数据平台向存算分离云原生化演进。工商银行大数据平台最大的 Hadoop 集群目前规模近 3000 台物理机,随着集群规模越来越大,在资源隔离、弹性扩缩容等方面的不足越来越明显。因此通过参照互联网企业的做法,开始实践云下存算一体向云原生存算分离架构演进,在此过程中同步推动了数据平台信创转型。


4、建设 EasyDI 平台,在 2022 年面向全集团分析师提供了可视化报表开发工具,使报表开发不再依赖于科技。在 2023 年中通过策略模板中心形成了不同分行、不同部室之间用数模式复用的能力,构建了出生态。同时 2023 年 2 季度起正在研究基于生成式大模型技术实现对话式 BI 用数助理的课题,旨在通过 AI 技术进一步降低用数门槛。


演讲提纲:


  1. 实时数仓技术在工商银行的技术实践及典型案例

  2. 工商银行在运营大规模大数据集群时的若干经验

  3. 工商银行在向大数据平台云原生架构演进的若干实践

  4. 工商银行大数据平台在实践信创转型时的若干经验

  5. 工商银行数据洞察平台(EasyDI)的若干实施


你将获得:


○ 了解到实时数仓技术在工商银行的技术实践及典型案例

○ 了解到工商银行在运营大规模大数据集群时的若干经验

○ 了解到工商银行在向大数据平台云原生架构演进的若干实践

○ 了解到工商银行大数据平台在实践信创转型时的若干经验

○ 了解到工商银行数据洞察平台(EasyDI)的若干实施


除上述演讲外,FCon 上海还将围绕 DevOps 在金融企业落地实践金融行业大模型应用创新的金融科技应用金融实时数据平台建设之路金融安全风险管控数据要素流通与数据合规等进行交流。


FCon 上海 2023,相约 11 月!现在购票,前 100 人可享 5 折特惠购票,咨询购票请联系:17310043226(微信同手机号)。



2023-09-11 11:302435
用户头像

发布了 89 篇内容, 共 45.1 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

极客时间运维进阶训练营第十周作业

老曹

数字人民币创新浪潮来袭,支付机构如何“乘风破浪”?

易观分析

金融 数字人民币 数字支付

选购LED显示屏时需要注意8个技术参数

Dylan

LED显示屏 户外LED显示屏 led显示屏厂家

线上压测

agnostic

直播交友一对一视频语音APP项目系统架构和模式分析(成品1对1源码)

山东布谷科技胡月

视频语音直播app开发 语音直播交友系统搭建 社交app开发 1v1语音系统搭建 视频社交APP开发

盘点毫末智行AI DAY:智算中心成立、六大闭环、MANA五大模型...助力毫末智能驾驶产品快速迭代

科技大数据

EditText(输入框)详解

梦笔生花

android edittext 输入框设计 文本框(TextView)

推动GameFi走向新叙事的Smart Finance,成为火必投票竞选项目

股市老人

Guitar Pro2024最新免费版吉他打谱软件下载

茶色酒

Guitar Pro Guitar Pro8 guitar pro2023

社交视频直播一对一交友APP源码之Android如何打包APP

山东布谷科技胡月

语音直播app开发

2023-01-06:给定一个只由小写字母组成的字符串str,长度为N, 给定一个只由0、1组成的数组arr,长度为N, arr[i] == 0表示str中i位置的字符不许修改, arr[i] ==

福大大架构师每日一题

算法 rust Solidity 福大大

8 个很酷的 GitHub 技巧

devpoint

GitHub vscode 开发技巧

【Redis技术探索】「数据迁移实战」手把手教你如何实现在线+离线模式进行迁移Redis数据实战指南(在线同步数据)

洛神灬殇

redis 数据同步 1月日更 数据同步工具 RedisShake

Smart Finance成为火必投票竞选项目,参与投票获海量奖励

鳄鱼视界

如何告别丑陋判空?一个Optional类就能搞定!

风铃架构日知录

Java 程序员 程序人生 后端 码农

高并发系统设计的15个锦囊

小小怪下士

Java 程序员 系统设计 高并发

干掉 “重复代码”,这三种方式绝了!

风铃架构日知录

Java 程序员 码农 工程师 代码

Portraiture4人像智能磨皮插件下载亲测可用

茶色酒

Portraiture2023 Portraiture

分享 7 个不错的 AI 工具

devpoint

人工智能 AI openai

如何让你的架构设计应用做到高内聚、低耦合?

风铃架构日知录

Java 程序人生 后端 架构设计 后端开发

分享 7 个VUE项目用得上的JavaScript库

devpoint

JavaScript Vue 前端开发 前端开发框架

使用 OpenAI ChatGPT 进行了编码尝试

devpoint

人工智能 openai ChatGPT

OpenTelemetry日志体系

骑牛上青山

Java 日志 log 调用链 OpenTelemetry

TSDB助力井下位置服务

CnosDB

数据库 IoT 时序数据库 开源社区 infra

Button(按钮)与ImageButton(图像按钮)

梦笔生花

Android Studio button imagebutton

如何使用Gradle构建一个多模块项目?

风铃架构日知录

Java 程序员 后端 码农 架构师

你知道微服务架构中的“发件箱模式”吗

JAVA旭阳

Java 架构

用 SwiftUI 实现 AI 聊天对话 app - iChatGPT

37手游iOS技术运营团队

ios SwiftUI openai ChatGPT

使用 App Store Connect API 批量创建内购商品

37手游iOS技术运营团队

AppleParty 苹果派 App Store Connect API 批量创建内购IAP 批量上传 IAP

MySQL字符集和排序规则详解

C++后台开发

MySQL 数据库 中间件 后端开发 C++开发

中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路_银行_徐晓博_InfoQ精选文章