速来报名!AICon北京站鸿蒙专场~ 了解详情
写点什么

从集中式到分布式,金融企业的后台架构正在发生巨变

  • 2019-08-18
  • 本文字数:6202 字

    阅读完需:约 20 分钟

从集中式到分布式,金融企业的后台架构正在发生巨变

7 月 26 日,微众银行首届 FinTech Day 金融科技开放日在深圳圆满落幕,期间开放平台分论坛针对开放银行战略,发布了一系列金融级实践与应用。


主流银行的转型与开放银行模式的兴起,很大程度上得益于互联网场景的崛起。现阶段主流银行向开放银行模式转型的原因在于供给侧与需求侧两方面的影响。供给侧驱动因素是不断演进的新技术和变化的金融监管,需求侧影响因素是不断变化的企业与消费者偏好。本文将从银行转型的角度,为大家剖析主流商业银行转型“开放银行”的时代特点。


开放银行,近两年已经逐渐成为国内银行发展以及转型的主要方向。说起开放银行,就不得不提一句为什么国内商业银行纷纷拥抱开放银行模式呢?转型“开放银行”代表着什么?这一切还要从国内主流商业银行自身的业务演进历程说起。


国内开放银行模式的演进历程,恰好可以对应:网点经济-App 经济-API 经济的演进过程。开放银行模式要求商业银行在更高层次与合作伙伴共享数据、共生共赢,有利于重构核心竞争力。开放银行模式在国内于 2018 年开始正式兴起,虽然目前为止国内银行也在积极推动开放银行的战略进程,如浦发、招商、工商、建设银行等诸多国内商业银行也纷纷推出开放银行的相关战略和产品。但是发展也面临诸多挑战,数据割裂、安全风险更加复杂、人才队伍建设落后等问题突出,尽管开放银行的发展路上铺满荆棘,但开放银行模式已是全球银行所承认的未来大势所趋。


对此,InfoQ 采访到了微众银行开放平台研发负责人谢鹏,他提到开放银行的能力要求:敏捷、低成本、支持高并发。


如今,各家银行已进入“开放银行”的快车道,各大国有银行、股份制银行等都在积极布局开放银行,这也成为银行综合实力的全面比拼。不过,开放银行的能力建设过程也不能一蹴而就,无论是架构、组织、文化,还是获客、运营、风控、科技等能力,都因开放银行价值链的重构和商业模式的重塑而有了全新的要求。


开放程度的提高将为银行带来更多的应用场景,随之而来的是业务规模的扩大,如客户量、交易量、交易峰值的提高;而健康的普惠金融模式则要求银行具备可持续的商业模式,除去规模之外,还需要注重成本效益。因此,敏捷的产品能力、较低的业务开展成本及可支持高并发交易量及客户规模的科技能力,成为了开放银行的基础能力要求。


过去银行等大型金融机构使用的都是集中化运维,即 90%的服务都跑在企业级大型主机上,但这就会有金融自主不可控的情况出现。从服务器到系统到数据库,银行金融的敏捷性和自主可控性全部丧失。国家安全是基于金融安全的基础上,而金融安全是基于金融自主可控的情况下,金融安全不能全部架构在国外的系统层面上。这就是为什么近年来,银行一直在强调技术自主可控的原因。


但是,喊口号容易,做起来却十分困难。


从大而全的单体应用,到剥离管理功能的交易处理系统-瘦核心,如今,互联网场景金融对银行业又提出了新的挑战。即便是银行机构的外围功能运行在开放平台或分布式架构上,但最核心的账务系统仍然跑在原有的大机上,这是当前银行业大部分的形态。但是在互联网时代,互联网业务所带来的压力不是当前传统金融架构所能承担的,产品差异性、实时性、敏捷性、可扩展性的需求比以往来得更加迫切。


伴随现代银行业的发展,新技术在商业银行各个层面发挥的作用越来越突出,并且深刻影响着银行的内部架构与外部环境。从技术和业务两个层面出发,越来越多的银行开始关注战略与细节层面的开放合作问题。


微众银行基于开放银行以及国内传统银行的现状特点,提出了开放银行“3O”体系,即开放平台、开放创新以及开放协作。这三者相互递进且支持,通过开放平台向合作伙伴共享数据模型与算法;通过开放创新让分布式商业合作伙伴共享科技创新成果,降低合作门槛;进而引入开放协作,引导合作伙伴共建分布式商业基础设施并孵化出更多的创新商业模式,让企业在细分领域内成长得更加成熟。

那,什么是开放平台?

开放平台作为微众银行践行开放银行“3O”体系的重要组成部分,作为微众银行实施开放银行战略的重要载体,微众银行分布式商业开放平台,致力于通过技术共享为合作伙伴嵌入式场景金融服务提供支持。


以开放技术为手段,以数据共享为本质,以平台合作为模式的一个开放银行平台,起到连接商业生态和传统银行作为后端的功能。


那么,微众为什么要做开放平台?做开放平台的意义在哪里?这一切,都能从微众银行开放平台在 7 月 26 日微众银行 FinTech Day 上所发布的技术应用与案例的矩阵中得以看出。

敏捷的架构与技术是开放银行的基础设施

在微众银行看来,未来开放银行一定是有三方参与的多生态合作体系。三方分别为商业端、银行端以及中间平台。


商业端是指像微信、人人车等这些存在既有客户、成熟场景、自带流量的商业体系;然而银行是一定要依靠合作伙伴来共建商业生态的,传统银行通过提供账户管理服务、支付服务、信贷服务等接入到生态中来;中间则需要平台来连接商业和银行,为什么要有平台?因为商业端和银行端很难直接连接,需要有开放银行平台来做获客导流、数据共享以及连接服务。


这个平台绝对不是为某个公司所拥有的。任何一个平台都不可能是集中式,而一定是分布式以及权益对等的产物,所以微众才将其称之为开放银行平台。


微众银行认为,成功转型开放银行,存在以下 3 点标准:


  • 以开放技术为手段,之前的 API Banking 就是银行提供 API,让合作伙伴来连接银行;

  • 开放平台的本质是数据共享,银行能够将支付信息、储蓄信息共享给合作伙伴,同样商业生态也可将用户行为数据、流量入口共享给银行端;

  • 最终以平台合作为模式,商业端不可能自己开银行,银行也不能独立构建商业生态,因此中间一定需要平台来连接,就是平常所说的场景金融。银行不再是一个场所,而是提供某种服务,用户在哪里,银行的服务就在哪里。


为践行开放银行的 3O 体系,贯彻以开放技术为手段,以数据共享为本质,以平台合作为模式的理念,在前不久刚刚结束的微众银行首届 FinTech Day 金融科技开放日的开放平台分论坛上,微众银行发布了 4 款致力于解决“技术实现难“的工具。


在开放银行层面,有微核心的架构理念,和 WeCube 分布式架构管理框架;数据共享层面,有大数据平台 WeDataSphere,区块链和联邦学习在一定层面上也是数据共享范畴的,因为需要和他人合作,所以更加需要微众银行 FinTech Sandbox 金融科技沙盒。

开放平台,是开放银行战略的基础设施提供者

微核心-微众分布式银行核心系统的设计理念

微核心不是微众银行设计出来的,而是经过过去 5 年微众在分布式银行核心系统中实践并提炼出来的理念,这个形态告诉我们它才是互联网银行核心系统的最佳实践。


说起微核心,就要从银行的发展历程来说起。为了适应互联网的特性,以及金融自主可控的目标,银行核心系统的转型已是箭在弦上,不得不发。


什么是银行核心系统?银行核心系统就是一个银行运作的灵魂。特点是集中和实时,集中是绝大多数的业务最终都要集中到这个核心系统来处理;实时性则是指账户之间的金额流通要确保实时。本质上银行核心系统是一个全银行最核心的集中且实时处理银行交易流水的账务系统。想要做互联网银行业务,就必须要低成本、高敏捷和可组合,这就是建立分布式核心的原因。


银行的核心业务系统一直在变,从传统集中式核心——瘦核心——分布式核心(微核心),其系统一直在瘦身。分布式核心具有金融服务级系统功能的分布式、基于 X86 平台系统处理能力的分布式以及基于产品特性的多核心分布式,这三个特点。


X86 相较于过往银行所使用的服务器,稳定性并不够强。那么如何在一款不稳定的平台上搭建出一款稳定的核心系统呢?微核心就承载着这样的使命。作为微众分布式银行核心系统的设计理念,微核心通过类似于微服务的技术,通过不同的编排和组合支撑产品的创新及业务的拓宽,相较于平常 X86 的 98% 的稳定性,微众银行已经做到了 99.99% 的 4 个 9 稳定性。


微核心是基于微众自身创新业务的实践,总结出的分布式核心系统建设理念。其有别与主流银行核心的中心化,旨在为适配互联网业务提供创新的银行 IT 架构方案。有了银行分布式核心系统,后台的处理框架自然也需要进化成分布式架构。随着 IT 系统从最初的单机部署逐渐演进到大型分布式架构,如今,越来越多的企业级应用在向分布式架构转变。相比集中式应用,分布式架构在大并发、高可用、易扩展等方面有着先天的优势,但因其极高管理难度仍让很多企业望而却步。

WeCube–分布式架构管理框架

如何高效运营管理一套完整的分布式银行核心系统?这就是为什么要做 WeCube 的初衷,本着以分布式架构管理回归简单为愿景,WeCube 本质上是一套开放、开源的分布式架构管理框架,对于大部分用户来说,WeCube 是一套包含分布式架构管理领域最佳实践的一站式管理平台。


参照 IT 系统生命周期管理过程,WeCube 通过定义“六个维度(任务、设计、执行、监测、智慧、调整)+一个核心(协同)”的框架体系,并使用插件的形式不断迭代构建功能组件,扩展 WeCube 的管理边界。比如封装腾讯云、亚马逊云资源管理的云资源管理插件,封装 Salttack、Ansible 的部署管理插件,封装 Prometheus、Zabbix 的监控服务插件,等等。


WeCube 通过扩展性可以建立完善的功能体系,形成强大的躯体,但积累分布式架构管理的经验仍是一个痛苦、漫长的过程,而这些经验才是 WeCube 的灵魂。为了解决这个难题,WeCube 使用插件初始化的方式将分布式架构管理的最佳实践注入平台,最终赋予 WeCube 灵魂。比如 CMDB 模型、应用部署的编排流程、技术平台的监控维度,等等。


WeCube 的“协同”核心,就是借助工作流引擎的能力,简洁高效的将六个维度的插件整合在一起协同工作,形成一个个完备的整体能力,减少人工节点。最终的目标,就是打造一套如 Eclipse 一样开箱即用的分布式架构管理平台。


WeCube 作为一款分布式架构管理框架,并非专用于分布式架构,但是更加适用于分布式架构。但是这种分布式架构,往往会使各个服务以及数据之间的联系出现问题,数据孤岛、数据共享困难等问题接踵而至,因此就需要一套完整的大数据平台管理套件,来解决数据间的互通连接问题。

WeDataSphere–一站式金融级开源开放大数据平台套件,经纬双向连接打通,让大数据变得更容易

微众开放银行以数据驱动为基础,因此更需要解决数据挑战、释放数据价值的技术。怎么能够更轻松的构建起一套,满足庞大复杂的数据传输、存储、计算、展现利用等需求的数据平台,怎样让数据的分析挖掘利用变得更简单,这就是微众大数据平台套件 WeDataSphere 诞生的原因。


微众银行大数据平台负责人邸帅提到,当前市面上有太多的大数据组件,然而各组件之间往往互相割裂形成孤岛。南北方向的上层工具、应用组件和下层计算存储引擎间,及东西方向的各种功能工具系统之间,没有一套好的连接打通方案。每一个上层工具、应用组件,都要独立、重复的实现与下层不同计算存储引擎的对接连通,其中有大量重复的工作和同样的管控、治理需求考量。且各个上层工具、应用组件之间相互割裂,用户开发产生的程序、数据,和对后台计算存储引擎的连接会话等资源,无法方便的跨工具、应用组件间统一复用和管控。导致使整个数据平台建设和运营的效率无法最大化。


这就是 WeDataSphere 大数据平台套件本次开源的数据中间件:Linkis 所要解决的问题。Linkis 重新定义了数据平台“连接”层的问题和解决方案,可轻松解决前台各种工具、应用,和后台各种计算存储引擎间的连接简化、复用问题,同时提供多租户隔离、权限/资源管控、弹性扩缩容等企业级特性。通过使用 Scala+Java 灵活高效的开发语言,基于全微服务容器化的去中心化特性,具备多级异步调用线程池支持高性能高并发等技术特点。


WeDataSphere 大数据平台套件本次开源的另一个组件:Scriptis,是一款基于 Linkis 快速构建的企业级数据探索分析工具。Scriptis 在 Linkis


之上,构建了诸如脚本编辑、数据库表管理、管理台、交互式查询分析等前端业务功能模块。并可通过 Iframe 灵活对接多个前台应用工具互相打通,如可视化工具,工作流调度工具等。


Scriptis 的工作过程:通过 WebSocket 或 HTTP 接口,向 Linkis 的 Gateway 发送 Job 请求;通过前端传入的 job 类型参数,会确认 job 请求要提交到的作业入口,然后选择与之对应类型的引擎来执行任务;引擎在实际执行 Job 过程的中,会实时通过 RPC 将 Job 信息(状态、进度和日志)向作业入口进行推送,并在 Scriptis 前端实时展示;引擎执行完 Job 后,会将结果数据写到持久化的存储(HDFS/LOCAL),并通知 Scriptis 前端到持久化存储读取结果数据展示给用户。


同时因为连接层复用了 Linkis 数据中间件,Scriptis 原生就具备了 Linkis 提供的灵活对接多种语言、引擎,敏捷快速返回执行结果,多活、高并发架构支持,权限资源界面化管控等特性,快速的形成了一套企业级数据探索分析工具能力。


拥有了上述的三个能力,作为开放平台,自然需要平台来供开发者及合作伙伴来试用体验,微众金融科技沙盒 Sandbox 就提供了这样一个场景。

微众银行金融科技沙盒 - 体验微众开箱即用的科技能力

银行业自监管沙盒推出以来,许多银行也纷纷推出自己的沙盒。主流银行在 Sandbox 的应用上以测试环境存在,主要以 API Banking 的方式接入,实质上只是单一银行的服务渠道开放,场景受限于银行自身本体。


微众的金融科技沙盒又有什么不同?对此,微众银行开放平台交付负责人杨启城进行了全面的描述:相较于国内传统主流银行,微众银行的最大特点就是无网点、只在互联网运营,因此微众更多是以科技推动业务。经过过去几年的成长,微众已然形成一种特有的科技理念和能力。在微众银行开放银行 3O 体系战略的大背景下,微众银行除开放业务 API 以外,科技能力也在对外分享,授人以鱼不如授人以渔,微众的 FinTech Sandbox 就是一个承载微众金融科技应用实例的体验平台,并且支持合作伙伴基于微众定义的标准 API 来对相关解决方案进行扩展,最终形成自己的技术能力。


在采访时,记者注意到微众金融科技沙盒中多次提到了“参考实现”这个词,那么什么是参考实现,对于微众银行有怎样的意义?对此,杨启城提到,参考实现即 RI,Reference Implementation。其意思是微众通过精选自身部分最具价值的科技能力,经过加工打磨后,配上标准 API,从而形成独立、可快速复制和自定义扩展的业务应用。


届时所有的用户都可通过 Sandbox 对 RI 进行体验和试用,也可通过其 RI 的配套 API 进行业务功能扩展开发。所有基于 API 开发的 RI 周边应用,最终都可以被纳入到微众 RI 应用货架。这就好比目前的智能手机生态,微众提供核心部件,并以此吸引合作伙伴建设周边,最终丰富整个金融科技生态

引发了关于回归『简单』的溯源,在数据驱动的未来拔得头筹

通过将开放平台的一系列核心能力都开放出来,诠释了微众银行践行开放银行 3O 体系的理念。让银行变得更加智能,让银行服务通过技术的形式隐藏在人们的生活场景中,客户在哪,银行服务就在哪。


最后引用微众银行副行长兼首席信息官马智涛在回答 InfoQ 记者采访时所提到的一句话:目前中国金融行业对于技术的投入程度不够,需要有人带头将能力释放出来。总要有人做这个事,微众银行既然具备这些条件,为何不贡献出来?企业与企业之间的合作也需要共同语言,希望用这些开源的能力推动行业事实标准的制定,降低企业合作的门槛。无论是分布式架构、大数据、还是核心服务系统,都是让技术回归简单,开源并普惠更多企业。


(本文经由微众银行杨启城、谢鹏、刘超、邸帅提供资料与校正)


2019-08-18 11:0514482
用户头像
佘磊 策划编辑

发布了 50 篇内容, 共 21.5 次阅读, 收获喜欢 76 次。

关注

评论

发布
暂无评论
发现更多内容

AI与大数据的结合:如何从海量数据中提取价值

天津汇柏科技有限公司

大数据‘’ AI 人工智能

DDD建模 vs 传统开发

Bruce Talk

DDD 领域驱动设计DDD

快速实现AI搜索!Fivetran 支持 Milvus 作为数据迁移目标

Zilliz

Milvus Zilliz 向量数据库 rag AI搜索

【YashanDB知识库】由于hist_head$中analyze time小于tab$中analyze time导致的sql语句执行慢

YashanDB

yashandb 崖山数据库 yashandb知识库

TiDB 在线打标签实现副本调度应用实践

TiDB 社区干货传送门

实践案例 7.x 实践

人人都能手写的chrome插件,帮我省了1000多块钱

京东科技开发者

TiDB多业务合并新玩法

TiDB 社区干货传送门

8.x 实践

目前东莞等保测评机构有哪些?电话多少?

行云管家

等保测评 过等保 东莞

OpenHarmony外设生态春笋行动 在2024开放原子开源生态大会上开启

最新动态

黄东旭:“向量数据库”还是“向量搜索插件 + SQL 数据库”?

TiDB 社区干货传送门

TiDB 助力东南亚领先电商 Shopee 业务升级

TiDB 社区干货传送门

使用TiDB企业版Lightning导入ORC文件到TiDB

TiDB 社区干货传送门

迁移 7.x 实践

TiSplit 切分csv文件

TiDB 社区干货传送门

迁移 实践案例 管理与运维

Linux服务器磁盘空间占用情况分析与清理指南

EquatorCoco

Linux 运维

数字货币交易所开发与智能合约交易系统

区块链软件开发推广运营

交易所开发 链游开发 NFT开发 公链开发 代币开发

【YashanDB知识库】如何dump数据文件,转换rowid, 查询对应内容

YashanDB

yashandb 崖山数据库 yashandb知识库

获取淘宝商品详情API返回值的技术实现方案

技术冰糖葫芦

API Gateway API Explorer API 接口 API 测试 pinduoduo API

云栖实录 | 开源大数据全面升级:Native 核心引擎、Serverless 化、湖仓架构引领云上大数据发展

阿里云大数据AI技术

大数据 阿里云 Serverless 云栖大会 EMR

打造未来社交:区块链社交DAO的颠覆性开发之路

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 NFT开发 代币开发

“AI+Security”系列第3期(六):打造最懂安全的智能体-无极AI安全智能体平台落地与实践

云起无垠

昆仑万维 X TiDB|从 MySQL Cluster 到 TiDB 的升级之路

TiDB 社区干货传送门

防御性编程:让系统坚不可摧

京东科技开发者

海外直播软件 Bigo 的 TiDB 4.0 线上实践

TiDB 社区干货传送门

Flink CDC:新一代实时数据集成框架

Apache Flink

大数据 flink 数据集成 Flink CDC 实时处理

国产化新标杆:TiDB 助力广发银行新一代总账系统投产上线

TiDB 社区干货传送门

TiDB 性能测试的几个优化点

TiDB 社区干货传送门

性能调优

获取淘宝商品详情API返回值的技术实现方案

代码忍者

API 测试 pinduoduo API

环保行业怎么定义?需要用到堡垒机吗?

行云管家

等保 堡垒机 环保

系统安全不求人:开发者必学的漏洞防御秘籍

巧手打字通

后端 系统安全 安全漏洞 SQL注入 xss攻击

软件测试学习笔记丨Mock的价值与实战

测试人

软件测试 测试开发

从集中式到分布式,金融企业的后台架构正在发生巨变_软件工程_佘磊_InfoQ精选文章