教年轻 AIoT 创业者如何从 0 到 1 实现AIoT 创业项目 了解详情
写点什么

京东集团的风控实践

  • 2020-12-16
  • 本文字数:4091 字

    阅读完需:约 13 分钟

京东集团的风控实践

作为国内知名的互联网企业,京东集团通过构建自己的风控体系,不仅成功地抵御了黑灰产的攻击,而且改善了用户体验,甚至为公司带来实实在在的效益。什么是风控?互联网企业的风控与传统风控有何区别?京东是怎样构建自己的风控体系?......带着这些问题,InfoQ 记者专访了京东集团风控负责人、资深架构师刘宇。据悉,刘宇于 2018 年正式加入京东集团,与团队一起建设京东的风控体系,2020 年起负责京东集团风控中台的规划及建设。

风控那些事


风控的定义、起源


风控,顾名思义,即风险控制,风险管理。根据维基百科,风控是一个管理过程,包括对风险的定义、测量、评估和发展因应风险的策略。目的是将可避免的风险、成本及损失极小化。


据刘宇介绍,风控最早起源于金融、保险等行业的大中型企业,它们使用风控来规避企业经营风险,保障企业的健康发展。但是,随着传统企业的数字化转型和移动互联网的发展,越来越多的企业开始将业务转移至线上,并投入大量的营销成本去做用户增长和提升用户活跃度。


正所谓,“哪里有利益,哪里就会有欺诈”。同时,大量黑灰产从业人员利用各种非法手段通过平台的业务漏洞获利。为应对这种情况,业务风控应运而生,还有人称之为业务安全或 OFD(Online Fraud Detection)。

风控的核心、构成


对企业来说,风控最核心的是“人”。通常,企业的业务风控由风控运营和风控研发两个团队组成,而一个完备的风控体系,还会涉及公司里的其他团队,比如客服、业务治理等。在刘宇看来,这是一个非常庞大的体系。


具体而言,风控运营人员要对业务有深入的了解,具备较强的逻辑分析和数据分析能力,其核心职责是通过对业务的了解和黑灰产的对抗经验,利用数据分析、研判工具等手段,及时发现业务风险,升级风控策略,对风险进行处置。


通用的风控流程


而风控研发团队有算法人员、BI 人员、系统开发人员和产品经理等角色,主要职责是负责整个风控体系的搭建,包括风险识别、决策和风险处置等。


从系统的角度,风控系统一般自下而上分为几层:

  • 最下层是数据层,包含实时数据、离线数据等。在数据层之上是数据处理层或数据指标层,它主要的工作是把原始数据进行加工、处理,形成指标。

  • 这一层的上面是模型层/工具层,主要基于底层的数据做一些模型的工作,输出一些模型的结果。

  • 在这之上,就是风控的核心层,也是风控最核心的部分,包含识别、决策和处置。这一层对外提供风险识别的能力,接入一些数据,基于此做一些风险识别,并按照运营人员配置的一些策略做决策,最终对风险进行处置。

  • 在核心层之上是服务层,有风控对外提供的一些服务,比如风险识别服务。最上层是工具类的产品,比如给各个业务提供的风险查询工具、策略管理工具。

互联网风控与传统风控的差异


实际上,风控并非“新鲜事”,它在金融机构存在多年。但是,在互联网出现后,出现了互联网风控。


刘宇表示,首先,传统风控更多的依赖专家经验,容易被黑灰产绕过,而且,传统风控更侧重于“事后”,因为它们对实时性要求不是很高。但是,如果是移动互联网企业,时效性对用户体验就有极大的影响,“如果还是传统方式,那用户体验无疑会非常糟糕。并且,当钱被黑灰产‘薅走’时,风控才应对,那么这就晚了。”他说,“我们希望将所有的风控前移。”


其次,传统风控的防御点彼此割裂,防护能力弱。相对而言,互联网企业的风控从线上、面上着手,因此强于传统的风控能力。


第三,传统风控更多的是欺诈个体识别,无法对抗团伙作案。并且,传统风控更多的基于专家经验和一些经验积累,一旦黑灰产掌握这些规则,就会想方设法绕过规则,“此时,传统风控的自我学习能力相对差一些,无法快速应对新型威胁”。


因此,针对传统风控的一些问题,刘宇和团队在搭建新的风控体系时提出下列要求:


以大数据为基础,人工智能技术为核心,去搭建风控体系。目标是打通各个节点,做到全链路的风险识别。并且,不使用单一技术去识别风险,他们使用多种技术组合,侦测逻辑复杂,构建一个立体的风控体系。这样,黑灰产就很难识别出平台的风控逻辑。


此外,采用更多的数据维度,这样便于发现一些未知欺诈风险。同时,提升风控识别的准确率,避免影响到正常用户的使用体验,比如对用户的验证希望实现无感验证。最后,对整个系统识别的实时性要求非常高,希望实现实时识别。

风控实践详情


京东业务覆盖零售、数字科技、物流、健康、保险、AI 等,规模较大,业务复杂。但是,对于业务风控,最核心的目标仍旧是控制业务风险,保障各个业务的健康发展。同时,利用风控的核心能力,帮助业务实现精准营销,将平台的优惠返给真正的用户,而非黑灰产。


刘宇称,2020 年起,京东风控形成了“前台和中台”的组织形式。京东各个业务板块,包括零售、数科、物流、智联云、保险、健康、国际等,分别搭建各自的风控业务前台,集团风控研发部则负责风控中台的搭建。



风控前台贴近业务,所以更了解业务,进而可以更快速的发现风险并对风险进行处置,从而最大限度的止损;从另一个角度看,风控能和业务结合的更紧密,帮助业务将更多的资源投给信用好的用户和商家,从而帮助业务快速增长。


而风控中台以“共建共享、联防联控”的思路进行构建:


  • 一方面联合风控体系较成熟的业务沉淀并开放其风控能力及组件,从而加快新业务风控体系的搭建,避免了重复“造轮子”。

  • 另外一方面,风控中台协同各个业务板块完成风险识别及处置的联动,避免风险识别“死角”。


刘宇举了一个例子,一个用户对京东零售或京东物流来说,可能是一个正常用户,但是从京东数科来看可能就是风险用户,因此要整体看。


具体到风控系统上,京东的风控系统最早是业务驱动,后来转向技术驱动。他说:“在起步阶段,数据、系统、工具都相对薄弱,有些风险处置逻辑、识别逻辑混在业务系统里。”这一阶段的主要工作是解决线上的业务问题,风控运营和研发人员疲于应付各种临时的风险事件。


随着风控体系的逐步完善,风控运营人员可以基于风控系统进行日常的数据分析和黑灰产对抗工作。此时,风控体系逐渐转向技术驱动,聚焦到识别模型,研发高可用的系统。随着京东业务量不断增长,京东的黑灰产对抗经验也逐渐丰富起来,风控系统日趋完善。


风控系统的核心是规则引擎。某种程度上,规则引擎的好坏关系重大。由于京东整体的业务量、数据量较大,风控系统的规则引擎必须具备以下特点:支持风控运营灵活配置复杂规则;支持高并发、低延迟,保证事前风控的时效性;支持机器学习模型的部署。经过详细调研之后,京东选择了自研规则引擎。


规则引擎的主要功能是特征提取和规则管理。其中,规则管理有着较高的复杂性和灵活性。经过长期的黑产对抗实践,京东总结出了多套规则体系,基于不同的风控场景将通用规则与该场景的定制化规则进行合并。这样可以基于场景自由切换。比如,在双十一时,采用一套规则,在其他活动中采用另一套规则。


刘宇称,京东的规则引擎已经实现完全可视化配置,针对不同人群,能提供不同层次的策略配置工具。比如,对一线业务人员,提供完全傻瓜式的配置,业务人员只需选择低风险、中风险、高风险等简单选项。这样就能解决他们绝大多数的业务问题,并且学习门槛不高,上手快。对于风控运营人员,风控系统可以提供完全可视化的复杂配置工具,运营人员可以自行配置数据源、配置规则、配置策略等,并且可以做线上的一些规则验证。不过,这已经可以通过零代码的方式解决黑灰产对抗 90%的问题。


对于特别复杂的问题,风控系统也提供了高级模式,但高级模式需要风控运营人员将需求提给研发,通过编写代码来生效。这样既保证了足够的灵活性,也能解决高度复杂性的问题。



在他看来,由于风控体系的存在,不仅能够直接帮助业务避免风险,而且也间接地帮助业务部门做用户增长、精准营销。“像 618、双十一这样的活动,如果没做好风控,那真正的促销优惠就会被黑灰产‘薅走’,不仅会伤害好用户,而且影响了用户体验。”他说。事实上,风控不仅是一个技术问题,也是流程、管理问题。


对风控来说,制度的建设非常有必要。作为风控行业的老兵,刘宇也给搭建自己风控系统的企业提出三点建议:


  • 风控系统涉及的流程比较长,比如数据采集、数据打通、数据融合、模型优化、规则引擎和场景应用等。任何一个流程出问题,都会导致误杀或漏杀。漏杀会造成一些经济损失,误杀则会对用户体验造成影响。因此,需要在所有环节做好监控和预警。一旦发现数据异常,及时处理。


  • 其次,规则管控非常重要。规则版本的管理,特别是规则上线,对新规则要进行严格测试。不然,容易导致误杀率上升,影响用户体验。


  • 最后,风控的核心是数据。风控系统是企业中涉及数据维度最多的系统,所以数据融合的问题是最突出的,尤其是不同的系统对数据的标准。如果同样的数据,大家的定义不同就会带来一些问题。

新尝试


在风控上,京东正在做一些新的尝试。


一是无感验证。为了最大程度地提升用户体验,不打扰正常用户的前提下,京东正在尝试新的验证方式,而非常见的短信验证码、电话验证码等。京东会尝试基于多业务场景行为数据打通,以实现无感验证。


二是风险定价。京东具有非常庞大复杂的业务体系。同样的一个用户,不同的业务对他的衡量结果并不完全相同。“我们希望从集团角度对每个用户实现更加精准的定价机制”。


三是风险感知。刘宇表示,风险感知是一个比较难的课题,“我们希望能够尽早预判风险的来临,这样就可以有充足的时间做准备,包括预防策略,以帮助业务尽可能地减少损失。”他说。


四是智能调控。京东希望做一些尝试,对不同的组织、不同的人有一些更加柔性、更加弹性的管控,而非运营人员手动调控。


未来发展方向


关于风控技术的未来,刘宇提到几个趋势:


一是 5G、IoT 技术(可穿戴设备、智能家居)的普及,会产生海量行为数据。基于此可以产生动态的、基于场景的超高精用户画像,用于精细化的风险干预。当然,挑战在于如何利用海量的数据打造精准的用户画像。


二是利用 AI 技术自动挖掘算法特征、模型迭代、策略推荐,做到零人工干预,根据风险场景和用户状态自动调整策略,改变现在的人为特征选取、建模周期长的问题。


未来 10 年,国家会加大社会信用体系的建设,开放政务数据,京东也正在探索利用联邦学习等新兴技术,保证用户隐私和数据安全的前提下,让数据在风控方面发挥更大价值。

活动推荐:

2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。

2020-12-16 13:339122
用户头像
万佳 InfoQ编辑

发布了 677 篇内容, 共 315.6 次阅读, 收获喜欢 1778 次。

关注

评论 4 条评论

发布
用户头像
对于特别复杂的问题,风控系统也提供了高级模式,但高级模式需要风控运营人员将需求提给研发,通过编写代码来生效 ,这个是说复杂的还是需要进行hard code来实现么?
2020-12-16 17:35
回复
对,规则引擎提供高级模式,可以导入一些脚本来运行。
2020-12-16 21:27
回复
用户头像
不错
2020-12-16 15:18
回复
用户头像
666
2020-12-16 14:34
回复
没有更多了
发现更多内容

深耕智能边缘研究和应用,英特尔中国研究院、南京英麒联合探索算力前沿

科技热闻

GitHub开源几分钟被下架!神作《Spring Boot实战项目》竟昙花一现

做梦都在改BUG

Java 微服务 Spring Boot 框架

GitHub开源2小时Star破10万,阿里Java高并发集合手册终是被公开

做梦都在改BUG

Java 高并发 集合框架

软件测试/测试开发丨Web自动化总卡在文件上传和弹框处理上?

测试人

软件测试 自动化测试 测试开发 selenium

理性探讨AIGC未来的发展方向

加入高科技仿生人

人工智能 低代码 AIGC

Mac OS如何显示隐藏文件和文件扩展名

互联网搬砖工作者

一次偶然机会发现的MySQL“负优化”

做梦都在改BUG

Java MySQL 数据库 性能优化

亚信科技AntDB数据库荣获互联网周刊金i奖“2022年度产品”

亚信AntDB数据库

数据库 AntDB 国产数据库 AntDB数据库 企业号 4 月 PK 榜

审计录像是什么意思?堡垒机有审计录像功能吗?

行云管家

堡垒机 审计 审计日志 审计录像

三种Web通信技术之间的差异

郑州埃文科技

你的收藏不能少的Spring笔记,阿里十年架构师手写Spring笔记

小小怪下士

Java spring 程序员

YonTalk 大咖论道:YonBuilder 低代码开发平台能力解析

YonBuilder低代码开发平台

〖产品思维训练白宝书 - 认知篇①〗- 产品思维能够为我们带来多大的价值?

不渴望力量的哈士奇

产品经理 产品思维

Redis缓存穿透/击穿/雪崩以及数据一致性的解决方案

做梦都在改BUG

Java 缓存 穿透 击穿 雪崩

卡奥斯赋能发展引擎,“工赋山东”再加“数”!

Openlab_cosmoplat

工业互联网 开源社区

ChatGPT也BUG?带你走进ChatGPT背后的网络基础设施

郑州埃文科技

人工智能 ChatGPT

网心科技多项边缘计算成果亮相第十届中国网络视听大会

网心科技

如何通过Java代码在PowerPoint 幻灯片中插入公式

在下毛毛雨

PowerPoint 公式 java‘

软件测试/测试开发丨4步,用 Docker搭建测试用例平台 TestLink

测试人

Docker 软件测试 自动化测试 测试开发 testlink

The Foundry Modo 16 Mac版(专业的三维建模软件)

Rose

mac软件下载 Foundry Modo 三维建模软件

Double-check 技术:Golang 中多线程编程的必备技能

Jack

golang 设计模式

熹微~~~基于Vue开发的昏暗风格的响应式网页!

京茶吉鹿

前端 项目 vue cli

软件测试/测试开发丨做web自动化时,定位元素常用方法有哪些?

测试人

软件测试 自动化测试 测试开发 Web自动化测试

2023年广州堡垒机采购选哪家好?咨询电话多少?

行云管家

等保 堡垒机 等级保护 广州

Feast on Amazon 解决方案

亚马逊云科技 (Amazon Web Services)

人工智能

Java:如何在PowerPoint幻灯片中创建散点图

在下毛毛雨

图表 PowerPoint java‘

格式塔理论

Data 探险实验室

可视化 大屏可视化 可视化看板 大屏布局 仪表板

苹果电脑删除磁盘分区及双系统分区的办法

互联网搬砖工作者

喜报:旺链科技成为龙芯生态重要合作伙伴

旺链科技

区块链 生态合作

阿里云加入“一云多芯”应用创新计划,首批通过金融专有云能力评估

云布道师

混合云

亮相数字化转型大会!卡奥斯助力两化融合工业转型!

Openlab_cosmoplat

工业互联网 开源社区

  • 扫码添加小助手
    领取最新资料包
京东集团的风控实践_安全_万佳_InfoQ精选文章