“科技重构金融未来”——中国电子银行联合宣传年2018贵阳高峰论坛于8月2日顺利举行，贵阳市政府、近百家银行相关部门领导、金融科技企业和学术专家共计约150余人参会。论坛由中国金融认证中心（CFCA）、中国电子银行网主办，贵州数安汇公司协办，中国电子银行网全程视频、图文直播。

Testin演讲嘉宾：陈冠诚

作为论坛压轴发言的嘉宾，前IBM高级科学家，Testin副总裁、数据运营事业部总经理陈冠诚用实实在在的运营案例，阐述了互联网金融行业的智能运营。

陈冠诚介绍说，AI没有什么神秘的地方，AI是把可以被重复的有规律的工作用机器人替代人去完成。在手机银行的生产运营过程中，虽然各部门分工有异，但都会有很多需要对比、挑选、决策的关口。这时运用人工统计或是传统的经验主义无法达到科学精准地完成数据采集和数据决策的要求。此时AI和大数据就发挥出显著的优势。

通过现场视频演示及宜人贷、51信用卡、爱钱进等知名互联网金融产品的实践案例分析，陈冠诚充分阐述了Testin在AB测试智能优化方面的“临床”探索。

陈冠诚建议，从一个产品的角度来说，大部分手机银行的APP都有非常多的功能点能进行AB测试。只要新版本比原始方案更好，TestinData.AI引擎就可以智能选出更优版本，从而提升转化率。包括菜单栏的设计，放什么样的理财产品等等，每个功能点从大到小都可以进行优化。

以下是陈冠诚演讲实录：

很高兴有机会倒数第二个跟大家分享一下在互联网金融行业相关智能运营的案例。

Testin是2011年成立的一家公司，我们服务了全国大概一半的银行，包括四大行里的三家，包括所有股份制银行，主流的城商行等等都是我们的合作伙伴。可能很多同仁对我们一个认知觉得我们是一个测试公司。但实际上我们已经开始把服务延展到测试之后，即APP发布之后的环节，包括数据，安全，推广等等。

Testin提供的服务体系

我今天跟大家分享的智能运营的场景，就是客户案例里想要解决的问题。

在座很多专家在之前分享中提到了很多我们在做APP运营过程中面临的很多问题。从职能的角度来讲，我们把不同的团队分成产品部门、运营部门、市场部门，他们工作围绕的核心指标、面临的挑战不太一样。比如产品部门面临的问题是产品到底怎么改，哪个版本等优秀，需要有个量化指标来衡量。运营部门是关心做什么样的运营活动能够吸引更多的转化。市场部门关注的是怎么降低获客的成本，这实际上是最重要的其中一个环节。

APP运营过程中会面临很多问题

传统的增长方法：A/B测试

我给大家分享具体的一些案例。整体看，这个手机银行APP的理财产品左右两个版本唯一的区别是颜色不一样，是偏展示层的版本选优的过程。

手机银行App的不同版本

我们衡量A版本好还是B版本好，会用到访问的总人数、平均的访问时长、按钮的点击次数、购买总金额等等指标。我们真正做实验做所谓AB测试时，我们会基于一些用户标签来做，比如根据年龄段、所处地域做一些定向的筛选，包括产品用户的标签，比如理财等等进行相关的定向选择。最后，我们可能希望在一个业务大屏里面能展示出来AB甚至更多版本的优劣情况。

某银行A/B测试优劣对比效果图

在这个图示里，我们可以看到左边红色代表的版本转化率是48.09%，证明这个版本是通过数据决策选出来更优的版本，完成转化率提升的目的。

这里牵涉一个概念，刚刚很多嘉宾提到的AB测试。什么是AB测试？它是一种产品优化的方法论，是为一个核心优化目标制定的两套或者多套产品方案。通过让一部分用户使用A版本，同时，一定要同时，因为希望摒弃时间差带来的干扰，让另一部分用户使用B版本，然后对两版本进行数据分析统计对比，用数据进行产品选择决策，而不是传统的依赖经验主义去做。这样得出的结果是科学的。

划时代的智能分流：AI引擎

刚刚给大家看的例子比较简单，它只有两个版本，工作量比较小，实行AB测试不会很麻烦。给大家看一个我们在互联网金融的合作伙伴，宜人贷的例子：

宜人贷的多渠道多版本落地页样式

它的获客落地页有17个版本，有20个渠道，问题的复杂度是17×20，目标就是要在20个渠道里选出最优的版本，提升理财获客的转化率。举个简单例子，假设原始版本转化率是2%，如果能提升到3%，整个营销的效果就提升了将近50%。我们怎么帮到它提升目标？

很简单，整个流程就是，在头条或者是百度等各种渠道，用户先点击这个广告，然后看系统能不能帮用户自动选出并展现当前最优的版本，就是我们要实现的能力。也就是基于现在相对比较热门的强化学习、深度学习的技术去做自动化的数据PK。核心的逻辑就是说一开始所有的流量都是均分的，比如下图第三章里，左边四个版本，一开始都是默认5%的流量，在下一个时间段里系统会自动判断四个版本跑一段时间后各自的转化率谁高谁低，转化率高的版本AI引擎会奖励你流量，转化率低的版本不会给你更多的流量。那么随时间变化，你会看见绿色的版本流量会越来越多，到最后所有的流量都变化绿色的版本。

AI引擎工作原理

而这整个流量奖励的过程，都是通过AI自动完成，这就是TestinData.AI智能流量调节引擎的能力。

传统的做法可以人工去做，但就需要有一个运营同事去做数据分析。从技术角度来讲，背后有很多研发过程中的故事，很多是需要不停地训练。AI引擎，所谓人工智能就是有多少人工才有多少智能，真正的引擎交付给合作伙伴之前，我们做了大量的训练。

我给大家看一个相关的演示。

两版本在TestinData.AI的转化率和分流情况演示

图中，右下角的两张曲线图，不同的版本是红色跟黑色，他们的转化曲线不一样，红色的版本一开始转化率高，因此会奖励更多的流量。后来，黑色的版本出现了反转，比红色更高一些，我们的引擎就会自动奖励流量给黑色。整个过程不需要人工进行干预。

两个版本的智能优化工作量是相对比较少的，而7个版本甚至70个版本，在版本复杂性的情况下再去叠加渠道的多样性，这对于人工的要求就比两版要严苛许多。而这整个过程则全部都可以交给TestinData.AI自动完成。

七版本在TestinData.AI的转化率和分流情况演示

AI没有什么神秘的地方，AI是把可以被重复的有规律的工作用机器人替代人去完成。这是我给大家分享的例子。

不论是A/B还是AI，核心都是测试驱动增长

刚刚讲的那些其实是所谓的AB测试、智能优化的具体例子。我做了很多年的产品，从产品的角度，当我们需要去做版本优化时，我们需要正儿八经引入AB测试；而当同一个功能做两个甚至多套版本，则可以去做智能优化。核心点是因为这个功能点符合两个必要条件：一是影响很大，二是选择又很困难。传统来讲，原来受限于技术手段的限制，不得不凭借经验去做决策，随着行业发展，我们开始可以利用人工智能技术帮助你完成决策，可以是AI对整个互联网金融和银行行业的促进。我跟大家分享一下，在互联网行业里，AB测试的方法论早就大行其道。我这里有各行业的统计数据，像谷歌这样的互联网顶级公司，一周大概会做2000个功能点的测试。比如说客服的按钮到底是摆在右上角还是左上角，这样功能点的测试就算一个试验。以谷歌为例，一周平均做2000个测试，国内的BAT可能是800个测试左右。图右边的互联网金融公司，可能一周平均做30个功能点测试，对多套版本进行选优。

互联网行业的AB测试频率

最后的收益是什么？一周如果做30个功能点的试验，大概会有30%的概率获得成功。三分之一，其中十个有功能点提升。说明我们的产品运营人员很多时候设想的点子，在70%的概率下是不符合你的预期的：你花了开发成本、测试成本去跟原始版本做对比，仅仅是因为你觉得你的新版本的设计应该比原始版本好，但是实际数据证明，大概只有三分之一的试验是用户认可、符合预期确实能带来转化率提升的。转化率提升多少？我分享一个统计数据，平均提升5-30%的量级。比如我们给国航做会员活动的页面，最后转化率提升400%，非常夸张。为什么？因为原始版本受限于开发资源，故而是外包公司做的，其实没有花很多力气做这件事情，但会员活动对他们会员买票是非常重要的场景。我们有自己专业的设计团队做了新的多版本的创意方案，整个转化率提升400%，效果惊人。

再分享一个这个行业里面的最佳实践流程，其实这套流程不是Testin发明的。核心点从左往右看，左边有个目标，一定是个小目标，不能上来告诉我希望通过做个AB测试把今年的交易额提升30%，这是没办法落实的。你可以提个要求，希望通过注册流程的改版把转化率提升30%，这是合理的。

AB测试最佳实践

基于这个目标开始分析数据，比如现在的电子银行注册环节转化率怎么样，我提出相关的设想，比如我应该这么改可能会提升，会有两到三个新的产品设计方案。基于这个方案你会做个重要的优先级排序，基于各种资源的限制，不可能所有版本全做测试，这时候你会基于选择困难同时又重要的功能点选择性的做AB测试。完成测试之后，你会发现在整个结果上分两种：70%是无效的，就是做了无用功吗？我觉得我要分享一个经验，跟我们合作的伙伴来看，他们觉得这对团队能力是巨大的提升。恰恰是通过无效的试验，锻炼了团队的能力。因为所有的运营都是人做出来的，通过实际的经验、实验帮助团队的提升，这可能比APP本身的转化率提升更有价值。另一方面，新版本的实验有效的情况下，大家可以鼓掌，就可以完成整个产品线上化的过程，并正式发布。

大部分手机银行的APP作为一个产品角度，非常多的功能点都能进行AB测试，小到用这种物料还是那种物料，你可以设计两套banner，把UI填上去，就可以智能自动选优提升转化率。包括菜单栏，放什么样的理财产品等等，每个功能点从大到小都可以进行优化。

最后再来给大家分享一些实际案例。

这款理财类App的按钮文案，原来叫立即存入，新版本叫立即理财，转化率提升了15.45%。大家可以从心理学角度上来理解，这个试验是在2017年上半年，那个时候“理财”这个关键词对用户的促进作用是高于“存入”这个词的。

真实案例分享：存入与理财

我们给51信用卡做的应用场景，提升了转化率将近18个点。

51信用卡落地页AB测试

这是上海一家金融行业，这是一个支付环节，原始理财充值时可能只有银行储蓄卡的一种渠道，我给小部分人开放微信支付之后，整体的限额应该是多少，因为微信手续费比传统的手续费高，但整个的操作步骤会少会更便捷，但是手续费会高。通过这个试验以后，首笔充值限额5000或者1万，最后选出来1万元。

支付环节AB测试

再说说注册环节，先看理财产品爱钱进的产品设计：

爱钱进注册环节AB测试

左边是非常传统的图片校验码。这个客户的新方案用短信校验码提升了10%的转化率。右边的版本在第一屏只需要填手机号，第二屏也只需要填手机校验码，一般都是四位数字，比去人工识别的图片校验码速度会提升。但是我们知道，很多时候会面临黑客攻击，他们其实在现在的产品里在产品登录的环节保留了图片校验码，这也是产品设计上的一些细节。

爱钱进促活环节AB测试

这则是在“新手理财”，我们花了很多获客成本以后，转化了很多新客户，希望新客户完成核心的动作，比如首笔充值完成买一个理财产品，也就是做新人的促活。你到底是希望上来就给他三个理财产品，还是像右边只给两个理财产品，虽然品类少了，但是加了很多友好提示，告诉你你如果买了上面的理财产品，每万元收益是多少。我分享一个小故事，当时这个团队内部是有很大争议，支持左边的团队有三个类目，能满足更多用户个性化需求。一个月整存、三个月整存全都有了。右边的版本告诉你每万元收益是多少，整个转化率更高。最后实际上是右边的版本更好，整体交易额提升了8%。

我们讲了很多千人千面，在我们的系统里也做过类似的案例。也是基于用户的标签，给男性女性在圣诞节分别推送不同的手机APP主题颜色，我们做过类似的页面。这套系统在银行业一般都是私有化部署。

产品特点，我不赘述。主要跟大家分享一些我们在行业里面看到的一些相关的经验。AB测试在银行业今年是属于开端元年，今年会有几个合作伙伴会完成正式部署。如果大家感兴趣，我们会后可以进行交流。

谢谢大家！

创作场景

AI 时代的互联网金融智能运营实践