写点什么

如何提升 3 倍点击?这个 AB 测试告诉你答案

  • 2020-04-08
  • 本文字数:2276 字

    阅读完需:约 7 分钟

如何提升3倍点击?这个AB测试告诉你答案

先告诉你,这次 3 倍增长的案例,所使用的文案是大家都说好的“免费试用”,而原版文案是“立即预约”——你是不是觉得,是因为新版本带有“免费”字眼的文案,肯定比其他文案更吸睛才带来了增长?

不。


自从将 A/B 测试与 AI 引擎结合以来,我们已经使用机器学习引擎对自身的官网做了数次自动化 A/B 测试。同时,我们也在使用引擎同步支持的传统 A/B 测试,对官网的一些项目进行实验,以期用各种方法带来增长。上个月,我们对官网首页的关键按钮进行了一轮优化实验,通过小小的文案修改,竟出乎意料地带来了高达 180%+的点击转化率提升,接近原版的三倍。然而,这却只是表象,其背后暗藏的真正原因更令我们心惊……

分析数据表现,寻找突破口

在 TestinData.AI 的官网首页上,有四个试用按钮,分别在导航栏、首屏中央、客户寄语、页面末端,按钮文字是“立即预约”和“立即预约 TestinData.AI 演示”。


在这个大数据时代,数据驱动增长的理念想必已经为大家所熟知。我们在这个理念的驱动下,对各个按钮转化率的表现数据进行了一番调查。


从数据中我们发现,TestinData.AI 官网的几个按钮中,导航栏和客户寄语部分的按钮点击率,相比于其他两个位置要低。比首屏中央这种黄金位置的点击率低,还能理解;但比页面末端的点击都低,这与我们对其他诸多落地页/官网实验的数据研究结果并不一致,肯定有问题,需要改版。但是,从何下手呢?


原始版本页面截图:


依据猜想,提出假设

在进行改版实验前,对实验元素进行详细的探究,是在做 A/B 测试时的一个好习惯。我们先来看看,为什么会有这么多的按钮,了解一下这么安排的原因:读者的喜好往往存在着不小的区别。由于我们并不知晓用户会浏览到页面的那些部分,或是哪些内容会触及用户痛点、使得用户对我们的 TestinData.AI 产品产生兴趣,所以原始版本中,除了页面关键位置(正中央)有一个大按钮之外,还在导航栏、客户寄语、页面末端设置了三个点击按钮。这不仅方便用户操作,同时还能提高关键按钮的展现次数,提高用户产生点击欲望的可能性。


既然如此,那不如干脆就尝试用别的文案呗,用大家都喜欢的免费这种字眼嘛。所以我们提出了一个假设:如果将导航栏等四个位置的按钮文案,由“立即预约”变为“免费试用”,可能会带来更多的点击。


根据这个假设,我们在新版本中,将按钮上“立即预约”的文案改成“免费试用”,相应的,也将“立即预约 TestinData.AI 演示”按钮文案改成了“免费试用 TestinData.AI 产品”以保持同步。


新版本页面截图:



到这里为止,你可能会认为,对于频繁出现的 CTA(Call to Action,行为召唤,例如按钮等鼓励用户行动的地方)而言,对文案的主题进行修改,将会是一个行之有效并成本较低的改进方案,改成免费,那一定就会带来很多点击了,有啥好测试的呢!(好吧一开始我自己倒是这么想的)


当真?

实施 AB 测试实验

我们的假设是否正确,还需要用客观的实验数据表现来证实。用可视化模式几分钟制作好不同版本后,我们就将实验投到了线上



经过两周的测试,数据的表现结果,果然呈现出了明显差异,根据四个位置按钮数据表现,我们发现在导航栏处,按钮的转化率提升效果最为明显,转化率提升效果高达 183.88%,也就是说,达到原版的接近 3 倍。其次是在页面下方的客户寄语处,按钮的转化率也有提升,上升幅度为 88.02%


然而,更有趣的是,在首屏中央和页面末端,展示完整按钮文案的地方,实验结果却是“没有显著性差异”(p-value 和 power 均不达标)。也就是说,对于页面的访问者而言,“立即预约 TestinData.AI 演示”与“免费试用 TestinData.AI 产品”,并没有本质上的区别(可能还有点下降)


这个截然相反的实验结果,着实是令人诧异。如果说,免费版本真的比试用版本好,为何只在两个小按钮处带来了提升,而在更吸引眼球、文案更详尽的大按钮处,又没有显著区别呢?

解谜:隐藏原因分析

让我们回到提出实验假设的阶段。为什么会有这么多的按钮?为了增加 CTA。本意是很好的,并且数量也控制着没达到令人烦躁的程度,但这个过程却产生了另一个问题:原始版本上的“立即预约”和“立即预约 TestinData.AI 演示”文案,有可能从另一个角度对用户的理解造成干扰:


我们用预约这个概念的本意是,让用户能“立即预约演示”,但由于导航栏上增加的按钮比较小,因此我们无法放置过多的文案,故原始版本写的是立即预约。这么写,却有可能给用户造成“该产品尚未完成,还不能使用”的错觉。这对于有 A/B 测试或自动优化需求的用户而言,显然不能解决燃眉之急。毕竟感兴趣的用户可能更关心产品到底能否使用。


再看一下数据:两个大按钮,文案齐全,假设检验结果却是没有差异,说明“免费试用产品”与“立即预约演示”,这俩文案对于用户的行为并不能产生显著的影响。而两个小按钮,转化率提升分别为+183.88%和+88.02%,这足以证明,原本的“立即预约”,由于表述的含义不完全,确实可能对用户的体验造成了误解、干扰,从而降低了点击欲望;更换为“免费试用”后,不是免费吸引了用户,而是因为表述完整了,规避了误会,因此带来了提升


这既证明了,免费这种字眼,并不是万金油,并不一定能带来提升;也从侧面证明了,文案缩减的后果同样值得关注,因为这样很有可能改变原意,并在不经意间大幅影响你的转化率。


从实验结果来看,证实了我们对原始版本提出的修改方案是可行的,虽然和原假设不符(尴尬),但最终结果是会对我们的转化率产生积极的影响。同时,这个实验还为我们积攒了一个宝贵的经验,为我们其他页面导航栏等小按钮的文案设置,提供了参考。当然,更重要的是,在改版前,还是多做做 A/B 测试,避免无谓的损失,带来更多的转化。


2020-04-08 19:37740

评论

发布
暂无评论
发现更多内容

IDP 与 DevOps平台:相似之处与关键差异

SEAL安全

IdP 平台工程 内部开发者平台

清华大佬首推"中高级Java程序员进阶小册",程序员架构进阶必备

Java你猿哥

Java 算法 Spring Boot JVM java面试

NineData:高效高质量的Redis可视化管理工具

NineData

数据库 redis 开发工具 Redis 可视化工具 NineData

吃透这份406页的Java修炼宝典,直接送你进入一线大厂

做梦都在改BUG

Java java面试 Java八股文 Java面试题 Java面试八股文

Python从0到1丨带你了解图像直方图理论知识和绘制实现

华为云开发者联盟

Python 人工智能 华为云 华为云开发者联盟 企业号 5 月 PK 榜

ZBrush 2023 v2023.1.1最新激活版下载 三维数字雕刻和绘画

Rose

ZBrush 2023安装教程 ZBrush 2023下载地址 ZBrush 2023破解版 角色建模 特效制作

涨薪40K!来自阿里内部绝学的“微服务架构手册”

Java你猿哥

架构 微服务 微服务架构 ssm 架构师

Git 代码分支管理 | 京东云技术团队

京东科技开发者

git 京东云 企业号 5 月 PK 榜

2023年辽宁省等级保护测评机构名单公布

行云管家

等保 等级保护 辽宁

记录内网Docker启动Stable-Diffusion遇到的几个坑

华为云开发者联盟

开发 华为云 华为云开发者联盟 企业号 5 月 PK 榜

如果你项目使用了MyBatis-Plus你一定要用它

Java你猿哥

Java mybatis ssm Mybatis Plus

美团二面:聊聊ConcurrentHashMap的存储流程

做梦都在改BUG

Java hashmap ConcurrentHashMap

百度Q1财报发布:文心一言性能提升10倍,大语言模型带来革命性潜力

飞桨PaddlePaddle

飞桨

高效研发团队都在看!一套方法论带你找到适合自己的效能提升路径

万事ONES

华为与阿里等五位架构师一起奋战七个月,写出这一份Java并发编程

做梦都在改BUG

Java 并发编程 多线程 并发实现

Planner 5D:设计您的梦想家园

理理

Planner 5D for Mac 苹果mac软件下载 室内设计工具 Planner 5D中文

基于云原生的物联大数据智能服务

华为云开发者联盟

云原生 后端 华为云 华为云开发者联盟 企业号 5 月 PK 榜

阿里技术总监纯手打的内部手册《MySQL笔记》真是太硬核了

做梦都在改BUG

Java MySQL 数据库

阿里P8级架构师十年心血终成Java核心精讲与网络协议文档;

做梦都在改BUG

Java java面试 Java八股文 Java面试题 Java面试八股文

关于接口可维护性的一些建议 | 京东云技术团队

京东科技开发者

京东云 接口设计 企业号 5 月 PK 榜

Java中的正则表达式详解

timerring

Java

B 站构建实时数据湖的探索和实践

Apache Flink

大数据 flink 实时计算

8张图带你全面了解kafka的核心机制

JAVA旭阳

Java kafka

免费堡垒机有哪些?功能多吗?后续可以升级吗?

行云管家

安全运维 免费软件 免费 免费堡垒机

AntDB亮相DDIS 2023数字驱动创新峰会,共推数字经济创新力量

亚信AntDB数据库

AntDB AntDB数据库 企业号 5 月 PK 榜

8张图带你全面了解kafka的核心机制

做梦都在改BUG

Java kafka 消息队列 消息中间件

大数据拥抱云原生 HashData助力资管数字化转型

酷克数据HashData

GitHub项目免费教你提示工程,全中文教学,小白也能懂

Openlab_cosmoplat

人工智能 GitHub 开源社区

魔改xxl-job,彻底告别手动配置任务!

Java你猿哥

Java 分布式 定时任务 ssm Job

楠姐技术漫话:图计算的那些事 | 京东云技术团队

京东科技开发者

京东云 图计算 企业号 5 月 PK 榜

GPT大语言模型Alpaca-lora本地化部署实践【大语言模型实践一】 | 京东云技术团队

京东科技开发者

gpu 京东云 ChatGPT 企业号 5 月 PK 榜

如何提升3倍点击?这个AB测试告诉你答案_文化 & 方法_云测数据_InfoQ精选文章