手把手教你构建一个强大的 A/B 测试实验

在 A/B 测试里，提出一个你想要测试的念头并不难。提出一个你应当测试的想法才有难度。

怎么才能提出应当测试的想法，每个玩 A/B 测试人可能都有点儿想法。我这儿没什么别出心裁的，只找到个能让你按部就班搭建一个可靠的 A/B 测试的方法。

这个方法，是从一个结构化的假设开始的。让我们一步步来看。

通常情况下，测试内容的定夺依赖于人们的直觉和曾经的最佳实践——最终却产生了不利的结果。另一些人则倾向于采取比较短视的方法，只考虑转化漏斗（获取用户/提高活跃/提高留存/获取收入）的一个方面，而不看长期目标。

为了克服这些最常见的优化错误，把你的优化视为一整个过程来构建是很重要的。这个过程包括进行彻底的研究，提出正确的问题，在问题的相关领域挖掘答案，运行测试，并最终获得有价值的结果。在这个过程中，如何提出正确的问题，是大有讲究的——结构化。

ps：结构化方法基本思想：把一个复杂问题的求解过程分阶段进行，而且这种分解是自顶向下，逐层分解，使得每个阶段处理的问题都控制在人们容易理解和处理的范围内。

根据 Econsultancy CRO 2015 报告，采用结构化测试（即下文阐述的循序渐进构建测试的方法）的公司，其销售额大幅增加的可能性两倍于盲目搞测试的公司。

为了使测试有意义（因此能让结果有价值），你首先要清楚地确定测试的内容以及测试的原因，这就涉及到如何构建一个结构良好的假设，进而用结构化假设来搞好 A/B 测试。在这篇文章中，我们将会尽量精确地引导你。

一、决定测试的内容

关键点在于建立一个坚实的假设，用以扩大获得胜利的机会，而不是抓阄一样测试一个“我觉得 OK”的想法。

一个坚实的假设要求你做出解释或解决一个问题。把它看作是将问题与解决方案联系起来的粘合剂。举个栗子，你可以假设：在你的付款页面添加一些能提高信任感的标识（建立信任感的各种元素。比如某某认证，某某客户的评价，这在《国外专家的转化率优化指南》中提到过，下面简称为 信任标识），可以解决该页面转换率较低的问题。

想必你已经注意到了——这个假设是由两个变量组成的，即原因（我们要测试的行为）和效果（我们期望的结果）。

一个结构化的假设将会构建一个强有力的实验，并可能产生高度可操作的（正面或负面）结果。相反，缺乏精心设计的假设的实验可能会使你陷入在错误的方向投入时间和精力的尴尬境况。

但是，如何开始制定一个假设呢？

理论上可以有两种方法。

方法一：你可以按照归纳法 - 即依靠头脑风暴产生一大堆思想，然后查看以往的数据来验证这些想法是否合理，并形成一个假设。

方法二：或者你可以按照观察模式的演绎法，推导出一个测试假设。

无论哪种方式，形成强有力的假设最关键的部分是其背后的研究。让我们来看看观察模式的是如何形成一个强有力的假设的。

二、用观测法制定假设

观察数据

注意你的记录，那里可能藏着所有的关键数据。不过，这些数据都必须被提炼成一个合乎逻辑的假设。这将经历四个阶段：数据—信息—知识—智慧（在大环境下运用知识体系来推测事件缘由的能力）

显然，在数据方面具有一定程度的理解能力是构建结构良好的假设的关键。通过了解你的页面分析数据，并将其与你的业务目标对齐，可以将“简单的客观事实”或想法转化为一个结构良好的假设。就是这样：

分析你的页面

你的页面分析数据是你制定假设时的第一个停靠点。随着大量数据的跟踪，你可以找到与你网站当前状况明显相关的问题

例如，我们之前形成的“在支付页面上添加信任标识”的假设可能是由“页面的高退出率”引起的。页面的退出率以及其他指标可以在你的页面分析数据中找到。

Google Analytics（GA）和 Kissmetrics 等页面分析工具可以向你显示访问者浏览你的网页时留下的各类数据。其中，值得你跟踪以验证一个想法并建立一个假设的一些重要指标是：

• 流量报告：总流量，访客总数（总体和个别网页）等指标可以帮助你跟踪测试影响的人数，以及完成测试的时间。

• 获取用户报告：这可以帮助你确定访问者来自哪里（你的最佳流量来源）以及不同渠道之间的绩效差异。

• 登录页面报告：你的登陆页面和退出页面显示访问者如何进入和离开网站。

• 漏斗报告：这会让你了解访问者进入或退出营销渠道的问题，以及他们如何在不同页面之间导航。

• 设备类型：这将帮助你决定是否应该优先考虑优化特定设备上的体验。

对于你从分析中得到的任何观察结果，都要问自己足够多的“为什么”来形成一个可靠的假设。

将假设与业务目标校对

如果你有按照 SMART 原则（具体的，可衡量的，可实现的，与其他目标相关的，有时效的）来为你的业务设定目标，那么你应该确保你的假设也符合此原则。

首先确定你的企业或组织中最重要的目标是什么，然后把它们与现实的假设联系起来。

三、观察用户行为

现在你已经获得了情报，能够了解什么游客正在你的页面上做什么，那么接下来你自然而然地会需要知道为什么他们要这么做。设计主题不明确，文案撰写不明了，过早要求太多信息等因素可能会导致转换率低下。以下是可帮助你确定并消除问题的做法：

访客行为分析

检查当前访问者的行为可以帮助你确定转换过程中最紧迫问题的具体细节。

说到我们之前提及的信任标识假设——页面分析数据诚实地显示了有多少人从付款页面中选择了放弃付款直接离开，同时，利用用户行为分析工具，如 Heatmaps，Clickmaps，Mouse recording（国内的就不广告了自行百度吧）等还是可以分辨出他们在哪些模块花费了大部分时间，或是完全忽略了哪些模块。

四、留心用户意见

当你在设法搞出一个结构良好的假设时，你的分析（页面分析或用户行为分析）很有可能面临叙述谬误或确认偏倚的风险。这就是通过客户调查收集实时定量和定性数据的地方。调查主要有两种形式：现场调查和非现场调查。我们从简单的非现场调查开始。

非现场调查

简单来讲就是收集用户的反馈，其中非现场调查通过电子邮件或第三方调查网站来完成。

现场调查

现场调查的目的也是为了收集反馈信息，但却是实时的，通过一个弹出窗口之类的界面来接收用户的反馈。比如，当你的用户突然决定取消订单或者说放弃支付的时候，你就可以弹出一个窗口，并预先准备好一些可能的答案——举个栗子，订外卖下单以后取消的话，会有一个窗口来收集你取消订单的原因。此外，调查还可以通过某些用户操作（例如，使用内置的搜索功能，打开产品详细信息页面等）来触发，以收集关于特定功能的反馈。

这是一个很好的机制，可以更多地了解你的用户并验证你的假设，几乎是在与用户的直接交流中收集关于兴趣，态度或喜好的信息。

总的来说，在计划使用现场调查时，你可能想要考虑三件事情：

• 为什么要问这个问题：清楚地勾画出你正在进行调查的最终目标。例如，你是否想要反馈页面设计/内容/相关性/可信任程度等

• 什么时候问这个问题：在正确的时间提出正确的问题是很重要的。你可以查看页面，查看指标的平均时间，并向已经与你的网站/页面进行足够互动的访问者提问。

• 有哪些问题需要问：要问哪个问题很大程度上取决于你的最终目标。如果你正在进行客户满意度调查以获得有关文案/设计的见解，那么开放式问题就是很棒的选择。如果你想量化客户体验，那么测量净推荐值（NPS，又称净促进者得分，一种顾客忠诚度分析指标，常见问题“你向朋友推荐这个产品的可能性有多大？”）就可以做到。

形成一个结构良好的假设是转换优化难题中的一个关键部分，它可以帮助你识别并消除转换漏斗上造成用户流失的漏洞，也就达到了帮你确定合适的 A/B 测试内容的目的，进而让你的 AB 测试有了意义，让结果有了价值。