萌新求教，A/B测试……怎么玩？

A/B 测试是一个绝妙的方法：它能为你的业务找到最佳的在线促销策略和营销战略。不管是网页编辑还是电子邮件营销（EDM），亦或是应用商店中的搜索广告，各种内容都能交给它来测试。并且，A/B 测试带来的优势足以抵消做测试所花费的额外时间。

一个精心策划的 A/B 测试可以在市场运营工作的有效性方面发挥巨大的作用。探寻促销活动中最有效的驱动因素，然后将它们结合起来，显然可以使市场运营工作更有利可图，更有把握成功成功。

如何策划一个 A/B 测试？

在规划 A / B 测试时，首先需要弄清楚你想要测试的内容是什么。如果你要测试某个 H5 页面的转化能力，就需要考虑网页上所有与销售相关的元素，然后找出你要测试的具体变量。具体，是指什么？且往下看。

你也可能正在测试你的活动广告或营销电子邮件：为了使你在做活动宣传时更加高效，你需要对活动文案、图片选择、排版设计等进行 A/B 测试以查看哪个方案能带来更多转化。EDM 也是一样。假设给你的潜在用户列表发送两个版本的 EDM，然后通过收集反馈来判断哪一个版本能带来更多的转化，那么你在下一次搞 EDM 的时候就可以只发送这个效果好的版本了。

当你清楚地知道你将要测试什么，你就可以列出所有要测试的变量。例如，如果要测试行为召唤（Call to Action），则可以列出：

行为召唤的位置；

使用的文字；

按钮颜色或与其他元素之间的间距；

A/B 测试是一个过程。在做出最终决定或最终更改之前，常常需要进行多次的 A/B 测试。

需要确保的是，在开始测试前你就应当对你所要探寻的结果有一个清晰的思路：必须表现的更好。你可以把当下已有的成果（就好比是“原版本”）当做你的对比标准。当你有了新的想法——姑且叫点子 A 和点子 B——不知道该怎么取舍，那就在 A 和 B 之间做个测试。但你必须确认，无论哪一个新点子在测试中表现得出色，都需要比你当前已有的成果（没有加入新点子的原版本）更好才行。当然，最好是把几个版本：没有改变的原版、加入点子 A 的版本 A 和加入点子 B 的版本 B 放在一起测试。

需要注意的是，各个测试需要同时运行，以规避时间变化引起的差异。由于你无法预计一个变量在今明两天之间发生的改变，因此你不能在今天测试版本 A 而明天测试版本 B。相反，在同一时刻下，你需要将流量分开来观察不同版本的表现。这一点，目前的第三方 A/B 测试工具都能做到。

用 A/B 测试改变你的预算

精确的 A/B 测试可以对你的预算产生巨大的影响。通过发起受控制的测试和收集各类经验数据，你可以确定哪些营销策略对公司或产品最有效。

例如，眼下有两个版本，可能你和你的团队都觉得版本 A 应该发挥的比 B 好，可是当你通过测试发现一个小小的差异使得版本 B 比“我觉得 ok”的版本 A 多了二，三，甚至四倍的增长时，没有测试就贸然决定使用什么版本的想法似乎就显得有点荒唐了。

译按：关于这种依靠“我觉得ok”的想法来拍脑瓜决定版本的事儿，这里有个经典案例：

《这样更新竟然降低了42%的下载量？》

如果有证据支持某个版本有效，而另一个版本不起作用，那么要做出决策毫无疑问会更加容易。并且这意味着你可以从一开始就选定更有效的方案从而大幅度消减预算。你唯一需要注意的就是要经常进行测试，因为任何事物的有效性都会随时间而变化。

需要测试的事儿

你几乎可以测试元素中的所有内容：标题，行为号召，图像等。只要你能改变它，你就能测试她。但这并不意味着你应当花费数月时间来测试每一件小事。相反，专注于那些最有可能产生重大影响的事情。因为如果你寄希望于事无巨细都用 A/B 测试来制定出一个最完美的版本，那将会耗费难以计数的时间。

在编辑的网页、网站上，这可能包括：

标题；

你的行为召唤（Call to Action）；

与销售工作直接相关的任何图形图像；

文案或产品说明；

在一封电子邮件中，需要测试的事儿同上面差不多。在广告中，特别是应用商店中的搜索广告中，受到篇幅限制只能放上更少的内容，因此测试可能集中在主标题或价格上。

测试不同的优惠也很重要。这有一个前提：确保你有方法让每个人总是被提供相同的促销。例如，如果 A 组提供免费礼物，并向 B 组提供折扣，那么你要使 A 组总是包含相同的访问者，B 组也是如此。

给测试点儿时间

A/B 测试并不是一蹴而就的。根据你所能获得的流量，你所需要的测试时间可能从几天到数周不等。

测试时间不足可能意味着不准确的结果，因为你缺少足够大的样本容量来保证统计学的准确性。但测试时间太长也可能会产生不可信的结果，因为随着测试时间增长，不可控因素会越来越多从而影响实验。故而，你或者你的数据分析师应当了解任何可能影响测试结果的内容，以便当查看结果时可以对出现的统计异常做出解释。当然，针对无法解释的异变，重新进行 A/B 测试是完全可以的——这可能需要再花费几周时间来得到正确的反馈，但是考虑到 A / B 测试可能对您的预算造成的影响，再次测试是值得的。切记，一次只测试一个变量，并给每个测试足够的时间运行。

译按：当然。并不是所有情境都允许你这么搞。如果你发现，由于流量不够多，做完各个测试将要耗费过多的时间，那么我们推荐你试试流量分层机制。关注我们并回复“流量分层”即可了解这一机制。

可否同时测试多个变量？

这个问题有两种理解。

第一。假设你只想测试你的标题，但是你有三个点子。在这种情况下，运行单次测试并将您的访问者（或电子邮件中的收件人）分为三组而不是两组是合理的，并且这仍然被视为 A/B 测试。这可能需要额外的几天来运行测试，以便收集足够的数据来保证结果的准确性。

译按：实际上，AB测试并不意味着一个实验一定就只能测试两个版本。对于大部分App而言，由于流量和时间的限制，无法慢慢给大量变量挨个儿做实验。因此在提高指标（比如转化率、增长、点击率等等）这一目标面前，直接同时测试多个版本以找到做的最好的版本才是常见的方案。

如果想尝试一下的话，可以翻到文末，通过活动通告了解更多。

第二。一次测试一个以上的元素——比如标题和按钮——那么这就是一个多变量测试，运行更复杂。有很多资源用于多变量测试，但是在谈论 A/B 测试时将不会介绍。

译者：作者的话到这里就结束了，但是这并不代表我们没有办法解决多变量同时测试的问题。实际上，使用同层互斥能力，这将轻松解决。在 《揭开Testin A/B测试流量层的神秘面纱》一文中，我们就结合情境详细分析了处理办法，点击上面的这个标题，即可查看。