在美国，A/B测试的理念、工具，与实践早已践行多年。在中国，除去BAT以及部分超大流量产品以外，大部分产品都还处于对A/B测试想要了解，却又不知道如何从实践中入手的阶段。36氪作者Raina梦雨编译的这篇文章，可以帮助你对A/B测试理念的入门有一个基本了解。我们对其进行了精简编辑，并分享给你。

“不测量，无市场”，这是我一直信奉的信条。公司的存亡依靠的是公司的灵活性和他们多大程度满足顾客的需求。但首先有个经久不衰的问题需要解答：“我怎么知道顾客想要什么？”如果你是乔布斯，或许可以放心大胆地说“顾客想要什么并不是顾客的工作”，但我们不是乔，所以我们需要A/B测试。

在开始之前，有一个有关A/B测试的规则必须记得：不要一次测试多个变量。这会影响测试中的基准控制。

如何开始

在A/B 测试开始之前，你必须首先要了解你广告的重点在哪里，什么是你做广告的主要目的？你是想要点击量，想让用户加入你的邮箱列表，还是想让他们走进店里消费优惠券？如果没有清楚定义好的目标，A/B测试结果不会起太大作用，日后的改进也会变得更加困难。

现在，假设你是一个开摄影工作室的，想做一个返校优惠，在Facebook上打广告，为家庭提供20%的服务优惠。这个广告的标题应该为“Back-to-School优惠”，这可以作为广告A。而广告B的标题可以是“十一之前打八折！”

在这个案例中，你可以测试哪一个广告得分高（如，获得更高的点击量），并开始测试针对这个广告的改进版本。如果广告A得分高，你可以开始对这个广告进行提炼，让广告A不再变化，成为你广告的控制组，即之后广告改进的基准。我常常会做两组以上的测试，将广告B换一下，以确保测试的正确性。

在你确定好了广告的控制组后，A/B测试才真正开始。广告的标题会是你想一遍遍测试的要素，而“免费！”的效果其实不一定有你想象得这么好。

同样地，除了标题，你还会不断地想更新迭代你的广告文案，但你需要始终牢记你的最终目的。如果广告C表现得比B好，但又没有A这么好，你需要知道B和C之间改变的要素是什么。如果可以剖析比较广告A和C，那么就可以将两个广告中好的成分组合成为一个广告D。而一旦D出现并试运行，也是创造广告E和F的时候了，你可以进一步完善你的广告消息。

测试多少个样本？

A/B测试者通常会问：一共需要多少个样本？越多越好。你跑的样本量越大，结果就会越精确。但为了计算容易，至少要保证每一个测试组拥有100次点击。在这之后，你就会有反映这个广告比其他广告更好的清晰数据，然后可以暂停表现不佳的广告并开始下一组的A/B测试。

Google Adwords和Facebook都提供A/B测试服务，而提供这一服务的其他广告服务上应该不在少数。

在A/B测试当中还要谨记的是，你会获得各种不同的见解和洞察，最好将这些洞察在心中铭记一年。广告就像头从不被喂饱的野兽。一旦你已经将广告改好并呈现了最好的状态，你就该创造新的广告了，因为你的目标群体已经看过原版广告的多个版本，而顾客可是很善变的。

但当你开始创造下一系列广告时，你并不需要重头开始，你可以通过之前的A/B测试中获得的经验进行比较。如果一张“打八折”字样的图对于你的目标群体来说很有效，那么你可以在下个广告中对图片颜色、字型、字体大小等进行修改，然后再重新开始测量和改进过程。在有效的图片上对顾客做进一步的刺激。

如果是要为网站做A/B测试网站内的元素呢？

如果你能回想起Google在06年推出的网站优化工具，那就是网站做A/B测试的方向。不过，这个工具要求用户写两组代码，对于非开发者（比如营销人员）来说，他们需要额外地找开发团队帮他们调整其中的一两个元素，是个比较棘手的问题。

Tip：当然，对于我们云测来说，这种问题是不存在的，使用可视化编辑，产品和运营也能轻松搞定网站AB测试

在哪里使用A/B测试

用户体验上的A/B测试机会是无止境的。考虑“立即购买！（Buy Now！）”按钮在主页上效果不佳的情况，可以尝试改变按钮的形状、大小、颜色或者位置，作为变量B进行A/B测量。看看这些按钮对于用户来说是推销的辞令还是欢迎的信号。

如果你的网站还在早期的发展阶段，尝试做一些大的改变，并查看你入站流量的反应。

去年在我做的一个项目中，就发生过奇怪的事。我们改变了一个非常小的要素，将“联系我们”的标签从左边移到了右边，结果带来了点击量、兴趣和最终销售额的显著增长。为什么会这样？我也不知道，但我知道数据不说谎。绝对不要低估用户的力量，并且要懂得，一个小小的改变也可能带来很大的不同。

如果不相信我说的，可以想想Google，他们当初可是连工具栏上的颜色选择也要A/B测试。

“局部最大”问题

尽管我一直讲A/B测试的好处，但在最后我要说的是，在A/B测试中，我们可以很容易地专注于微观细节，但有时候问题在宏观问题上。

来自HubSpot的Steve Hass曾经告诉我有关Josh Porter提出的“局部最大”概念。“局部最大”指的是你在现有设计中所能改善的最大值。改善的有效性只能建立在目前版本之上。所以即使你做了100个调整，也只能提高这么多。就好像你可以一改再改，但发出的箭只能抵御这么大的风，而你能做的就是改变箭发出的方向。

所以如果你已经做了你能做的改进，并已经达到了“局部最大”，那你应该做什么呢？

Porter指出，到了这个阶段，就可以“停止优化，并回到其他方面的分析，看看下一步能做些什么。主持面谈，做用户测试，问卷调查，问问题。”这些工具都是传统上帮助考虑“顾客想要什么”这一策略的。这个阶段应该考虑的是这些，而不是再做A/B测试。

这里讲到的仅仅是A/B测试的皮毛，实际上A/B测试还可以用在产品设计、电商销售以及价格策略的规划等等。A/B测试的美好在于，你的顾客正一直为你提供关于他们的最好信息，为何不尽情地将这些信息为自己所用呢？这是A/B测试所带来的好心态。

Via
TNW

创作场景

大家都在说的 A/B 测试到底应该怎么做？