在Hacker News上，有人妄言，A / B测试已经变成了像万金油一样的存在，以至于夸下海口承诺A/B测试将会是提高转换率的灵丹妙药。这个评论困扰着我，不是因为评论者的错误之处（虽然他确实错了），而是因为某些人对A / B测试的看法。让我直截了当地说清楚：

#1 A / B测试并不能“保证”销售和转换的增加

事实上，我们在Appsumo的上发表了一篇特邀嘉宾的文章，据他们透露，运行的8个A/B测试中只有1个认可了有改进意义的结果。是的，再看一遍：8个A/B测试测试中只有1个有效。万金油能包治百病， A/B测试显然并不是这样被被神化的存在。

我觉得，有些人会 误以为“A/B测试就是用来提高销售、提高转化的”，是因为我们发布了很多的A/B测试成功案例研究。

事实上，我们的用户数量如此庞大（在写作时已超过6000人），我们确实看到许多客户通过A/B测试来获得良好的效果。而如果他们想与世界分享这些结果，我们自然会将其发布到我们的博客上。

因此，当我们在某一周发布了一个名为“3个简单的变化增加了15％的销售量”这样的的案例研究，下周我们又发布了另一个案例研究“名为WriteWork.com如何将销售额增加了50％”，这自然使人们认为，使用A / B测试将确保销售增长

——不，使用A/B测试不能保证任何东西。这只是一个控制变量的 测试工具（虽然是一个非常好的工具），但是做实际工作的总是工匠，而不是他/她所使用的工具。这就像揭开了掩盖着“真相”的“幕布”一般。使用者已经做好了新的版本（或是页面），这个新版本对转化的影响是“真相”。可是在发布前，我们都不知道这个“真相”是什么，就好像盖着块“幕布”。A/B测试则是揭开“幕布”的工具，用来 帮你事先检测这个新版到底是会提高转化，还是会造成降低转化的可怕后果，了解“真相”，进而决定是否发布。没错，A/B测试并不影响“真相”，真正对转化造成影响的，是使用者的设计，是设计出的新版本本身。

#2 造成误解的原因探索：幸存者偏差

你在互联网上阅读的大多数成功案例或案例研究（不管是关于A/B测试、一夜暴富还是减肥、养生鸡汤）都会在无形之中受到一些心理学方面的问题的困扰，如幸存者偏差。在A / B测试中，它意味着这样一个很简单的现实：

“如果您运行100个不同的A / B测试，并且只有其中一个证明新版本可以取得良好的结果，那么您只会发布关于这个好结果的信息，而不会发布其他99个被证明是无用的版本更迭的结果。

很显然，若是发布99个关于使用A / B测试发现版本更迭没有产生任何效果的案例研究，将会让我们的读者感到厌烦，我们也不愿意见到这类负能量充斥网络。

#3 那么为什么要发布A / B测试案例研究呢？

首先，我们发布A / B测试案例研究的原因是为了展示使用A / B测试可以实现的潜力。这与举办毕加索的绘画艺术展相似，通过让人们欣赏作品，刺激人们的艺术细胞。也许会有观看者内心期盼着能达到不错的水准，拿起画笔开始学习作画。重申一下，就像拿画笔和画布不能保证一定能创作精彩的美术作品一样，做A/B测试也不能保证销量的增加。

其次，事实上，那些验证了巨大改变的A/B测试，其他用户直接复制它们几乎从来没有取得那样的奇效。因此，如果您阅读了类似“如何将转化次数增加46％”的案例研究，然后在您的站点上依葫芦画瓢儿，希望获得相同的魔术般的增长——那么可能会发生奇迹，也可能啥都不会发生。

因为对他们有效的改变可能并不适合你！

那么，为什么还要发这样的成功案例研究呢？原因如下：

A/B测试案例研究提供了可以在您的页面或者产品上进行尝试的思路。

是的，展示A/B测试的强大潜力，并且提供更多的测试思路 ——这就是A/B测试案例研究的意义。

而且，我希望我能提醒你：别误会，A/B测试并不是万金油！

创作场景

它不是万金油，却是增长黑客必不可少的鉴别利器