在美国,A/B测试的理念、工具,与实践早已践行多年。在中国,除去BAT以及部分超大流量产品以外,大部分产品都还处于对A/B测试想要了解,却又不知道如何从实践中入手的阶段。36氪作者Raina梦雨编译的这篇文章,可以帮助你对A/B测试理念的入门有一个基本了解。我们对其进行了精简编辑,并分享给你。
“不测量,无市场”,这是我一直信奉的信条。公司的存亡依靠的是公司的灵活性和他们多大程度满足顾客的需求。但首先有个经久不衰的问题需要解答:“我怎么知道顾客想要什么?”如果你是乔布斯,或许可以放心大胆地说“顾客想要什么并不是顾客的工作”,但我们不是乔,所以我们需要 A/B 测试。
在开始之前,有一个有关 A/B 测试的规则必须记得:不要一次测试多个变量。这会影响测试中的基准控制。
如何开始
在 A/B 测试开始之前,你必须首先要了解你广告的重点在哪里,什么是你做广告的主要目的?你是想要点击量,想让用户加入你的邮箱列表,还是想让他们走进店里消费优惠券?如果没有清楚定义好的目标,A/B 测试结果不会起太大作用,日后的改进也会变得更加困难。
现在,假设你是一个开摄影工作室的,想做一个返校优惠,在 Facebook 上打广告,为家庭提供 20%的服务优惠。这个广告的标题应该为“Back-to-School 优惠”,这可以作为广告 A。而广告 B 的标题可以是“十一之前打八折!”
在这个案例中,你可以测试哪一个广告得分高(如,获得更高的点击量),并开始测试针对这个广告的改进版本。如果广告 A 得分高,你可以开始对这个广告进行提炼,让广告 A 不再变化,成为你广告的控制组,即之后广告改进的基准。我常常会做两组以上的测试,将广告 B 换一下,以确保测试的正确性。
在你确定好了广告的控制组后,A/B 测试才真正开始。广告的标题会是你想一遍遍测试的要素,而“免费!”的效果其实不一定有你想象得这么好。
同样地,除了标题,你还会不断地想更新迭代你的广告文案,但你需要始终牢记你的最终目的。如果广告 C 表现得比 B 好,但又没有 A 这么好,你需要知道 B 和 C 之间改变的要素是什么。如果可以剖析比较广告 A 和 C,那么就可以将两个广告中好的成分组合成为一个广告 D。而一旦 D 出现并试运行,也是创造广告 E 和 F 的时候了,你可以进一步完善你的广告消息。
测试多少个样本?
A/B 测试者通常会问:一共需要多少个样本?越多越好。你跑的样本量越大,结果就会越精确。但为了计算容易,至少要保证每一个测试组拥有 100 次点击。在这之后,你就会有反映这个广告比其他广告更好的清晰数据,然后可以暂停表现不佳的广告并开始下一组的 A/B 测试。
Google Adwords 和 Facebook 都提供 A/B 测试服务,而提供这一服务的其他广告服务上应该不在少数。
在 A/B 测试当中还要谨记的是,你会获得各种不同的见解和洞察,最好将这些洞察在心中铭记一年。广告就像头从不被喂饱的野兽。一旦你已经将广告改好并呈现了最好的状态,你就该创造新的广告了,因为你的目标群体已经看过原版广告的多个版本,而顾客可是很善变的。
但当你开始创造下一系列广告时,你并不需要重头开始,你可以通过之前的 A/B 测试中获得的经验进行比较。如果一张“打八折”字样的图对于你的目标群体来说很有效,那么你可以在下个广告中对图片颜色、字型、字体大小等进行修改,然后再重新开始测量和改进过程。在有效的图片上对顾客做进一步的刺激。
如果是要为网站做 A/B 测试网站内的元素呢?
如果你能回想起 Google 在 06 年推出的网站优化工具,那就是网站做 A/B 测试的方向。不过,这个工具要求用户写两组代码,对于非开发者(比如营销人员)来说,他们需要额外地找开发团队帮他们调整其中的一两个元素,是个比较棘手的问题。
Tip:当然,对于我们云测来说,这种问题是不存在的,使用可视化编辑,产品和运营也能轻松搞定网站 AB 测试
在哪里使用 A/B 测试
用户体验上的 A/B 测试机会是无止境的。考虑“立即购买!(Buy Now!)”按钮在主页上效果不佳的情况,可以尝试改变按钮的形状、大小、颜色或者位置,作为变量 B 进行 A/B 测量。看看这些按钮对于用户来说是推销的辞令还是欢迎的信号。
如果你的网站还在早期的发展阶段,尝试做一些大的改变,并查看你入站流量的反应。
去年在我做的一个项目中,就发生过奇怪的事。我们改变了一个非常小的要素,将“联系我们”的标签从左边移到了右边,结果带来了点击量、兴趣和最终销售额的显著增长。为什么会这样?我也不知道,但我知道数据不说谎。绝对不要低估用户的力量,并且要懂得,一个小小的改变也可能带来很大的不同。
如果不相信我说的,可以想想 Google,他们当初可是连工具栏上的颜色选择也要 A/B 测试。
“局部最大”问题
尽管我一直讲 A/B 测试的好处,但在最后我要说的是,在 A/B 测试中,我们可以很容易地专注于微观细节,但有时候问题在宏观问题上。
来自 HubSpot 的 Steve Hass 曾经告诉我有关 Josh Porter 提出的“局部最大”概念。“局部最大”指的是你在现有设计中所能改善的最大值。改善的有效性只能建立在目前版本之上。所以即使你做了 100 个调整,也只能提高这么多。就好像你可以一改再改,但发出的箭只能抵御这么大的风,而你能做的就是改变箭发出的方向。
所以如果你已经做了你能做的改进,并已经达到了“局部最大”,那你应该做什么呢?
Porter 指出,到了这个阶段,就可以“停止优化,并回到其他方面的分析,看看下一步能做些什么。主持面谈,做用户测试,问卷调查,问问题。”这些工具都是传统上帮助考虑“顾客想要什么”这一策略的。这个阶段应该考虑的是这些,而不是再做 A/B 测试。
这里讲到的仅仅是 A/B 测试的皮毛,实际上 A/B 测试还可以用在产品设计、电商销售以及价格策略的规划等等。A/B 测试的美好在于,你的顾客正一直为你提供关于他们的最好信息,为何不尽情地将这些信息为自己所用呢?这是 A/B 测试所带来的好心态。
Via
TNW
评论