10 月,开发者不可错过的开源大数据大会-2021 WeDataSphere 社区大会深圳站 了解详情
写点什么

未拟定假设的 A/B 测试注定是失败的

2015 年 2 月 06 日

如果要进行一次旅行,那么首先应该知道目的地。A/B 测试也是如此。来自 CROmetrics 的网页转化率优化顾问 Brian Schmitt 曾经说过这样一句话:

如果你不能说明执行测试的原因,那么你很可能需要检查下,为什么测试及测试什么。

Shana Rusonis 是 A/B 测试服务公司 Optimizely 的一名内容营销人员。她持同样的观点,认为拟定假设是执行测试的一个必备步骤。近日,她发表了一篇博文,探讨了假设定义、假设在测试流程中的位置以及充分假设的意义等几个方面的问题。

按照她的说法,假设是测试执行前的预测,它清楚地描述了下列问题:

  • 什么发生了改变?
  • 预期会产生什么结果?
  • 为什么会有这种预期?

而执行测试就是对假设的证明或反驳。

对应上述问题,假设由三部分组成,遵循“如果 ____,那么 ____,因为 ____。”这样一种模式。下面是假设的三个要素,测试人员应该在构建并开始测试之前研究拟定并形成文档记录:

  • 变量——网站或移动应用上的一个元素,修改、添加或移除会产生预期的结果。网站或应用分析可以帮助测试人员确定网站中性能低下的页面,告诉他们应该从哪里寻找需要改变的元素。
  • 结果——就是预期结果,可能更多的体现在网页转化率、按钮点击次数或者测试人员试图影响的其它 KPI 或指标上。在测试之前,应该根据基准指标确定理想的结果。
  • 理由——证明假设是经过研究拟定的,说明为什么要进行这项测试以及通过测试可以了解什么。测试人员可以通过调查问卷、热图、用户测试等定性工具确定用户与网站或应用的交互行为。

然而,Shana 指出,经过充分研究后拟定的假设并不能保证测试的成功。它只能保证一次学习机会。但即使测试结果证明前期的假设不正确,测试人员仍然可以从中知道这种改变并不适合他们的网站或应用。这样,他们就可以继续拟定新的假设,并找到适合自己的最佳方案。这里有一个小技巧,就是:

用文档记录研究过程和假设。在团队内发布测试结果时,记得连同关键测试指标一起分享假设。测试假设库在未来的测试中将成为非常有价值的参考。

此外,Shana 还结合 Optimizely 优化负责人 Kyle Rush 的测试流程介绍了假设在其中的位置。该流程包括如下八个步骤:

  1. 识别目标和关键指标;
  2. 拟定假设;
  3. 根据样本数量评估测试持续时间;
  4. 根据预计 ROI 排定测试优先级;
  5. 测试质量保证;
  6. 启动测试;
  7. 记录和分享结果;
  8. 考虑重新测试。

对于以上步骤,Shana 认为,步骤 1 和 4 同假设一样重要。同时,她还特别指出,不是所有的假设都是同等重要的。团队可能会有一个有趣的想法,或者可能会有不同意见,但那不一定就是最需要测试的事情。优先级排序和测试应该针对网站或应用中对业务的潜在影响比较大的部分进行。测试人员可以通过分析确定这些部分,然后重点拟定假设,为改进它们提供支持。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015 年 2 月 06 日 10:551215
用户头像

发布了 1008 篇内容, 共 325.1 次阅读, 收获喜欢 297 次。

关注

评论

发布
暂无评论
发现更多内容

【得物技术】得物App Android Crash治理演进

得物技术

发展 日志 进程 Crash 崩溃

术,路,心:陈天桥的大脑行旅

脑极体

VMware中安装的Ubuntu启动时出现A start job is running for raise network interfaces...

Mike

解析区块链技术如何帮助企业加速数字转型?

CECBC区块链专委会

仓储管理系统开发介绍

(王经理)专业app小程序开发

从350ms到80ms,揭秘阿里工程师 iOS 短视频优化方案

阿里云视频云

ios 短视频 视频 视频处理 视频流

学术顶会再突破!计算平台MaxCompute论文入选国际顶会VLDB 2021

阿里云大数据AI技术

好身体是吃出来的

石云升

健康 8月日更

极光开发者周刊【No.0827】

极光开发者

这几道Java岗面试题,刷掉了大厂面试80%以上的程序员

Java技术那些事

Java 编程 程序员 面试

工业互联网如何加速释放赋能价值?工业智能是关键

浪潮云

云计算

24位出品人已确认,开放原子全球开发者峰会(OADC)分论坛速览(更新中)

开放原子开源基金会

Python代码阅读(第19篇):合并多个字典

Felix

Python 编程 Code Programing 阅读代码

价值连城 图灵奖得主Yann LeCun 杨立昆的采访 给AI从业者的建议 John 易筋 ARTS 打卡 Week 61

John(易筋)

ARTS 打卡计划

备战金九银十!先来看看蚂蚁金服面试会问啥?秋招蚂蚁金服Java研发岗面经

Java技术那些事

Java 编程 程序员 面试 金九银十

ipfs矿机怎么买?ipfs矿机怎么获取?

ipfs矿机怎么买 ipfs矿机怎么获取

ipfs矿机怎样选?ipfs矿机多少钱一台?

分布式存储 IPFS ipfs挖矿 ipfs矿机 filecoin挖矿

GaussDB(for Redis)与原生Redis的性能对比

华为云数据库小助手

redis GaussDB GaussDB ( for Redis ) 华为云数据库

笔记分享 -- 弱网下的极限实时视频通信

声网Agora

音视频 端到端 极限视频通信 弱网

强强联合!北鲲云与宝德就打造混合云HPC解决方案达成战略合作

北鲲云

ZEGO 教程 | RTC + AI 视觉的最佳实践(移动端)

ZEGO即构

RTC 滤镜 AI视觉

ARM工控主板比X86工控主板好吗?

双赞工控

fil矿机怎么买?fil矿机厂商最强哪家?

分布式存储 IPFS Filecoin filecoin挖矿 filecoin矿机

区块链溯源:重塑咖啡产业链

CECBC区块链专委会

阿里第七次更新的Java面试突击宝典,已累计拿到759份Offer

Java 程序员 架构 面试 后端

我为什么坚持六点起床

月哥

区块链蕴含的变革力

CECBC区块链专委会

命中率高达87%,GitHub收费下载超过28W次的Java面试题库外泄

Java架构师迁哥

网络攻防学习笔记 Day118

穿过生命散发芬芳

网络安全 8月日更

“腾讯待办”小程序正式发布!初次见面,请多指教。

【虚拟机专栏】熟悉的新朋友 - 链上JVM

趣链科技

区块链

未拟定假设的A/B测试注定是失败的-InfoQ