QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

独角兽 Duolingo 是如何用 A/B 测试增长到 2 亿用户的?(一)

  • 2020-04-05
  • 本文字数:1536 字

    阅读完需:约 5 分钟

独角兽Duolingo是如何用A/B测试增长到2亿用户的?(一)

Duolingo(多邻国)是一个免费为全球用户提供外语教育的公司,至今他们已有 2 亿活跃用户,提供超过 40 种语言的教育课程。通常情况下,负责 Duolingo 增长的副总裁 Gotthilf 的团队至少有 5 个以上的 A/B 测试实验在 App 中同时进行。通过不断对 App 的前端展示,消息通知以及文案进行 A/B 测试,Gotthilf 见证了 Duolingo 的用户数从 3 百万到 20 亿的增长全过程。本文会分享 Duolingo 做过的 4 个关键的 A/B 测试,以及 Duolingo 在进行 A/B 测试过程中的经验。

1:延迟注册

问题


几年前,多邻国开始解决一个对于初创 App 最为生死攸关的问题:是什么引起了漏斗模型中最顶层的用户流失(例如注册环节)?该如何阻止这一情况?


实验


“我们发现,下载、访问多邻国 App 的用户中,成为注册用户的数量大幅下降。很明显,用户的注册是很重要的行为——这说明他们将会再次回访 App,而且这个动作也表明我们有机会将一次访问转化成持续的、有价值的体验,”Gotthilf 说到。“这意味着我们可以向他们发送通知和邮件。所以,我们开始思考做些什么可以提升注册转化率”。


在 App 最初设计中,要求用户必须先注册才能体验多邻国的产品功能。如果把延迟用户注册的时机,让用户先体验一些核心产品功能,等到用户对 App 产生兴趣之后再让用户注册,是否能提升注册转化率呢?


“我们设计了一个简单的引导课程,让用户可以看到自己的基础技能如何,这样有些用户无需注册就可以先体验多邻国的产品,我们的注册指标获得了显著提升。” Gotthilf 说,“只是简单的将注册页面延后了几步,就让 DAU(日活跃用户数)提升了 20%。”


2:迭代优化

迭代优化是 A/B 测试中另一个关键点,Duolingo 并没有止步于这个 A/B 测试,他们在此基础上进行了新一组 A/B 测试,目标是将 DAU 进一步提升。他们自己提出了几个问题:“用户应该在什么时间注册?是在一个引导流程的中间还是结束时?用户应该怎么完成注册?”


他们也在观察页面本身的设计。“在某一刻我们想过,‘好吧,除了拿着这个界面走来走去,我们还能做些什么?’”。Gotthilf 说“在屏幕的底部有一个大大的红色按钮,文案写着‘放弃我的进度(Discard my progress)’”——基本意味着就是不要注册。’”’他们假设很多用户具有一种行为习惯:毫不思考的点击页面中最显著的按钮,在这种假设下,多邻国正在失去很多本来对产品有兴趣的用户。果然如此,通过把这个按钮换成一个更小的按钮设计,并将文案修改为“稍后(Later)”之后,改变发生了。


这一变化带来了“软墙(soft walls)”页面——这些页面会让用户完成注册,同时也允许用户继续浏览,点击“Later”按钮后,稍后再注册——此时,会打开一个新的页面或者区域,让用户继续体验。“现在,我们有 3 个软墙”,Gotthilf 说,“最终,在几个连续的引导流程之后,用户会抵达硬墙(hard wall)页面,在硬墙页面,如果你想继续使用产品,必须完成注册才可以”。这里有一个关键点:如果没有这些软墙,而只有硬墙,最终的数据表现会明显更差。”


通过优化软墙和硬墙来延迟注册,这些细微的改变一起将 DAU 再一次提升了 8.2%。“第一个试验是大约三年前开始的,现在我们的用户基础比之前更大。这一数字结果也已经是非常显著的”。

经验总结

01 第一步先观察用户的注册数据,发现注册转化率有提升的空间


02 第二步提出假设:延迟用户注册的时机,让用户先体验产品,看是否能提升注册转化率和 DAU


03 第三步做 A/B 测试,让一小部分用户先体验新的版本:即先体验产品功能、延迟注册时机,对比新老版本的注册转化率和 DAU,发现新版本有 20%提升之后,发布新版本至所有用户


04 第四步做更多的 A/B 测试:在新版本中设置 3 个产品试用环节,让用户有 3 次机会体验新产品之后再注册,测试之后发现新版本将注册转化率和 DAU 进一步提升 8.2%


2020-04-05 16:54874

评论

发布
暂无评论
发现更多内容

开源即时通讯IM框架MobileIMSDK的H5端开发快速入门

JackJiang

网络 即时通讯 即时通讯IM

深度学习应用篇-元学习[15]:基于度量的元学习:SNAIL、RN、PN、MN

汀丶人工智能

人工智能 深度学习 元学习 元强化学习 6 月 优质更文活动

中兴交换机如何配置?有哪些常用的配置命令,本文值得收藏!

wljslmz

6 月 优质更文活动

观测云版本上新|观测云 DataFlux Func 托管版正式发布

观测云

编程 可观测 观测云 可观测性用观测云

惊喜不间断,英特尔锐炫性价比拉满!

E科讯

DEVONthink Pro 3 for Mac:Mac强大的文档管理工具

背包客

macos 文档管理软件 Mac软件 DEVONthink Pro DEVONthink

【C/C++】extern 的一些注意事项

sidiot

c 6 月 优质更文活动

SUSE:强化零信任、自动化和易用性,筑牢云原生安全防线

Rancher

k8s security Kubernets

软件测试/测试开发丨Python 闭包函数&装饰器

测试人

Python 程序员 软件测试 装饰器 函数

Spring的核心概念:Spring基础框架及技术生态

互联网架构师小马

Java spring 框架

linux部署的几种方法

demo123567

部署 linux服务

WWDC2023 Session系列:探索XCode15新特性 | 京东云技术团队

京东科技开发者

xcode wwdc session WWDC 2023 企业号 6 月 PK 榜

Nautilus Chain测试网迎阶段性里程碑,模块化区块链拉开新序幕

西柚子

混沌演练状态下,如何降低应用的MTTR(平均恢复时间) | 京东云技术团队

京东科技开发者

混沌工程 系统安全 MTTR 企业号 6 月 PK 榜

hyorm框架进阶用法之框架的原生使用方法

demo123567

Java ORM 自主研发

从数字化出海到出海数字化,企业如何打造制胜的「锚」与「帆」?

Lily

聚焦企业实践一线与个体职业成长|2023开放原子全球开源峰会OSPO分论坛成功举办

开放原子开源基金会

开源 开放原子全球开源峰会 OSPO 开放原子

重拾梦想!语音交友源码平台搭建技术知识:在线KTV功能的实现

山东布谷科技

软件开发 在线KTV 源码搭建 语音交友源码

JavaOrm框架-基础文档

demo123567

Java ORM 自主研发

深入理解 ABAP Reference 变量

汪子熙

SAP abap Netweaver 6 月 优质更文活动

深度学习应用篇-元学习[16]:基于模型的元学习-Learning to Learn优化策略、Meta-Learner LSTM

汀丶人工智能

人工智能 深度学习 元学习 元强化学习 6 月 优质更文活动

STM32L0 ADC使用HAL库关于校准问题的说明

矜辰所致

STM32L051 ADC 6 月 优质更文活动

熟练使用git之git撤回操作

demo123567

git撤回

关于 SAP ABAP 字符变量和字符串变量字符个数的一个知识点,和一个血案

汪子熙

后台开发 abap Netweaver 字符串处理 6 月 优质更文活动

【Netty】「萌新入门」(三)ChannelFuture 与 CloseFuture

sidiot

Java 后端 Netty 6 月 优质更文活动

ChatGPT+Mermaid自然语言流程图形化产出小试 | 京东云技术团队

京东科技开发者

流程图 ChatGPT 企业号 6 月 PK 榜 Mermaid

OTalk Android 14 开发者交流专场,OPPO、字节跳动、喜马拉雅等大咖齐聚碰撞

科技热闻

快节奏升级,英特尔锐炫全力施展硬件性能

E科讯

NestJs 管道(Pipe)

小鑫同学

typescript 后端 nestjs 6 月 优质更文活动

Sentinel适配Reactor+WebFlux框架的实现原理

互联网架构师小马

Java reactor sentinel WebFlux

飞桨携手第二届GitLink开源夏令营,邀你参与顶尖开源项目!

飞桨PaddlePaddle

人工智能 百度 飞桨

独角兽Duolingo是如何用A/B测试增长到2亿用户的?(一)_文化 & 方法_云测数据_InfoQ精选文章