写点什么

独角兽 Duolingo 是如何用 A/B 测试增长到 2 亿用户的?(一)

  • 2020-04-05
  • 本文字数:1536 字

    阅读完需:约 5 分钟

独角兽Duolingo是如何用A/B测试增长到2亿用户的?(一)

Duolingo(多邻国)是一个免费为全球用户提供外语教育的公司,至今他们已有 2 亿活跃用户,提供超过 40 种语言的教育课程。通常情况下,负责 Duolingo 增长的副总裁 Gotthilf 的团队至少有 5 个以上的 A/B 测试实验在 App 中同时进行。通过不断对 App 的前端展示,消息通知以及文案进行 A/B 测试,Gotthilf 见证了 Duolingo 的用户数从 3 百万到 20 亿的增长全过程。本文会分享 Duolingo 做过的 4 个关键的 A/B 测试,以及 Duolingo 在进行 A/B 测试过程中的经验。

1:延迟注册

问题


几年前,多邻国开始解决一个对于初创 App 最为生死攸关的问题:是什么引起了漏斗模型中最顶层的用户流失(例如注册环节)?该如何阻止这一情况?


实验


“我们发现,下载、访问多邻国 App 的用户中,成为注册用户的数量大幅下降。很明显,用户的注册是很重要的行为——这说明他们将会再次回访 App,而且这个动作也表明我们有机会将一次访问转化成持续的、有价值的体验,”Gotthilf 说到。“这意味着我们可以向他们发送通知和邮件。所以,我们开始思考做些什么可以提升注册转化率”。


在 App 最初设计中,要求用户必须先注册才能体验多邻国的产品功能。如果把延迟用户注册的时机,让用户先体验一些核心产品功能,等到用户对 App 产生兴趣之后再让用户注册,是否能提升注册转化率呢?


“我们设计了一个简单的引导课程,让用户可以看到自己的基础技能如何,这样有些用户无需注册就可以先体验多邻国的产品,我们的注册指标获得了显著提升。” Gotthilf 说,“只是简单的将注册页面延后了几步,就让 DAU(日活跃用户数)提升了 20%。”


2:迭代优化

迭代优化是 A/B 测试中另一个关键点,Duolingo 并没有止步于这个 A/B 测试,他们在此基础上进行了新一组 A/B 测试,目标是将 DAU 进一步提升。他们自己提出了几个问题:“用户应该在什么时间注册?是在一个引导流程的中间还是结束时?用户应该怎么完成注册?”


他们也在观察页面本身的设计。“在某一刻我们想过,‘好吧,除了拿着这个界面走来走去,我们还能做些什么?’”。Gotthilf 说“在屏幕的底部有一个大大的红色按钮,文案写着‘放弃我的进度(Discard my progress)’”——基本意味着就是不要注册。’”’他们假设很多用户具有一种行为习惯:毫不思考的点击页面中最显著的按钮,在这种假设下,多邻国正在失去很多本来对产品有兴趣的用户。果然如此,通过把这个按钮换成一个更小的按钮设计,并将文案修改为“稍后(Later)”之后,改变发生了。


这一变化带来了“软墙(soft walls)”页面——这些页面会让用户完成注册,同时也允许用户继续浏览,点击“Later”按钮后,稍后再注册——此时,会打开一个新的页面或者区域,让用户继续体验。“现在,我们有 3 个软墙”,Gotthilf 说,“最终,在几个连续的引导流程之后,用户会抵达硬墙(hard wall)页面,在硬墙页面,如果你想继续使用产品,必须完成注册才可以”。这里有一个关键点:如果没有这些软墙,而只有硬墙,最终的数据表现会明显更差。”


通过优化软墙和硬墙来延迟注册,这些细微的改变一起将 DAU 再一次提升了 8.2%。“第一个试验是大约三年前开始的,现在我们的用户基础比之前更大。这一数字结果也已经是非常显著的”。

经验总结

01 第一步先观察用户的注册数据,发现注册转化率有提升的空间


02 第二步提出假设:延迟用户注册的时机,让用户先体验产品,看是否能提升注册转化率和 DAU


03 第三步做 A/B 测试,让一小部分用户先体验新的版本:即先体验产品功能、延迟注册时机,对比新老版本的注册转化率和 DAU,发现新版本有 20%提升之后,发布新版本至所有用户


04 第四步做更多的 A/B 测试:在新版本中设置 3 个产品试用环节,让用户有 3 次机会体验新产品之后再注册,测试之后发现新版本将注册转化率和 DAU 进一步提升 8.2%


2020-04-05 16:54909

评论

发布
暂无评论
发现更多内容

GitHub已开源—在国内外都被称为分布式理论+实践的巅峰之作

做梦都在改BUG

Java 数据库 分布式 系统设计 设计数据密集型应用

API First 再先一步,OpenAPI 定义被 openAI 定为 ChatGPT 插件标准

Apifox

人工智能 OpenAPI openai 开放api ChatGPT

牛客网2023Java最新面试宝典(附答案解析)正式开源

采菊东篱下

编程 java面试

团队RONG合三状态,您的团队是哪一种?

禅道项目管理

TiCDC 源码阅读(六)TiCDC Puller 模块介绍

TiDB 社区干货传送门

CVPR 2023 | 单阶段半监督目标检测SOTA:ARSL

飞桨PaddlePaddle

深度学习 目标检测 百度飞桨

tiup cluster display 执行流程代码详解

TiDB 社区干货传送门

实践案例 集群管理 故障排查/诊断 安装 & 部署

高频面试:如何解决MySQL主从复制延时问题

做梦都在改BUG

Java MySQL 面试 主从复制

阿里大佬倾情力荐:Java全线成长宝典,从P5到P8一应俱全

三十而立

Java java面试

基于FFmpeg和Wasm的Web端视频截帧方案

百度Geek说

ffmpeg webassembly 企业号 4 月 PK 榜 视频截帧

基于OCR进行Bert独立语义纠错实践

华为云开发者联盟

人工智能 华为云 OCR 华为云开发者联盟 企业号 4 月 PK 榜

“阿里味”的「Redis核心实践全彩手册」给你,还学不会就转行吧

做梦都在改BUG

Java 数据库 redis 缓存 面试

果然!GitHub上哄抢的500页微服务前后端分离开发手册,是出自Alibaba

做梦都在改BUG

Java 微服务 Spring Boot Vue 前后端分离

值得一看!阿里内部“M9”级别全彩版分布式实战笔记

做梦都在改BUG

Java 架构 分布式 分布式事务 微服务

“信创”滚滚而来,私有化或将迎来第二春

BeeWorks

StampedLock:JDK1.8中新增,比ReadWriteLock还快的锁

华为云开发者联盟

线程 开发 华为云 华为云开发者联盟 企业号 4 月 PK 榜

软件测试丨构建高效的Web自动化测试环境及Web自动化测试实战

测试人

软件测试 自动化测试 测试开发 Web自动化测试

瓴羊Quick BI连续入选魔力象限ABI报告,实至名归

流量猫猫头

MySQL架构与SQL执行流程

做梦都在改BUG

Java MySQL 数据库 SQL执行流程

开源即时通讯IM框架MobileIMSDK的微信小程序端开发快速入门

JackJiang

Stable Diffusion:一种新型的深度学习AIGC模型

GPU算力

文盘Rust -- 用Tokio实现简易任务池

TiDB 社区干货传送门

开发语言

华泰证券与易观千帆达成合作,促进数字用户活力

易观分析

金融 证券

HummerRisk 使用教程:操作审计

HummerCloud

云安全

DevEco Device Tool 3.1 Release新版本发布,新增资源管理器、SFTP、HDC

HarmonyOS开发者

HarmonyOS

从零学习SDK(3)如何安装和配置SDK

MobTech袤博科技

TiCDC 源码阅读(五)TiCDC 对 DDL 的处理和 Filter 解析

TiDB 社区干货传送门

TiCDC 源码阅读(七) TiCDC Sorter 模块揭秘

TiDB 社区干货传送门

ByteBase是什么,他怎么和tidb结合提高工作效率的

TiDB 社区干货传送门

实践案例

互联网大厂2700道Java高频面试题(2023年最新版)不管你工作几年,都可以看看

架构师之道

Java 编程

TiDB损坏多副本之有损恢复处理方法

TiDB 社区干货传送门

集群管理 6.x 实践 TiKV 底层架构

独角兽Duolingo是如何用A/B测试增长到2亿用户的?(一)_文化 & 方法_云测数据_InfoQ精选文章