任何时候, Pinterest 都运行着数以百计的 A/B“试验(experiment)”,其 JavaScript 测试框架已无法满足他们的试验需求。它需要 15 分钟才能完成整套“测试(test)”,而且经常会因为试验行为变更以及网络 / 浏览器问题而中断。因此,他们借机重构了 Web 测试框架,并于近日在官方博客上介绍了其中几项重点改进。
新框架名为 Affogato ,架构如下:
他们主要从以下几个方面进行了改进:
- 速度——他们曾试图通过在多个并行的 Headless 浏览器中运行 JavaScript 测试框架来实现优化。但这种方法未能解决整套测试耗时过长的问题,而且还会导致不可预测的机器资源争用问题。后来,他们选择了 jsdom 。这是一个 node.js 命令行工具,实现了 WHATWG DOM 和 HTML 标准。在他们内部进行的大部分基准测试中,测试速度提升了 5 到 20 倍。其中,“DOM 操作多(DOM-heavy)”的测试性能提升最大。另外,鉴于他们的构建系统可以利用任意数量的处理器内核,他们将整套测试分成了多个小块。
- 可靠性——为了降低数据查找和网络传输代价,他们使用了测试“固件(fixture)”。所谓固件,就是一些包含 JSON 数据的文件。这些数据描述了需要测试的对象。测试框架使用固件创建恰当的“模拟对象(mock object)”,使他们无需编写实例化模拟对象的样板代码就可以测试对象的不同状态。另外,当进行服务器端调用时,可能会因为网络暂时不可用导致测试失败。为了避免这种情况,他们实现了一个 XHR 记录器,监听 Ajax 请求,并将响应写入文件,用于稍后重放。该记录器使测试时间平均减少了 30%。
- 易用性——他们封装了 Mocha 框架,添加了许多语法糖,使它很容易运行任意数量的试验(它们是给定测试的一部分)。而借助 Sinon.JS 及其沙盒,每次测试完成后,整个环境都可以自动完成清理。他们还使用 ES6 Promise 简化了异步测试的编写。
经过上述改进,他们 1 分钟就可以完成先前需要 15 分钟才能完成的测试。而且,3 个月的使用表明,该测试框架的可靠性也有了很大的改善。
感谢郭蕾对本文的审校。
给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。
评论