2018 年测试状态报告

关键要点

• 测试行业在不断发展，测试人员的工作内容已经扩展到远远超出他们之前的专业领域。
• 另一方面，测试人员和他们的任务与开发团队越来越紧密，或者说被同化了。
• 仍然有大量的测人人员流入这一行业，我们也看到经验丰富的测试人员经历了漫长且富有成效的职业生涯。
• 测试人员的角色不仅是检查质量，还要通过教育其他“非测试人员”角色来加速它的演化。
• 测试状态报告将继续关注测试领域的发展趋势，并了解其不断变化的局势。

“ 2018 年测试状态报告”提供了有关测试技术采用、实践、测试自动化以及测试人员面临的挑战的见解，分享了来自 PractiTest 的 Joel Montvelisky 和来自 Tea-Time with Testers 的 Lalit Bhamare 共同组织的 2018 年测试问卷调查结果。

以下内容来自 2018 年测试状态报告：

该测试状态报告是全球规模最大的测试问卷调查，涉及来自 80 多个国家的约 1,500 名参与者，旨在提供准确的测试行业和全球测试社区相关信息。该调查每年举行一次，也会记录当前和未来的趋势。

这次是第五次调查。因为大多数问题与之前的调查类似，所以可以借此了解到测试行业的发展趋势。还有一些新的问题从不同角度和测试技术层面提供了新的见解。

InfoQ 采访了这次测试状态问卷调查的组织者。

InfoQ：与以前的报告相比，2018 年的测试状态报告有哪些重大变化？

Lalit Bhamare：对我而言，最大的变化是看到测试人员的任务越来越多，而在传统上，这些任务不属于测试活动。但是，我认为这种变化是正向的，并且展现了测试者角色的多面性。

这让我感到更加好奇，在未来几年，这将会把测试人员及其对产品开发的贡献引向哪里？

Joel Montvelisky：我们正在目睹测试的演变，我们正在扩大我们的职责和我们的工作内容（例如，我们开始将监控生产环境作为质量检测任务的一部分）。我们也看到了被测试的技术和产品类型的变化。

我相信这种测试演变最终将引导我们成为更偏向技术的测试人员，与开发人员更加亲密合作，以更多样的方式帮助他们提升产品质量，而不只是在系统开发完之后对其进行测试。

InfoQ：今年的调查有一个新问题：测试方面的工作所占的百分比。结果是怎样的？

Montvelisky：把这个问题与问卷调查中的其他问题放在一起会更好理解，例如由非测试人员完成的测试的百分比，或者你在工作中完成了哪些其他任务……

当然，单独看待这个问题，我们得到了一组有趣的数据。接近 25％的受访者表示，对他们而言，测试在他们的工作中所占的比重不到 50％。换句话说，我们有 1/4 的受访者表示他们至少有一半时间在做其他工作。因此，我们似乎正在发生转移（或者我更喜欢将其视为扩展！）到其他领域，例如监控生产环境、指导开发人员、与客户沟通，甚至在某些情况下为他们的应用程序编写代码。

不过，对我来说，最有意思的是可以选择在未来的调查中继续比较这方面的数据，看看这些数字将发生怎样的变化。

Bhamare：Joel 已经说了最关键的部分。不过，我觉得如果我们把针对这个问题的答案和测试人员所做的其他任务结合在一起看，我们可以更全面地了解真实情况。

42％的受访者正在提供测试指导和咨询，作为他们工作的一部分，这与典型的 9-6 测试工作非常不一样。可以想象，一个测试人员为这项额外工作需要付出的努力和需要具备的专业知识水平。如果这种趋势继续增长，那么我们的未来会非常光明。

InfoQ：世界各地测试人员的薪水是怎样的？

Bhamare：我看到的是薪水有所增加，但很大程度上取决于测试人员的技能和经验。我们不要忘记了地域也是一个很重要的因素。

对于世界某些地区来说，增长幅度不大，而对于某些地区来说，这种增长是稳定而明显的。

Montvelisky：我认为，在各年的调查中，这是变数最大的问题之一，今年也不例外。

有一些地区的薪水增加了，有些地区几乎保持不变，还有一些地区只能将其称为工资的更正（接近较低的薪资水平）。

总的来说，我看到大多数地区的测试人员薪资和经验水平都有所增长。

InfoQ：测试是如何被嵌入到组织中的？

Montvelisky：报告趋势表明，测试团队变得越来越小，在组织内部（在很多情况下直接在 Scrum 或敏捷团队内部）传播开，直接向 QA 总监或副总裁以外的职能部门报告，并更多地向开发职能部门提供服务。

感觉好像我们最终推倒了曾经将我们与开发兄弟分隔开的那道组织墙。

但这似乎并不是普遍现象，独立测试团队在一些组织中仍然有很强的势力，这些组织因为某些实际问题而没有跳上敏捷或精益的大班车。

Bhamare：从我的角度来看，有明确的迹象表明，分散 QA/ 测试部门，并将专门的测试人员嵌入到项目团队的情况正变得越来越普遍。当然，根据组织商业模式的不同，这种情况看起来也不同，但如果要讨论“趋势”，那么“项目团队的专门测试人员”对我来说似乎是一个明智之举。

InfoQ：该报告提到了回顾会议的显著增加，是什么导致了这种情况，以及会有什么样的后果？

Bhamare：这与我所说的测试人员角色的多面性以及他们对项目团队的贡献有关。

从他们的工作角色以及他们所拥有的能力的性质来看，我觉得测试人员具有很好的观察技能，可以帮助项目团队提高产品质量。这些观察结果可以是系统级别、应用程序级别、人员级别的，重点是，最好要有人“观察”事物，分析它们并以某种形式将它们呈现出来，让团队成员能够从不同的角度看待问题。

有经验的测试人员凭借其敏锐的观察技能可以让回顾变得更加有效。正如 Jerry Weinberg 在他的“通过反馈循环控制系统的崩溃”理论中解释的那样，“早行动，小步跑”是非常关键的，而测试人员无疑是让反馈循环成为控制器的最佳人选。这就是我对整个回顾过程的看法。

Montvelisky：我们再次看到测试人员加入 Scrum 和敏捷团队并参与团队活动的迹象。

同时这也表明，团队和测试人员越来越意识到回顾的价值，将它们视为“静态测试”活动，在这些活动中，我们不仅有机会看到我们发现的错误，而且会知道产生这些问题的不正确的过程，这样不仅可以错误，还能修复整个过程。

测试人员一直致力于改进流程质量，在很多方面，诸如回顾之类的敏捷实践可以让我们有机会最终实现这一目标。

结果是，我们有望建立起一种更加完整的质量文化，我们可以从错误中吸取教训，以改善我们的工作方法和文化。

InfoQ：有一个开放性问题是关于由测试人员完成的非测试任务，结果是怎样的？

Montvelisky：开放性问题有时候会很棘手，但它们也非常有趣，因为它们为测试人员提供了一个开放的平台来表达自己，并为我们提供无法提前预见的答案。

关于非测试任务的问题，我们看到了很多反复出现的答案，这些答案指向更接近于客户的测试人员（组织 Beta 测试程序，或直接向客户介绍产品的功能），或在团队中充当产品所有者角色时作为客户的代表。

我们还看到了其他很多答案，测试人员将编写产品代码作为他们日常任务的一部分——这顺应了团队是一个整体的理念，每个成员都能够而且应该能够完成所有任务。

开放性问题也为受访者提供了一个机会，让他们释放工作中的部分紧张情绪和挫折感……就像其中有一个受访者，他的一个非测试任务的人是充当“动物园管理员”的角色，我确信在我们的测试生涯中，我们当中的很多人都曾感受过这样或那样的感受。

Bhamare：这当中有很多有趣的事情。我个人很高兴看到越来越多的测试人员意识到监控生产日志的价值，并利用这些信息来提高质量。

测试人员为“客户提供支持和培训”确实是一项有趣的活动，我个人也希望能够这样做。如果我们能够深入进入，与客户的这种互动可以很好地用于进行用户测试和收集可用性反馈。凭借这些知识，测试人员可以超越传统的专业领域来提升产品质量。

不过我也感到有点失望，因为没有提到测试人员为提高产品的“可测试性”做出了哪些事情。我觉得测试人员在这方面还有很多事情可以做。我在我的基于会话的测试中解释了更多这方面的想法。

InfoQ：测试人员需要哪些技能以及如何发展这些技能？

Bhamare：我想说，提高技术效率是首要任务，但这也取决于具体环境。

在某些情况下，领域知识与良好的沟通技巧、专业知识互动以及优秀的探索技能相结合将更为重要。

自动化能力变得越来越重要，但与此同时，了解测试自动化、什么时候不应该使用自动化、如何不让它扼杀掉熟练的脑力测试是一项同样重要的技能，而这种技能似乎正在出现。

如何发展这些技能是一个很大的问题，但为了简单起见，我认为这需要“实践”。实践越多的测试技能，测试人员就会让自己变得更好。

Montvelisky：多年来，我学会了如何将这个问题视为两个独立的问题，一个是关于软技能，另一个是关于技术技能以及我们正在测试的技术。

在软技能方面，测试人员需要学习沟通技巧、面向客户和业务的技能，因为我们需要通过这些来获得有用的信息，而这些信息是我们实现可见性任务和目标的关键因素。

除此之外，我们还需要发展编写脚本和代码、API 测试和安全测试等领域的技术技能。

关于如何发展这些技能，可以参考我们的其他问题，测试人员通过这些问题告诉我们他们如何学习和扩展他们的知识。我们看到了很多回答，它们提到了在职培训，还有阅读书籍、收听播客，以及参加课程和认证培训。

这表明获取知识的途径是多种多样的。

InfoQ：测试团队面临的挑战有哪些新变化？

Montvelisky：这方面出现了一些细微但却很激进的变化。

团队规模和培训比前几年更具挑战性，测试人员分布在小型的敏捷团队之间，承受着这种变化所带来的挑战，测试职责在团队的所有成员之间并不总是能够得到正确的分配。

我们转向另一个问题，从这个问题我们可以看到人们正在他们的工作中做出改变，以应对这些挑战。我们可以看到，人们开始指导开发人员，以获得额外的测试资源。一些测试人员正在从功能自动化测试转向 API 自动化，以加速测试，并让测试更加健壮。我们甚至看到团队转向监控生产环境，以捕获生产环境中的错误，而不是试图在测试和 staging 环境中找到所有问题。

简而言之，我们看到了一些巧妙的解决方案用以应对不断变化的局势！

Bhamare：正如 Joel 指出的那样，应对变化、走出舒适区并找到应对不断变化的环境的方法是测试人员面临的关键性挑战。

快速适应不断变化的技术产品，并获得所需的培训，这对于测试人员来说似乎是一个挑战。

InfoQ：对于未来的测试，有哪些重要的方面？

Bhamare：先让我做一个深呼吸。

对我而言，未来的测试最重要一点是必须与不同的工作角色“分享”，同时以权威的方式来管理它们，最终不会破坏产品的质量。

正如 Brent Jenson 所说的那样，测试的目的是加速交付高质量的产品。测试人员将被要求掌握实现这一目的所需的任何技能。

我认为这对测试人员来说是一个挑战，也是非同寻常的机会。我们的角色似乎正在经历一次显著的变化，我为此感到很兴奋。

Montvelisky：我认为整个报告都表明，测试确实正在成为一个分布在整个团队中的功能，在这个团队中，“测试专家”的角色变得更偏向于领导和指导工作，而不只是执行测试活动。

我不认为这会在一夜之间或几年内发生，但这种情况在行业中已经有足够多的迹象，我们需要为这一变化做好准备。

这意味着我们的工作仍然是代表客户，同时我们执行这些任务的方式和工具也更加技术化。

就我个人而言，我认为这一演变既极具挑战性，同时也很振奋人心，因为我们终于可以看到一个我们可以专注于流程和产品质量的世界，并开始走出旧世界，在这个旧世界里，我们努力在已经（有时）写得很不好的代码中找出 bug，以此来提升产品的质量。

关于受访者

Lalitkumar Bhamareis 目前与 XING SE 合作，担任高级软件测试工程师。他是测试杂志“ Tea-time with Testers ”的主编和联合创始人、 www.tvfortesters.com 创始人，同时也是“ Techno-talks with Lalit ”的主持人。在工作中之余，Bhamare 还教授软件测试，担任 AST BBST 基础课程的首席教练，并定期在 James Bach 的 RSTA 在线课程上授课。他是一名会议演讲者，偶尔会举办有关测试的公共研讨会。可以通过他的个人博客或通过twitter @LalitBhamare 联系Bhamare。

Joel Montveliskyis 是 PractiTest 的首席解决方案架构师和 QA 经理。在过去的 20 年里，他曾在以色列和美国的一些公司担任 QA 经理、顾问和培训师。读者可以了解他的想法，以及他为 PracitTest 的测试相关主题举办的一些网络研讨会。

查看英文原文： 2018 State of Testing Report