QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

字节跳动精准测试实践,SmartEye 背后的设计逻辑

  • 2021-06-09
  • 本文字数:2498 字

    阅读完需:约 8 分钟

字节跳动精准测试实践,SmartEye背后的设计逻辑

简介

在移动互联网高度发展下,移动 APP 趋近于大型化,功能也趋近于复杂化,诸如各种国民级应用,功能/玩法等迭代不停,其背后对应的研发协作团队也非常庞大。在此种场景下,依靠人力堆叠去保障产品质量,并非最优解,在软件规模达到某个临界点之后,问题逃逸将无法避免。


字节跳动在代码覆盖率监测平台基础上,建立了 SmartEye-智能化精准中台,帮助研发团队快速定位代码变更影响域,精准推荐测试用例/自动化巡检任务,为业务减负,为研发团队提效。

背景

在日常的研发活动中,我们经常会遇到下列场景:

  • 这次需要研发自测保障了, 我的用例集是不是全都有效覆盖了?

  • 这次技术重构改动挺大的,会影响哪些已有功能?

  • 基础工具 SDK 有重大升级,我是涉及到的业务方,哪些功能需要测试验证?

  • 版本要上线了,大家都走一下全量回归 Case,测试重点在哪里?回归测试用例集全量执行是不是必要的?

  • 在项目研发团队中的每个同学质量标准是不是都统一了?


上述问题在产品快速迭代下会越来越突出,每一个软件工程师应该都经历过上述问题的“拷问”。在此背景下,精准测试也应运而生。精准测试是国内软件工业界首创的技术概念。近年来,随着国内工业界深入探索,精准测试已经有较为广泛的影响力和统一的认知。


精准测试是质量工程智能化建设的重要趋势,为项目研发验收全流程建立公信力度量指标,解决用例与代码的双向关联,精准匹配和投放测试资源(人力/机架),削弱/打破项目规模增长与质量保障资源增长的强正相关关系。

工作流程


上述是字节跳动研发团队比较常见的研发流程,在这里我们把研发需求划分为 5 个阶段:开发、自测、测试、集成回归、上线。精准测试发生的区间主要在自测、功能验收测试和回归测试阶段。在这三个阶段的节点 1、2、3,业务通过请求 SmartEye 服务,可以分别获取到自测推荐用例,功能测试推荐用例,回归测试推荐用例。其中,自测用例和功能测试推荐用例用于验证代码变动是否引起存量功能异常,将功能缺陷发现时机前置,为研发团队争取更多的修复时间。回归测试用例推荐用来精简回归测试人力,帮助业务节省回归测试人效。

用例知识库

我们前期先建设了基础代码覆盖率监测平台,收集程序运行时的动态代码覆盖率数据,以此为基础来构建用例知识库。


用例录制

客户端手工用例


人工用例录制,利用内嵌到客户端的 SDK,提供 UI 界面供用户进行录制操作,同时由 SDK 内部保障录制过程中数据清理,采集,上报。用例录制结束后由 SDK 对当次录制数据进行上报,服务端实时解析,落盘用例知识库,供后续数据分析推荐,并及时给予用户录制反馈。

客户端自动化用例


自动化用例录制全流程无人工干预,录制时需要以单个用例为分割,记录单条用例的代码覆盖率数据和用例的关联关系。SmartEye 结合客户端高级调试模式 SDK,使用公司基础长链接服务控制自动机架的指定设备进行用例数据的录制/停止,全流程自动化,可以以很小的成本,批量录制客户端自动化用例。

用例结构化信息

用例索引

利用当前变动信息、调用链信息、覆盖率信息等基础能力,建设代码-用例的映射数据集,以索引形式存储海量用例,为测试用例推荐等上层服务产品提供数据基础。基于用例的关联方法、关联代码块、上下游调用链路以及对应覆盖率等信息,建设不同粒度不同版本的调用信息-CaseIDs 倒排索引服务,直接支撑推荐引擎的用例召回功能;此外,服务适配用例录制接口,实现了用例录制->用例信息解析->用例信息入库->索引生成的全流程自动化处理,并支持双端、人工 &&自动化用例的多维度用例独立存储。



推荐引擎

代码影响域分析

准确定位 MR 的代码变动信息及其代码调用上下游影响域,能够帮助后续精准测试准确分析与之关联的测试用例,提升测试充分性与问题拦截率。



我们利用公司 CodeGraph 平台的双端静态代码调用链分析能力与整体调用链路拓扑数据,完成基于 MR 的变动 DIFF 分析以及上下游调用链分析,并针对变动 DIFF 部分,完成代码变动率的统计。

关联用例召回与多样性平衡

  • 基于改动影响的边界范围,召回对应方法、代码块、调用链路关联的用例集合,聚合去重后生成用例召回集合;

  • 用例召回集合中,存在大量冗余用例。为实现向线上高频调用模块的测试倾斜,增加多样性控制逻辑。

  • 基于对应方法 &&代码块的关联用例数、用例覆盖率以及线上热度归一化指标,生成对应方法 &&代码块的多样性控制因子,并最终将该因子作用在用例排序与推荐集生成阶段;


推荐集生成

  • 模型层

在用例排序阶段基于用例与变动影响域内各方法 &&代码块的关联信息、用例后验指标、用例多样性控制因子等多维度信息,通过机器学习用例排序模型,计算用例与本次改动的相关性得分;基于相关性得分进行用例排序,并结合业务方指定的推荐用例数量,完成用例的筛选,生成用例筛选集。


  • 策略层

针对底层代码关联大量测试用例、用例路径多样性不足等导致的测试冗余问题,通过向业务侧赋能,结合业务方的先验知识体系,利用用例定向投放、底层代码规避等策略,以更加贴近业务的策略形式,在保证测试质量的同时,进一步降低测试冗余,提升测试效率。

整体方案

使用效果

目前,我们与火山客户端等研发团队一起,搭建了字节跳动精准测试平台 Cover,致力于为公司内所有产品线研发团队提供标准的精准测试解决方案,期望在保证质量的前提下为业务提效。


该平台已在火山、抖音、西瓜等团队客户端迭代流程中落地,并取得了不错的效果。其中一个典型业务线利用精准测试,在保证 100%拦截全量测试用例可发现问题的基础上,提升人效约 40%,具体数据如下:

总结

目前,SmartEye 精准引擎每日推荐用例数 1K+,效率提升约 40%。借助 SmartEye 的能力,业务可以精确评估变更影响,清晰代码变动之后需要测试/回归的用例集。


基于 SmartEye 的精准测试,在字节跳动的落地得到了很多团队的支持,包括火山、抖音、头条、基础架构等多个研发团队,业务落地当前正在持续推进中。后续重点,我们将延伸 SmartEye 的精准能力,覆盖各种类型的测试用例与测试需求,在更大范围内成为 DevOps 基础服务,为更多的研发团队提效。


我们相信,越来越多的智能化测试工具落地,将会加速质量工程领域的变革,推动国内质量工程技术水平走到全球质量工程工业界前沿。


本文转载自:字节跳动技术团队(ID:BytedanceTechBlog)

原文链接:字节跳动精准测试实践,SmartEye背后的设计逻辑

2021-06-09 07:009794

评论

发布
暂无评论
发现更多内容

LC狂刷66道Dynamic-Programming算法题。跟动态规划说拜拜

android 程序员 移动开发

Linux学习~树莓派gpio控制,如何化身BAT面试收割机

android 程序员 移动开发

Gartner预测到2025年,将有一半的云数据中心部署具有人工智能功能的机器人

BeeWorks

Spring Boot+Vue实现汽车租赁系统(毕设)

偶尔善良

MySQL redis Spring Boot Vue

Kotlin协程,flutterplugin打包aar

android 程序员 移动开发

《黑客之道》干了一夜的kali Linux之Metasploit渗透测试框架的基本使用

学神来啦

Linux 运维 黑客 渗透 Metasploit

记一次“U盘拔出”后重要文件丢失的恢复之旅

淋雨

EasyRecovery

Kotlin协程到底是怎么切换线程的?你是否知晓?,写得太好了

android 程序员 移动开发

LayoutManager高端玩家,实现花式表格,kotlin中文

android 程序员 移动开发

LeetCode,牛客面试必刷,看了这些,flutter面试

android 程序员 移动开发

MotionLayout_ 打开动画新世界大门 (part II),android插件化原理

android 程序员 移动开发

Kotlin-风险高、RxJava-不老,Android-原生开发现状分析

android 程序员 移动开发

就这?腾讯云高工熬夜手写'Java微服务学习笔记'也就让我月薪涨3k

Java spring 程序员 面试

Tapdata 等40余家行业知名企业,应邀参与共建 NextArch Foundation

tapdata

数据库 数据融合

Linux编程之权限系统与工具使用(二),一文详解

android 程序员 移动开发

springmvc的定时任务

小鲍侃java

11月日更

Kotlin的自定义View,实现带弧形的进度条,软件开发项目经理面试题

android 程序员 移动开发

LeakCanary核心源码解析,android开发从入门到精通素材

android 程序员 移动开发

阿里大佬手写Docker学习笔记就这?也就是让我五体投地的水平罢了

Docker 编程 程序员

Kotlin学习手记——协程进阶,嵌入式android开发教程

android 程序员 移动开发

LayoutManager高端玩家,实现花式表格(1),安卓面试题高级

android 程序员 移动开发

Kotlin-风险高、RxJava-不老,Android-原生开发现状分析(1)

android 程序员 移动开发

FinClip通过中国信通院SDK安全专项测试

FinClip

Kotlin协程到底是怎么切换线程的?你是否知晓?(1),kotlin开源项目实战

android 程序员 移动开发

Vue进阶(幺陆叁):vue项目启动后自动打开页面并设置默认浏览器

No Silver Bullet

Vue 11月日更

MotionLayout_ 打开动画新世界大门 (part II)(1),kotlin框架

android 程序员 移动开发

Kotlin修炼指南(三),如何在Android-Studio下进行NDK开发

android 程序员 移动开发

Kotlin学习手记——构造器,【深夜思考】

android 程序员 移动开发

lambda表达式(4)(Shawn),开发android

android 程序员 移动开发

🔥 DeepVideo 智能视频生产训练营火热报名中!

阿里云CloudImagine

阿里云 媒体处理 智能视频 智能生产 视频云

Kotlin学习手记——基本类型,安卓开发kotlin推荐书籍

android 程序员 移动开发

字节跳动精准测试实践,SmartEye背后的设计逻辑_语言 & 开发_字节跳动技术团队_InfoQ精选文章