写点什么

优酷播放测试体系构建及平台化整合方案

  • 2020-02-17
  • 本文字数:2516 字

    阅读完需:约 8 分钟

优酷播放测试体系构建及平台化整合方案

一、背景


从去年开始,为了提升播放业务的测试效率、完备性和有效性,优酷技术质量团队对播放测试方案进行了一系列的优化改造,自研出一套白盒自动化测试框架,并在此基础上构建出基于实验室环境的播测验证体系和基于外网环境的动态拨测体系,在测试提效方面已初见成效,但新的挑战也随之出现,具体为:


  1. 随着播放测试能力的持续沉淀,各业务已形成了一套行之有效的 topic 维度的测试方案,播放测试能力急需流程化;

  2. 除移动端外,播放在多端场景下的测试覆盖度较低,播放测试能力急需多端化;

  3. 测试过程对于合作方不够透明,各方对测试标准和测试卡口理解存在不一致的问题,播放测试能力急需透明化。


综上,针对流程化、多端化和透明化三大诉求,优酷播放测试提效进入了大一统阶段,包括三个统一:大一统的内核自动化测试框架、大一统的内核自动化测试服务和大一统的平台体系。


二、大一统之内核自动化测试框架


要实现大一统的播放自动化测试体系,首先要实现统一的自动化测试框架,主要面临以下几个问题:


  1. 如何快速高效的支持各 topic 自动化 case 开发和执行;

  2. 如何将内核自动化测试能力赋能到多端多场景(直播、ott、iku);

  3. 如何使内核自动化框架具备更好的扩展性,以支持流程化和平台化。


为了实现播放各 topic 以及播放基础质量测试能力的全面拉通,以统一的方式支持播放业务测试用例的快速开发,最终实现统一地平台化收口,我们首先对各 topic 的通用测试场景、测试方案、个性化能力、通用工具集进行全面梳理,对相关 API 进行分层抽取,将新内核测试框架划分为 4 大模块:api、core、toolkit、testcase,整体结构设计如下所示:


共性 &个性化测试方案

智能档的测试方法不再赘述,下面主要介绍一下 PCDN 以及卡顿 topic 的基础测试方法:


  1. PCDN topic

  2. PCDN 核心目标是缩减成本,减少 CDN 的流量峰值,在保证分片下载功能正确的前提上,PCDN 重点关注覆盖率、分享率、浪费率、重复率等指标,因此测试需要重点关注 PCDN 在各种网络环境和用户播放行为下核心指标的正确性和合理性,PCDN 核心测试数据可以结合 VPM 埋点以及 PCDN 接口数据获取。

  3. 卡顿 topic

  4. 卡顿 topic 的主要关注点是各项卡顿优化的策略是否生效以及对播放体验的影响,如智能调度、慢切逻辑、网络探测等,卡顿核心测试数据可以通过 VPM 埋点、策略执行 log 以及 ODPS 历史埋点获取,除此之外,卡顿 topic 需要针对不同的网络场景和不同的用户播放行为进行组合验证。

  5. API 抽取 &工具集构建

  6. 我们将网络控制、数据收集、数据分析、case 校验作为核心,抽象出三大核心模块(case_checker、log_processor、network_controller),将模拟用户行为、hook VPM 埋点的 AFrame 客户端加入到工具集中,同样还将 PCDN 接口数据获取、ODPS 查询、热剧查询、OSS 上传等方法加入其中。


三、大一统之播放测试服务


为了让播放器自动化测试服务更好的赋能给 ott、iku、直播等多端多场景业务,也为了更好的支持流程化和平台化测试,我们把本地的内核自动化测试框架演变为平台服务(PKAT),并和播测 &拨测体系结合起来,形成了一套完备的内核自动化测试新框架,并作为一套服务添加到播放测试平台链路中。


整体链路包含以下四个部分:


一是播放测试调度服务:包含二方平台打通、设备管理、任务分发、结果管理等;


二是部署在外部网络的 AFrameServer:数据“中转站”,监听各类连接请求并建立通道;


三是与任务调度平台联动的 CaseClient:用例执行入口;


四是内核自动化测试服务:提供播放内核以及多端场景的验证服务。


整体的技术细节如下图所示:



四、大一统之平台收口


优酷技术质量团队始终关注测试基本盘的有效性和完备性,在持续深化核心 topic 线下测试评估能力、守住质量基本盘的同时,形成了涵盖线下测试、冒烟播测、外网拨测的三级漏斗用例模型,测试同学为此持续提供逻辑自洽、基于用户和业务的思考过程,并且最终将三级漏斗用例模型间的联动通过平台化能力表达出来。


播放测试平台为播放业务提供一站式标准化测试能力,包括用例管理、测试计划、功能测试、冒烟播测、外网拨测、大剧保障、多端赋能等能力,支持用例的可视化开发,支持用例完整生命周期的实时监控,并提供详细和专业的结果分析和测试报告,通过播放测试平台实现了本地测试、冒烟播测、外网拨测用例的打通,用例流转示意如下:


系统设计

播放测试平台采用分层设计结构,以增强平台的水平扩展能力,基础服务层由设备资源管理、用例管理、用例模板管理、测试计划管理、运行管理、报告管理等模块组成:


  1. 设备资源管理:同步实验室以及外网测试设备资源信息,用例执行时指定相应测试设备;

  2. 用例管理:提供用例信息的维护及权限管理,除传统的代码开发模式外,支持可视化的组件开发模式;

  3. 用例模板管理:为每个 topic 通过用例模板,进一步减少用例开发的工作量;

  4. 测试计划管理:测试计划类似于测试套件,包含多个测试用例,测试计划有效覆盖各类测试场景;

  5. 运行管理:当某个测试用例在某台测试设备上执行时,平台均会创建唯一的运行实例,通过运行实例可以监控相应用例运行的整个生命周期;

  6. 报告管理:提供用例运行的详细信息,包括运行过程数据以及执行结果分析。

执行流程

  1. 用户可以在用例管理模块直接执行用例,执行用例后首先会调用 AFrameService,AFrameService 负责与任务调度平台通信,并发送用例执行信息,任务调度平台接受后转发至 AFrameServer,最后由 AFrameServer 驱动执行测试用例;

  2. AFrameServer 会将用例的实时执行状态回流至报告管理模块,用例执行结束后会把详细的执行结果回流至报告管理模块;

  3. 用户可以在用例管理模块创建测试计划,在测试计划管理模块执行测试计划,执行流程与在用例管理模块直接执行相同;

  4. 报告管理模块支持查询测试用例的运行过程数据以及测试结果分析。



五、总结 &展望


优酷播放测试平台实现了标准化的播放测试流程,有效降低了业务测试用例的开发复杂度,提高了用例的开发效率,规范了用例的管理和执行过程,实现了测试用例在不同环节的合理性流转,以及用例执行生命周期的实时监控和执行结果的可视化、透明化。


后续我们将在基于播放体验的策略质量洞察分析、动态的校验能力、智能化的用例推荐、用例膨胀等方面继续努力。


作者介绍


昙鸾,阿里文娱测试开发专家,庭婳,阿里文娱测试开发工程师。


2020-02-17 10:302582

评论 2 条评论

发布
用户头像
期待后续~
2020-02-17 18:10
回复
用户头像
沙发🛋
2020-02-17 11:22
回复
没有更多了
发现更多内容

软件测试/测试开发丨如何确保API 的稳定性与正确性?你只需要这一招

测试人

软件测试 自动化测试 测试开发 RESTful API

高性能存储SIG月度动态:DSMS开始适配Anolis OS、将在ANCK 5.10中支持ublk | 龙蜥 SIG

OpenAnolis小助手

开源 操作系统 高性能存储 龙蜥社区 sig

Pytorch基础-张量基本操作

嵌入式视觉

张量的基本操作 维度变换 索引切片 合并分割 卷积相关算子

InfoQ写作社区 2022 年度优质创作者评选名单公布!

InfoQ写作社区官方

热门活动

关于接口测试自动化的总结与思考

阿里巴巴云原生

阿里云 云原生 TPS

科技创新实力受认可,网易有道入选 2022 中国技术品牌影响力企业榜

有道技术团队

技术 数据分析

消息收发弹性——生产集群如何解决大促场景消息收发的弹性&降本诉求

阿里巴巴云原生

阿里云 RocketMQ 云原生

Pytorch基础-tensor数据结构

嵌入式视觉

Tensor torch.tensor() Tensor维度

2022 OpenMLDB 硕果累累,颁奖台上荣耀连连

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

广西首次!3DCAT实时云渲染助力南宁数字气象科普馆上线

3DCAT实时渲染

云计算 云渲染 元宇宙 3DCAT 虚拟数字气象馆

初识PHP(1):PHP是什么

华为云PaaS服务小智

php

TiDB 6.5 LTS 发版

PingCAP

#TiDB

湖南卫视携手华为云 打造跨年晚会“最炫科技风”

极客天地

WorkPlus平台多业务系统集成,让企业沟通协作更畅通

BeeWorks

喜报 | 瑞云科技荣获“第四届天鸽奖十大创新企业”等两项大奖

3DCAT实时渲染

元宇宙 3DCAT 瑞云渲染

Seata 1.6.0 正式发布,大幅度提升存储性能

阿里巴巴云原生

阿里云 seata

卷积神经网络的压缩方法总结

嵌入式视觉

知识蒸馏 模型压缩 神经网络参数量化 二值化网络 模型剪枝

Bonree ONE荣获信通院“2022IT新治理年度明星产品”

博睿数据

根因分析 博睿数据 荣誉奖项 Bonree ONE

2022 InfoQ 写作社区年度优质企业号评选名单公布!

InfoQ写作社区官方

热门活动

阿里云张献涛:无影,让计算触手可及

云布道师

无影云电脑

Flutter Hero 动画组件的飞行过程显示控制

岛上码农

flutter ios 安卓 移动端开发 跨平台开发

喜报|3DCAT入选“灵境杯”深圳市最佳元宇宙案例!

3DCAT实时渲染

虚拟现实 元宇宙 增强现实 实时云渲染 元宇宙开发

RayLink远程控制软件:叮~你收到一份年度关键词报告

RayLink远程工具

远程控制软件 RayLink

精华推荐 |【深入浅出Sentinel原理及实战】「原理探索专题」完整剖析Alibaba微服务架构体系之轻量级高可用流量控制组件Sentinel(1)

码界西柚

sentinel 1月日更 Sentinel 系统

Kyligence 客户案例“泰康集团精细化经营分析与运营平台”获评数据智能最佳实践案例

Kyligence

数据分析 指标管理

云渲染动画价格一般多少?

Renderbus瑞云渲染农场

云渲染 云渲染价格

企业专用的即时通讯产品如何选择?

BeeWorks

harbor从1.6.1升级至2.7.0

小黄鱼

Harbor

软件测试 | 测试开发 | 相比Selenium,Web自动化测试框架Playwright

测吧(北京)科技有限公司

测试

同盾科技 x TiDB丨实时数据架构为风控智能决策保驾护航

PingCAP

#TiDB

Apipost——让前端、后端、测试共用一份API文档!

不想敲代码

优酷播放测试体系构建及平台化整合方案_软件工程_阿里巴巴文娱技术_InfoQ精选文章