4月10-12日 QCon 北京,与全球 140+ 顶尖工程师共同解构 AI 时代的技术浪潮! 了解详情
写点什么

音视频质量评估绿皮书

  • 2019-08-26
  • 本文字数:1552 字

    阅读完需:约 5 分钟

音视频质量评估绿皮书

网络技术的升级使得市场上音视频类的产品形态越来越多,直播、短视频你方唱罢我登场。公司内也有多个专注于音视频技术、音视频产品服务的团队。音视频产品需要关注哪些质量控制点,如何评估音视频质量,笔者就在音视频实验室的几年工作经验进行介绍。欢迎相关团队同学互相探讨,共同成长。

不同场景下关注评估重点不同

音视频产品的评估涵盖多个维度,不同场景下的维度取舍存在较大的差别。目前市场上主流的音视频产品可以按应用场景分为如下几类(还有些小众产品,如会议类、投屏类没有列入在内)



特别说明,上述的划分也不是绝对的,有些会有交集,如直播里很多产品都有互动直播的能力,这一部分会与实时通话的场景相近。


对于这几类场景,从质量角度,虽然很多指标是通用的,但侧重点会有所不同。实时场景关注 E2E 传输质量(如时延)和信息可懂性,直播场景更关注主播上行网络抗性能力和观众体验(卡顿、音画是否同步),短视频会更多关注画质与用户体验,而长视频则会更关注转码质量及效率。这些的背后与产品的定位及所采用的技术密切相关。

音视频产品的质量关注点

通常音视频数据的加工流程可以概括为下图:



每个环节都有可能引入质量的损失,导致最终信息接收者观看到的内容变差(上面这种是流水线式处理,长短视频场景下数据生产和消费的环节是分开的,而且其中会有离线转码处理的环节,如多分辨率,HDR 等)。


我们可以针对每个环节进行测试,但产品质量更多的是这些环节的综合过程,所以从观众的角度来进行考虑效率会更高一些。以下罗列一些我们重点关注的质量维度:



按照现在比较流行的划分方法,这里按照用户是否可直接感知分为 QoE(Quality of Experience)与 Qos(Quality of Service)两个大的维度。


对于长视频产品,由于视频源一般为专业设备所拍摄,所以原始质量相对是非常高的,用户的槽点会集中在视频是否流畅,画质是否有瑕疵(花屏、马赛克),画质是否稳定(想像看视频时 480p 和 1080p 来回反复切换的状态);与长视频相比,由于视频内容多为用户普通终端拍摄,原始视频质量就会参差不齐了,需要借助算法提升质量,所以除了长视频的关注点外还需要关注清晰度等画质细节指标(特别说明一个常见的误区,清晰度不能等同于分辨率,高分辨率图像的清晰度未必比低分辨率高);互动直播和实时通话这种对时延敏感的产品,传输技术上一般是采用 UDP 或基于 UDP(如 Quic)的协议来进行,就容易产生音轨与视频轨不一致的问题,音画同步在这类场景下也一个很重要的质量指标。除此之外,音频下的杂音、破音、丢字、回声也都会严重影响用户体验的,一般产品都会进行 3A 处理模块,那么处理效果怎么样,也需要进行验证评估。(补充说明一下,音视频的 QoE 实际是一个相对复杂的范畴,我们只能从一些客观技术指标上进行评判。不同人群对于内容的喜好也会对 QoE 产生较大影响,这就更偏重于心理学问题了。)


除了用户体验之外,由于音视频的流量消耗、存储消耗与高 CPU 消耗的特点也决定我们要对这些通用性能指标进行关注。

音视频质量评估方法

音视频质量的测试,以开发角度来说,可以采取 LOG 埋点、虚拟机的方式来收集数据。但站在用户的角度,在集成测试阶段并不推崇这种方式,因为音视频业务对硬件的依赖可能会导致软件理论结果与产品现网实际表现存在较大差异。E2E 的验证更能有效说明产品质量。为了追求场景的无干扰性、模拟准确性、指标测量准确性,一致性。音视频实验室建立起一套相对完整的音视频测试能力体系。这些包括专业化实验室与商用设备。



也包括我们自研的一些方法,如《音画同步测试方法》,《视频卡顿测试方法》等。我这里对相关的指标的评估技术做一个简单的梳理:



作者介绍:


赵珺,腾讯音视频实验室高级工程师,曾参与 QQ 音视频通话、腾讯互动 SDK 等多个项目,在音视频产品质量评价体系建立和效率工程方面具有丰富经验。


2019-08-26 20:234145

评论

发布
暂无评论
发现更多内容

经验分享:我是如何拿下微软、滴滴、百度等 20家大厂的 Offer?

Java 程序员 架构 面试 IT

渣本全力以赴33天,四面阿里妈妈(淘宝联盟),拿下实习岗offer

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

凭借一份“面试真经pdf”,我四面字节跳动,拿下1-2级offer

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

社招三面阿里“落榜”,幸获内推名额,4面揽下美团offer

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

FastApi-05-请求体-2

Python研究所

FastApi 8月日更

阿里巴巴大神发布的Java零基础笔记,实战教程多到手软,跪了

Java~~~

Java 面试 微服务 多线程 架构师

百分点科技参加MIT数智未来创新峰会 入选产业数字化生态图谱

百分点科技技术团队

28天读完349页,这份阿里面试通关手册,助我闯进字节跳动

Java~~~

Java 面试 算法 多线程 架构师

低代码开发平台的出现会是开发者的威胁吗

雯雯写代码

开发者 低代码 低代码开发平台

清爽视频编辑器 Tech Support

凌天一击

算法有救了!GitHub 上神仙项目手把手带你刷算法,Star 数已破500k

Java 编程 程序员 面试 算法

使用Micronaut框架构建一个微服务网络.

Java 编程 架构 面试 程序人生

毕业六年本科,去年疫情期间备战二个月,阿里巴巴四面成功!定级 P7

Java 程序员 架构 面试 IT

一文搞懂指标采集利器 Telegraf

尔达Erda

学习 微服务 开发者 云原生 插件开发

经过两年努力,我终于进入腾讯(PCG事业群4面总结)

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

spring cloud 在国内中小型公司能用起微服务来吗?

Java 程序员 架构 面试 IT

Spring Boot 实战派,让开发像喝水一样简单!

Java 程序员 架构 面试 IT

读完SpringBoot,Cloud,Nginx与Docker技术,我拿到了阿里offer

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

什么是DPDK?DPDK的原理及学习学习路线总结

Linux服务器开发

Linux服务器开发 DPDK Linux后台开发 网络性能 网络原理

消息推送技术干货:美团实时消息推送服务的技术演进之路

JackJiang

消息推送 即时通讯 IM push

面试进阶齐飞!霸榜GitHub的 Java 全栈笔记太香了!

Java 编程 程序员 IT 计算机

又一里程碑!阿里首推Java技术成长笔记,业内评级“钻石级”

Java~~~

Java redis spring 面试 架构师

如何评价Netty封装的io_uring?

BUG侦探

Netty 网络 io_uring

2021 斩获 90K 月薪的 Spring 全家桶:文档 + 面试题 + 学习笔记 + 思维导图

编程 架构 微服务 IT 计算机

“助力金九银十”25 大Java后端面试指南,3000道面试题解析

Java 编程 程序员 面试 IT

全面到哭!BAT内部Java求职面试宝典,应届生必须人手一份

Java~~~

Java 面试 微服务 多线程 架构师

二十不惑的年纪,我简直走了狗屎运(4面拿字节跳动offer)

Java~~~

Java 面试 微服务 多线程 架构师

新一代设计编排交付套件分享

鲸品堂

交付工具

2021 年主要网络安全威胁,及时发现提早规避风险

九河云安全

终于有人把“SpringCloudAlibaba学习笔记”整理出来了

Java 程序员 架构 微服务 计算机

987页的Java面试宝典,看完才发现,应届生求职也没那么难

Java~~~

Java 面试 微服务 多线程 架构师

音视频质量评估绿皮书_大前端_赵珺_InfoQ精选文章