写点什么

基于三维卷积神经网络的全参考视频质量评估算法(三)

  • 2020-01-17
  • 本文字数:1060 字

    阅读完需:约 3 分钟

基于三维卷积神经网络的全参考视频质量评估算法(三)

结果

我们在 LIVE 和 CSIQ 两个视频质量数据集上对所提出算法的性能进行验证。LIVE 数据库包含 10 个参考视频和对应每个参考视频的 15 个失真视频。CSIQ 数据集包含 12 个源视频和相对应的 18 个失真视频。我们使用标准的 PLCC 和 SROCC 作为质量准则来比较不同算法的性能。


因为这两个数据库相对较小,我们参考另外一片深度学习文章[10]的做法,每次随机抽取 80%的参考视频和由它们所得到的失真视频作为测试集。我们重复了 20 次这样的数据集划分并且每次都从头开始训练模型。具体质量评估的散点图如图 5 所示。


图 5 质量估计结果散点图,每一个点代表一个待测视频。其中 Y 轴为估计视频质量,X 轴为主观打分结果,左图为 LIVE 上测试结果,右图为 CSIQ 上测试结果。


我们与常用的全参考质量评估算法进行了对比,比较的算法包括 PSNR,MOVIE[ 11],ST-MAD [12],VMAF 和 DeepVQA [10]。每次测试都会得到一个 PLCC 和 SROCC,下表中我们使用多次实验结果的中值来代表最终性能。


我们可以清楚的看到本文所设计的算法 C3DVQA 在两个数据库上均大幅领先 PSNR,MOVIE,ST-MAD,VMAF 等传统算法。值得一提的是 DeepVQA 也是一个基于深度学习的算法,也取得了不错的性能。我们把这些性能提提升归结为两方面的原因,1)使用 CNN 来学习质量相关特征要优于传统的特征提取算法;2)DeepVQA 和 C3DVQA 均学习视频的时空联合特征,显性的利用运动信息更能刻画视频质量。



表一 LIVE 和 CSIQ 两个数据库上不同全参考算法性能比较

总结

本文简要回顾了目前学术界和工业界视频质量评估方向的发展状况。处于复杂度考虑,工业界仍倾向于使用复杂度较低的基于图像质量评估的方案。但是这样做的缺陷就是不能不能把视频作为一个整体来学习时空特性,尽管结果差强人意,也算是性能与复杂度很好的折中。


我们提出了一种基于三维卷积神经网络的全参考算法。通过学习视频的时空联合特征,能更好的解决运动信息丢失问题。相对于传统特征提取算法,我们的算法能大幅度的提升准确度。


当然,这一切才刚刚开始,还有很多工作需要补充。我们想要详细的复杂度分析,特别是在没有 GPU 可用的场景。我们也想知道所训练的算法在其它数据库上的性能,而且不仅仅局限于 PGC 视频,也包括 UGC 视频。


好消息是我们有计划对业界开源模型训练代码,这样能方便所有人去使用自己的数据库训练测试特定视频业务场景。同时,我们也欢迎任何形式的协同开发,不管是贡献数据库,还是贡献预训练模型,甚至是抛出业务场景中所遇到的问题。


本文转载自 腾讯多媒体实验室公众号。


原文链接:https://mp.weixin.qq.com/s/Kk7J8dLMhHbhksxMumHuwA


2020-01-17 18:051076

评论

发布
暂无评论
发现更多内容

React生命周期深度完全解读

夏天的味道123

React

TiFlash 源码阅读(八)TiFlash 表达式的实现与设计

TiDB 社区干货传送门

老板拍脑袋决策,团队群魔乱舞

填空时光

决策 团队内耗 企业敏捷

Vue3, setup语法糖、Composition API全方位解读

yyds2026

Vue

Java后端面试到底要如何准备?

钟奕礼

Java 程序员 java程序员 java面试 java编程

TiFlash 源码阅读(七)TiFlash Proxy 模块

TiDB 社区干货传送门

TiDB常用SQL

TiDB 社区干货传送门

性能调优 集群管理

React-hooks+TypeScript最佳实战

xiaofeng

React

Vue.nextTick核心原理

yyds2026

Vue

# 分布式数据库新秀TIDB初探

TiDB 社区干货传送门

TiDB 底层架构 TiDB 源码解读

React性能优化的8种方式

xiaofeng

React

React中常见的TypeScript定义实战

xiaofeng

React

React源码中的dom-diff

夏天的味道123

React

诚迈科技深耕汽车操作系统领域,获评优质供应商

科技热闻

使用Docker踩坑,排查完问题之后,又涨知识了

程序员小毕

Java Docker 程序员 程序人生 后端

深度解读Webpack中的loader原理

Geek_02d948

webpack

技术分享 | TiUP工具 - TiDB集群滚动升级核心流程解析

TiDB 社区干货传送门

TiFlash 源码阅读(六) DeltaTree Index 的设计和实现分析

TiDB 社区干货传送门

安防厂商在企业数字化转型中的机遇和挑战

慕枫技术笔记

AIOT 11月月更

双机热备软件原理简单说明以及品牌重点推荐

行云管家

高可用 ha 热备 双机热备

腾讯大神亲码Redis技术笔记,实战+原理双管齐下

小小怪下士

Java redis 程序员 腾讯

技术分享 | 多测试环境的动态伸缩实践

LigaAI

云原生 自动化测试框架 测试环境 测试自动化 kubenetes

教你一招,安全的从 MySQL 切换到 TiDB

TiDB 社区干货传送门

迁移 实践案例

详解webpack构建优化

Geek_02d948

webpack

React的5种高级模式

夏天的味道123

React

10年码农生涯经验总结,聊聊工作中18种接口优化方案!

Java全栈架构师

Java 数据库 程序员 程序人生 性能优化

将业务从mysql迁移至TIDB,有哪些需要注意的?

TiDB 社区干货传送门

管理与运维 应用适配 大数据场景实践

Webpack中的plugin插件机制

Geek_02d948

webpack

深聊Nodejs模块化

coder2028

node.js

低代码实现探索(五十三)后台逻辑的控制

零道云-混合式低代码平台

解读Vue3模板编译优化

yyds2026

Vue

基于三维卷积神经网络的全参考视频质量评估算法(三)_文化 & 方法_腾讯多媒体实验室_InfoQ精选文章