写点什么

基于三维卷积神经网络的全参考视频质量评估算法(三)

  • 2020-01-17
  • 本文字数:1060 字

    阅读完需:约 3 分钟

基于三维卷积神经网络的全参考视频质量评估算法(三)

结果

我们在 LIVE 和 CSIQ 两个视频质量数据集上对所提出算法的性能进行验证。LIVE 数据库包含 10 个参考视频和对应每个参考视频的 15 个失真视频。CSIQ 数据集包含 12 个源视频和相对应的 18 个失真视频。我们使用标准的 PLCC 和 SROCC 作为质量准则来比较不同算法的性能。


因为这两个数据库相对较小,我们参考另外一片深度学习文章[10]的做法,每次随机抽取 80%的参考视频和由它们所得到的失真视频作为测试集。我们重复了 20 次这样的数据集划分并且每次都从头开始训练模型。具体质量评估的散点图如图 5 所示。


图 5 质量估计结果散点图,每一个点代表一个待测视频。其中 Y 轴为估计视频质量,X 轴为主观打分结果,左图为 LIVE 上测试结果,右图为 CSIQ 上测试结果。


我们与常用的全参考质量评估算法进行了对比,比较的算法包括 PSNR,MOVIE[ 11],ST-MAD [12],VMAF 和 DeepVQA [10]。每次测试都会得到一个 PLCC 和 SROCC,下表中我们使用多次实验结果的中值来代表最终性能。


我们可以清楚的看到本文所设计的算法 C3DVQA 在两个数据库上均大幅领先 PSNR,MOVIE,ST-MAD,VMAF 等传统算法。值得一提的是 DeepVQA 也是一个基于深度学习的算法,也取得了不错的性能。我们把这些性能提提升归结为两方面的原因,1)使用 CNN 来学习质量相关特征要优于传统的特征提取算法;2)DeepVQA 和 C3DVQA 均学习视频的时空联合特征,显性的利用运动信息更能刻画视频质量。



表一 LIVE 和 CSIQ 两个数据库上不同全参考算法性能比较

总结

本文简要回顾了目前学术界和工业界视频质量评估方向的发展状况。处于复杂度考虑,工业界仍倾向于使用复杂度较低的基于图像质量评估的方案。但是这样做的缺陷就是不能不能把视频作为一个整体来学习时空特性,尽管结果差强人意,也算是性能与复杂度很好的折中。


我们提出了一种基于三维卷积神经网络的全参考算法。通过学习视频的时空联合特征,能更好的解决运动信息丢失问题。相对于传统特征提取算法,我们的算法能大幅度的提升准确度。


当然,这一切才刚刚开始,还有很多工作需要补充。我们想要详细的复杂度分析,特别是在没有 GPU 可用的场景。我们也想知道所训练的算法在其它数据库上的性能,而且不仅仅局限于 PGC 视频,也包括 UGC 视频。


好消息是我们有计划对业界开源模型训练代码,这样能方便所有人去使用自己的数据库训练测试特定视频业务场景。同时,我们也欢迎任何形式的协同开发,不管是贡献数据库,还是贡献预训练模型,甚至是抛出业务场景中所遇到的问题。


本文转载自 腾讯多媒体实验室公众号。


原文链接:https://mp.weixin.qq.com/s/Kk7J8dLMhHbhksxMumHuwA


2020-01-17 18:05920

评论

发布
暂无评论
发现更多内容

【go专题】Context的理解

南吕

Go 语言 4月日更

深入理解Spring框架之AOP子框架

邱学喆

aop 动态代理 cglib ProxyConfig AspectJ

150页的剑指Offer解答PDF,它来了!!!

秦怀杂货店

如何减少管理层级?

石云升

团队建设 28天写作 职场经验 管理经验 4月日更

网络协议学习笔记Day3

穿过生命散发芬芳

网络协议 4月日更

小米java社招面试记录,带备战思路

Java架构师迁哥

容器 & 服务: 扩容

程序员架构进阶

容器 k8s 28天写作 弹性扩容 4月日更

读《小岛经济学有感》

箭上有毒

读书笔记 4月日更

想拿到10k-40k的offer,这些技能必不可少!作为程序员的你了解吗?

Java架构师迁哥

解决方案的设计与积累——课程总结

Deborah

安卓rxjava面试,面试一路绿灯Offer拿到手软,吊打面试官系列!

欢喜学安卓

android 程序员 面试 移动开发

四面拿到京东Java岗 30K offer 全过程分享

Java架构师迁哥

Vue源码思想在工作中的应用

执鸢者

Vue 大前端

图算法系列之深度优先搜索(一)

Silently9527

Java 深度优先搜索 图算法

MBP恢复记(体验rm -rf /*)

SamGo

学习

你的故事,触动了我的心

小天同学

读后感 读书总结 4月日更 皮囊

聪明人的训练(二十四)

Changing Lin

4月日更

2021|南吕

南吕

生活随想 4月日更

当时尚撞上区块链,为潮酷创意赋予专属

CECBC

时尚产业

比微信文件传输助手更好用的传输工具|Telegram

彭宏豪95

微信 效率 文件传输 4月日更 Telegram

当我看技术文章的时候,我在想什么?

why技术

Java

怎么做到的?3个月入职蚂蚁金服(Java岗)从年薪10W到年薪30W

Java架构师迁哥

Redis的常见问题

赖猫

c++ redis Linux 后端

2个月从0到1,一年5次迭代,百度“量桨”效率喷涌背后的工作秘诀

脑极体

Java虚拟机原理

风翱

JVM 4月日更

【Node专题】Node 与 Go 的认识

南吕

后端 Node 4月日更

区块链如何推动数字化转型?

CECBC

区块链

BUG!从编写 Loader 到窥探大佬 Debug 全过程

HZFEStudio

小程序 webpack 构建工具

翻译:《实用的Python编程》InstructorNotes

codists

Python

安卓rxjava使用,4面字节跳动拿到Offer,面试必问

欢喜学安卓

android 程序员 面试 移动开发

一场关于演讲的演讲

Jxin

基于三维卷积神经网络的全参考视频质量评估算法(三)_文化 & 方法_腾讯多媒体实验室_InfoQ精选文章