QCon北京|3天沉浸式学习,跳出信息茧房。 了解详情
写点什么

ECCV 2024|有效提高盲视频去闪烁的新方法——BlazeBVD

作者:美图影像实验室

  • 2024-07-22
    北京
  • 本文字数:2177 字

    阅读完需:约 7 分钟

大小:1.10M时长:06:26
ECCV 2024|有效提高盲视频去闪烁的新方法——BlazeBVD

近年,短视频生态的赛道迅猛崛起,围绕短视频而生的创作编辑工具在不断涌现,美图公司旗下专业手机视频编辑工具——Wink,凭借独创的视频画质修复能力独占鳌头,海内外用户量持续攀升。Wink 画质修复功能火爆的背后,是美图在视频编辑应用需求加速释放背景下,对用户视频画面模糊不清、噪点严重、画质低等视频创作痛点的洞察,与此同时,也建立在美图影像研究院(MT Lab)强有力的视频修复与视频增强技术支持下,目前已推出画质修复-高清、画质修复-超清、画质修复-人像增强、分辨率提升等功能。日前,美图影像研究院(MT Lab)联合中国科学院大学更突破性地提出了基于 STE 的盲视频去闪烁(blind video deflickering, BVD)新方法 BlazeBVD,用于处理光照闪烁退化未知的低质量视频,尽可能保持原视频内容和色彩的完整性,已被计算机视觉顶会 ECCV 2024 接收。



论文链接:https://arxiv.org/pdf/2403.06243v1

 

BlazeBVD 针对的是视频闪烁场景,视频闪烁容易对时间一致性造成影响,而时间一致性是高质量视频输出的必要条件,即使是微弱的视频闪烁也有可能严重影响观看体验。究其原因,一般是由拍摄环境不佳和拍摄设备的硬件限制所引起,而当图像处理技术应用于视频帧时,这个问题往往进一步加剧。此外,闪烁伪影和色彩失真问题在最近的视频生成任务中也经常出现,包括基于生成对抗网络(GAN)和扩散模型(DM)的任务。因此在各种视频处理场景中,探索通过 Blind Video Deflickering (BVD)来消除视频闪烁并保持视频内容的完整性至关重要。

 

BVD 任务不受视频闪烁原因和闪烁程度的影响,具有广泛的应用前景,目前对此类任务的关注,主要包括老电影修复、高速相机拍摄、色彩失真处理等与视频闪烁类型、闪烁程度无关的任务,以及仅需在单个闪烁视频上操作,而不需要视频闪烁类型、参考视频输入等额外指导信息的任务。此外,BVD 现主要集中在传统滤波、强制时序一致性和地图集等方法,所以尽管深度学习方法在 BVD 任务中取得了重大进展,但由于缺乏先验知识,在应用层面上受到较大阻碍,BVD 仍然面临诸多挑战。


BlazeBVD: 有效提高盲视频去闪烁效果

 

受经典的闪烁去除方法尺度时间均衡(scale-time equalization, STE)的启发,BlazeBVD 引入了直方图辅助解决方案。图像直方图被定义为像素值的分布,它被广泛应用于图像处理,以调整图像的亮度或对比度,给定任意视频,STE 可以通过使用高斯滤波平滑直方图,并使用直方图均衡化校正每帧中的像素值,从而提高视频的视觉稳定性。虽然 STE 只对一些轻微的闪烁有效,但它验证了:

(1)直方图比像素值紧凑得多,可以很好地描绘光亮和闪烁信息。

(2)直方图序列平滑后的视频在视觉上没有明显的闪烁。


因此,利用 STE 和直方图的提示来提高盲视频去闪烁的质量和速度是可行的。

 

BlazeBVD 通过对这些直方图进行平滑处理,生成奇异帧集合、滤波光照图和曝光掩码图,可以在光照波动和曝光过度或不足的情况下实现快速、稳定的纹理恢复。与以往的深度学习方法相比,BlazeBVD 首次细致地利用直方图来降低 BVD 任务的学习复杂度,简化了学习视频数据的复杂性和资源消耗,其核心是利用 STE 的闪烁先验,包括用于指导消除全局闪烁的滤波照明图、用于识别闪烁帧索引的奇异帧集,以及用于识别局部受过曝或过暗影响的区域的曝光图。

 

与此同时,利用闪烁先验,BlazeBVD 结合了一个全局闪烁去除模块(GFRM)和一个局部闪烁去除模块(LFRM),有效地矫正了个别相邻帧的全局照明和局部曝光纹理。此外,为了增强帧间的一致性,还集成了一个轻量级的时序网络(TCM),在不消耗大量时间的情况下提高了性能。



图 1:BlazeBVD 方法与已有方法在盲视频去闪烁任务上的结果对比

 

具体而言,BlazeBVD 包括三个阶段:

首先,引入 STE 对视频帧在光照空间下的直方图序列进行校正,提取包括奇异帧集、滤波后的光照图和曝光图在内的闪烁先验。

其次,由于滤波后的照明映射具有稳定的时间性能,它们将被用作包含 2D 网络的全局闪烁去除模块(GFRM)的提示条件,以指导视频帧的颜色校正。另一方面,局部闪烁去除模块(LFRM)基于光流信息来恢复局部曝光图标记的过曝或过暗区域。

最后,引入一个轻量级的时序网络(TCM)来处理所有帧,其中设计了一个自适应掩模加权损失来提高视频一致性。


通过对合成视频、真实视频和生成视频的综合实验,展示了 BlazeBVD 优越的定性和定量结果,实现了比最先进的模型推理速度快 10 倍的模型推理速度。 

 


图 2:BlazeBVD 的训练和推理流程

实验结果


大量的实验表明,盲视频闪烁任务的通用方法——BlazeBVD,在合成数据集和真实数据集上优于先前的工作,并且消融实验也验证了 BlazeBVD 所设计模块的有效性。

 


表 1:与基线方法的量化对比



图 3:与基线方法的可视化对比



图 4:消融实验

以影像科技助力生产力

 

该论文提出了一种用于盲视频闪烁任务的通用方法 BlazeBVD,利用 2D 网络修复受光照变化或局部曝光问题影响的低质量闪烁视频。其核心是在照明空间的 STE 滤波器内预处理闪烁先验;再利用这些先验,结合全局闪烁去除模块(GFRM)和局部闪烁去除模块(LFRM),对全局闪烁和局部曝光纹理进行校正;最后,利用轻量级的时序网(TCM)提高视频的相干性和帧间一致性,此外在模型推理方面也实现了 10 倍的加速。

 

作为中国影像与设计领域的探索者,美图不断推出便捷高效的 AI 功能,为用户带来创新服务和体验,美图影像研究院(MT Lab)作为核心研发中枢,将持续迭代升级 AI 能力,为视频创作者提供全新的视频创作方式,打开更广阔的天地。

2024-07-22 16:166137

评论

发布
暂无评论
发现更多内容

堪称教学神器的5款软件,每一款都值得推荐!

彭宏豪95

效率工具 在线教育 在线白板 办公软件 在线协作

Jetson Xavier nx 全盘加密

一五

AI 边缘计算 jetson 全盘加密 jetson xavier nx

工作中总结的30个常用Linux指令,实在记不住就别硬记了,看这篇就够了

快乐非自愿限量之名

Linux 运维 服务器

在 ASP.NET Core 中使用 HttpClient

雄鹿 @

ASP.NET Core

浅析KV存储之长尾时延问题,探寻行业更优解决方案!

平平无奇爱好科技

28+岗位!百度安全2025届实习生招聘火热进行中

百度安全

适合老师使用的在线教学软件推荐!这一款千万别错过。

彭宏豪95

在线教育 在线白板 办公软件 教学 效率软件

足球场上的黑科技:图神经网络优化角球

算AI

#人工智能

新版Redis不再“开源”,对使用者都有哪些影响?

平平无奇爱好科技

【干货分享】华为云多模数据库GeminiDB架构与应用实践直播问答实录

平平无奇爱好科技

一文读懂兼顾隐私、高性能和可拓展的公链Partisia Blockchain

BlockChain先知

让 AI 帮你写代码,开发提效神器来了

阿里巴巴云原生

阿里云 AI 云原生

Partisia Blockchain:真正做到兼顾隐私、高性能和可拓展的公链

股市老人

业内首个!央广网APP率先完成鸿蒙原生应用全量版本开发,领跑鸿蒙化进程

最新动态

大模型的 Token 使用详解:限制与注意事项

木南曌

大模型

中国超高清自有珠穆朗玛:双Vivid是什么?

脑极体

音视频

C++ 运算符全解析:从基础概念到实际应用

小万哥

程序人生 编程语言 软件工程 C/C++ 后端开发

华为云GeminiDB发布新版本,全面支持Redis 6.2

平平无奇爱好科技

究竟什么样的数据库,才能承接RTA广告这个技术活!

平平无奇爱好科技

华为云原生多模数据库GeminiDB架构与应用实践

平平无奇爱好科技

怎样让 API 快速且轻松地提取所有数据?

技术冰糖葫芦

API 接口 API 文档

一文读懂兼顾隐私、高性能和可拓展的公链Partisia Blockchain

股市老人

What's new in PikiwiDB (Pika) v3.5.3 (正式版)

apache/dubbo-go

nosql redis

Partisia Blockchain:如何做到兼顾隐私、高性能和可拓展?

石头财经

小程序应用市场发展趋势分析

Onegun

小程序 小程序平台

Golang DB连接池ErrBadConn的应用

三七互娱后端技术团队

golang MySQL

2024-03-27:用go语言,多维费用背包。 给你一个二进制字符串数组 strs 和两个整数 m 和 n, 请你找出并返回 strs 的最大子集的长度,该子集中 最多 有 m 个 0 和 n 个

福大大架构师每日一题

福大大架构师每日一题

GeminiDB新特性:让Redis广告频控爱不释手的exHASH

平平无奇爱好科技

ECCV 2024|有效提高盲视频去闪烁的新方法——BlazeBVD_计算机视觉_InfoQ精选文章