腾讯多媒体实验室：探索图像视频降噪，还原你眼中的高清“视界”（二）

探索图像视频降噪技术，经典方法+深度学习双管齐下

据李松南介绍，腾讯多媒体实验室在图像视频降噪领域已经积累多年。以数码相机拍摄产生的噪点为例：噪声主要是由于感光元器件接收光子的随机性产生，而单位面积内平均接收到的光子越多，信号的信噪比越大，人眼感受到的噪声就越小。因此可以通过增大感光元件的尺寸，提升单位感光面积来提高信噪比，这也就是为什么数码相机领域素有“底大一级压死人”的说法。“我们还可以采用更先进的感光元件技术以及像素融合（多个像素组合成一个像素，提升单位像素内的光信息量）的方式来解决这一问题，这也是目前图像视频降噪技术领域常见的硬件手段。”

由于制造工艺的限制，在同一技术框架下，硬件不可能做到无止境的提升，为了进一步解决噪声问题，需要借助软件。基于统计模型的单帧降噪是可选项之一，它具备速度快、效果好的特点。与之相对的，为了弥补单帧降噪应用场景的局限性，多帧降噪也是目前常见的降噪方法。简单来说，多帧降噪通过对齐和融合的步骤，将连续的多帧图像合成一帧图像，增加了图像的信噪比，克服了长时间曝光带来的图像模糊。

为了进一步提升降噪的质量和效率，近年来应用广泛的深度学习方法也被应用在了图像视频降噪领域。李松南表示，基于深度学习的降噪算法，在计算复杂度方面还存在较大问题，但随着硬件能力的升级以及异构计算的使用，复杂度问题已经慢慢开始得到解决。此外，大规模的真实噪声数据库、模拟真实噪声等技术手段的出现，也让深度学习方法的效率和质量获得了进一步的提升。目前腾讯多媒体实验室在该领域的研究成果已广泛应用于腾讯云、全民 K 歌、微视等腾讯旗下的产品之中。

展望未来，图像视频降噪技术大有可为

在建国 70 周年纪念日之际，高清重制的《开国大典》横扫各大社交平台，圈粉无数，而图像视频降噪技术在重制的过程中扮演了极为重要的角色。目前，图像视频降噪技术呈现出硬件化、智能化以及多功能化三个发展趋势，通过数据采集端的专用硬件，辅以更高的深度学习比重以及构建能够同时处理多种失真的模型的方式，实现更加高效、更加便捷的图像视频降噪处理。

腾讯多媒体实验室，专注于多媒体技术领域的前沿技术探索、研发、应用和落地，包含音视频编解码、网络传输和实时通信，基于信号处理和深度学习的多媒体内容处理、分析、理解和质量评估，互动沉浸式媒体（VR、AR、点云等）系统设计和端到端解决方案；同时负责国际国内行业标准制定，包含多媒体数据压缩，网络传输协议，多媒体系统和开源平台等。

李松南介绍说，“我们将在未来进一步发力图像视频降噪技术，将越来越多如《开国大典》一般具备着重要意义的影像资料以高清晰度重现在我们面前。未来，我们还将看到这一技术在更多的领域大放异彩。”