写点什么

突破视频编码模式级压缩瓶颈:一种基于长短期相关性建模的帧内模式编码方法

李俊儒,张莉

  • 2023-03-04
    北京
  • 本文字数:2215 字

    阅读完需:约 7 分钟

突破视频编码模式级压缩瓶颈:一种基于长短期相关性建模的帧内模式编码方法

视频压缩的核心在于去除视频信号中的冗余信息,而其中对于空域冗余的去除通常使用帧内预测的方式来实现。比如,大多数的自然场景的图像内容变化平缓,相邻像素间表现出较强的相似性,因此可以利用周边已编码的信息通过特定的映射和插值实现对当前编码单元的帧内预测。这种帧内预测方式已经在标准领域得到广泛的应用。


在 H.264/AVC  标准 [1] 中,帧内预测利用左侧或上侧邻近已重构像素组成参考像素组,根据特定的映射来预测当前编码单元。对于编码单元尺寸为 4×4 的编码单元,有 9 种预测模式可供选择,其中包括 8 种角度模式和 DC 模式;编码单元尺寸为 16×16 的编码单元,则仅支持 4 种预测模式。 H.265/HEVC 标准 [2] 中扩展了帧内预测的方向,支持多达 33 种角度预测模式,以及直流( DC )预测模式和平面( Planar )预测模式。


为了更精细地预测视频中可能出现的任意方向的结构或纹理,新一代视频编码标准 H.266/VVC AVS3 ,分别将帧内预测模式的数量扩充到 67 和 66 种。此外, VVC 采纳了多行预测( Multi Reference Line , MRL ),扩充帧内预测的参考像素区域。 MRL 支持使用更远处的重构像素预测当前编码单元,进一步利用像素间的相关性去除空域冗余。帧内预测的发展进程如下图所示。


图 1. 帧内预测演进示意图


如上所述,在视频编码标准发展中,为了适应多样的纹理内容,帧内预测技术基于多假设的理论支持了更多高效的帧内预测模式。最优的预测模式需要通过率失真优化( Rate Dirstion Optimization , RDO )代价决策,其二值化索引则传递到解码端用于视频的解码重建。虽然细粒度的帧内预测设计可以为帧内编码带来性能增益,但帧内模式的传递代价却随之增大。在相同码率下,更丰富的预测模式使得预测模式的表达位占用的带宽也越来越高。因此,帧内预测模式的编码方式至关重要。若以等长编码为例,每个编码块使用 4 比特则足以表达对于 H.264/AVC 中的 9 种编码模式。当编码模式扩展到 67 个时,则需要使用 7 比特来编码帧内预测模式的索引。实际中,帧内模式的编码会通过构建最可能模式列表( Most Probable Mode , MPM )的方式,为出现概率较高的模式分配较短的码字,提高帧内模式编码的效率。在 AVC 标准中,针对 9 个预测模式设计了 1 个 MPM 的编码方式。


HEVC 标准采用 MPM 列表可包含 3 个最可能的帧内模式,以便更高效地表示 35 种预测模式。 VVC 标准则进一步扩展了帧内预测模式的编码方式, MPM 列表中包含 6 个候选项。最可能模式列表通常基于邻近编码单元(如左上方、左侧、左下方、上方、右上方)的帧内预测模式来构建,并使用一个标志位来区分当前预测模式是否为最可能预测模式。然而,仅利用空域邻近编码单元的预测模式信息来消除模式间的冗余,一定程度上限制了最可能模式预测的准确性。


根据信息论——为概率较大的符号分配较短的码字,对概率较小的符号分配较长的码字——能降低整体信源符号编码的平均码长。为进一步提升帧内模式编码的性能,我们针对新一代视频编码标准 VVC 和 AVS3 提出一种基于长期与短期相关性建模的帧内模式编码方法 [3] 。所提出的方案可以充分利用长期帧内模式的统计特性并结合短期帧内预测模式,高效构建最可能模式列表,打破传统帧内模式编码时仅考虑空域邻近帧内模式的局限性。帧内预测的长期模式级相关性体现在非邻近的相似纹理结构倾向于选用相同的帧内模式进行编码,如图 2 所示。


图 2. 局部区域内的帧内预测模式。浅蓝色为模式 66,粉色为模式 34,红色为 Planar 模式


具体来说,在编码和解码的过程中动态维护长期模式列表 以及 短期模式列表


长期模式列表 的构建是基于已编码帧内模式编码的统计,长期模式列表的具体构建与更新过程如图 3 所示。首先,根据当前帧内预测模式 Mi 对模式的频率 FnMi 进行更新,模式 Mi 更新后的频率为 Fn+1Mi 。其次,根据更新后的频率表中的频率值对频率表重新排序,频率高的排在靠前的位置。最后,按照频率高低导出更新后的模式表,模式表中最前面的模式对应的频率是最高的,出现频率最高的帧内模式将优先选入长期模式列表中。


图 3. 长期模式列表构建与更新示意图


短期模式 列表则基于纹理方向的空域延续性,主要由空域邻近编码单元的帧内模式构成。最终 MPM 列表的构建将通过预先训练的条件随机场模型来决策长期模式以及短期模式的组合方式, MPM 的构建过程如图 4 所示。


图 4. MPM 列表构建示意图


所提出的帧内模式编码可为 VVC 带来 1.4% 的性能增益且编解码复杂度几乎不变。部分屏幕内容测试序列在全 I 帧配置下可实现超过 6% 的 BD-Rate 节省。所提出的方法也可为 AVS3 软件平台带来明显的压缩性能提升,已被 AVS3 标准采纳。


参考文献


[1] T. Wiegand, G. J. Sullivan, G. Bjontegaard, and A. Luthra, “Overview of the H.264/AVC video coding standard,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 13, pp. 560–576, July 2003.

[2] G. J. Sullivan, J. Ohm, W. Han, and T. Wiegand, “Overview of the high efficiency video coding (HEVC) standard,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 22, pp. 1649–1668, Dec 2012.

[3] J. Li, M. Wang, L. Zhang, K. Zhang, H. Liu, S. Wang, S. Ma and W. Gao, “Unified intra mode coding based on short and long range correlations,” IEEE Transactions on Image Processing, vol. 29, pp. 7245-7260, June 2020.

2023-03-04 18:547172
用户头像
鲁冬雪 GMI Cloud China Marketing Manager

发布了 364 篇内容, 共 286.0 次阅读, 收获喜欢 299 次。

关注

评论

发布
暂无评论
发现更多内容

如何成为元宇宙最初的少数人?

博文视点Broadview

jackson学习之三:常用API操作

爱好编程进阶

Java 面试 后端开发

JAVA8之后的版本履历

爱好编程进阶

Java 面试 后端开发

最受欢迎的5种编程语言各有什么特点或优点?

源字节1号

软件开发 后端开发 编程语言、

Elasticsearch文档读写模型实现原理

爱好编程进阶

Java 面试 后端开发

JAVA 最常用实用的正则表达式校验

爱好编程进阶

Java 面试 后端开发

Mybatis源码解析:sql参数处理,原来可以这么简单-1

爱好编程进阶

Java 面试 后端开发

Apache ShardingSphere 5.1.1 正式发布

SphereEx

Apache 数据库 开源 ShardingSphere SphereEx

ZEGO 最后一公里网络传输的容灾及优化方案

ZEGO即构

后台开发 容灾 最后一公里

MySQL最全整理(面试题+笔记

爱好编程进阶

Java 面试 后端开发

大数据培训经典SQL面试题解析

@零度

sql 大数据开发

mysql sql语句大全

爱好编程进阶

Java 面试 后端开发

GPU底层技术、全球市场格局分析

Finovy Cloud

人工智能 云计算 云服务器 GPU服务器 GPU算力

OpenHarmony 3.1 Release正式发布,标准系统全方位升级!

叶落便知秋

大型IM系统有多难?万字长文,搞懂异地多活!

BeeWorks

CentOS 停止维护,一文看懂升级迁移路径

亚马逊云科技 (Amazon Web Services)

Tech 专栏

美区块链公司Espresso Systems口碑滑坡:知识产权、团队道德皆陷丑闻

西柚子

Java集合框架(四)

爱好编程进阶

Java 面试 后端开发

MyCat教程【简单介绍】

爱好编程进阶

Java 面试 后端开发

Nginx主要功能及使用

爱好编程进阶

Java 面试 后端开发

我,机器学习工程师,决定跑路了

OneFlow

机器学习 深度学习 AI 程序人生 MLOps

API 分页探讨:offset 来分页真的有效率吗?

爱好编程进阶

Java 面试 后端开发

client-go实战之五:DiscoveryClient

爱好编程进阶

Java 面试 后端开发

client-go实战之四:dynamicClient

爱好编程进阶

Java 面试 后端开发

找工作,你被“卷”到了吗?

InfoQ写作社区官方

招聘 就业 热门活动 拉勾招聘

视频画质增强最优解:微帧科技视频超高清引擎

微帧Visionular

计算机视觉 视频增强 电影修复

jackson学习之九:springboot整合(配置文件)

爱好编程进阶

Java 面试 后端开发

美区块链公司Espresso Systems口碑滑坡:知识产权、团队道德皆陷丑闻

小哈区块

Redis开发常用规范

爱好编程进阶

Java 面试 后端开发

理想汽车 x StarRocks:为 Hive 数据查询插上极速之翼!

StarRocks

大数据 数据分析 StarRocks

java培训:java流中的异常处理方法分享

@零度

JAVA开发 java流

突破视频编码模式级压缩瓶颈:一种基于长短期相关性建模的帧内模式编码方法_语言 & 开发_InfoQ精选文章