写点什么

基于深度学习的图像修补 / 完整方法分析

  • 2019-08-29
  • 本文字数:3592 字

    阅读完需:约 12 分钟

基于深度学习的图像修补/完整方法分析

修补的方法基本上也是基于梯度/边缘的连续性或者纹理的扩展性,而传统机器学习方法可以学习有先验知识的图像合成方法。下面介绍深度学习的方法。


Pluralistic Image Completion 是一种多元(Pluralistic)图像完整(image completion)的方法【1】,它为图像完整生成多种多样的合理解决方案。基于学习的方法面临的主要挑战是,通常每个标签只有一个 GT 训练实例。从条件的变分自动编码器(CVAE)采样仍然导致最少多样性。为此,采用基于概率原理的两个并行路径框架:一个是重建路径,利用给定的 GT 来得到缺失的部分先验,并从该分布重建原始图像;另一种是生成路径,条件先验与重构路径中的分布耦合在一起。两个路径都基于 GAN,另外还有一个短距加长距的注意层(attention layer),利用了解码器和编码器特征之间的远距离关系,提高了外观的一致性。


如图给出屏蔽输入的完整策略:“确定性”结构直接预测 GT 实例;“CVAE”增加随机抽样以使产出多样化;“实例盲”仅匹配可见部分,但训练不稳定;“双路径方法”【1】在测试期间使用生成路径,但在训练期间由并行的重建路径引导;黄色路径用于训练。如下对各部分分别解释一下。


假设一个图像,最初是 Ig,许多缺失的像素使其退化成为包含可见像素的 Im(被掩盖部分图像)。 定义 Ic 为包括原始缺失像素的补充(complement)部分图像。经典图像完整法试图以确定的方式从 Im 重建原始未掩盖的图像 Ig(见图“确定性”),这导致一个解决方案。 相反,双路径法想做的是从 p(Ic | Im)进行采样。


为了得到样本的分布,目前的方法是采用 CVAE 来估计潜空间的参数分布,然后从中采样(见图“CVAE”)。这涉及观察训练实例的条件对数似然函数 logp(Ic | Im)的变分下限:



其中 zc 是潜向量,qψ(·|·)是后验重要采样(importance sampling)函数,pφ(···)是条件先验函数,pθ(·|·)是似然函数,其中ψ,φ和θ是相应函数的深度网络参数。对所有参数,该下限最大化。


输出多样化的一种方法是,在训练期间简单不刺激输出去重建实例特有的 Ig,只需要适应训练集分布,如学习的对抗鉴别器那样(见图“实例盲(Instance Blind)“)。尽管如此,该方法不是很稳定,特别在复杂的大环境里。



双路径法【1】要求提供丢失的部分图像作为完整图像的超集,也是来自潜空间分布,已知为 p(zc)的平滑先验知识。这样,log p(Ic)的变分下限是:



当涉及到部分图像时这会更具辨别力,因为有不同数量的像素。更多像素(较大孔)的缺失部分图像 Ic 比较少像素(较小孔)的缺失部分图像 Ic 更大的潜先验方差。因此,为适应像素数 n,广义化先前的 p(zc)= Nm(0,σ2(n)I)。


将潜先验知识组合成条件对数似然函数的条件下限,只需要假设 zc 与 Ic 比与 Im 更密切相关,因此得到:



这样条件对数似然函数 logp(Ic | Im)的变分下限变成:



然而,不同的是,训练期间不再自由学习 qψ(zc | Ic),但其在变分下限的存在联系在一起。直观地,qψ(zc | Ic)的学习由变分下限的先验知识 p(zc)正则化,而条件先验 pφ(zc | Im)的学习依次由上面条件对数似然函数变分下限中的 qψ(zc | Ic)正则化。


上面条件对数似然函数 logp(Ic | Im)变分下限的一个问题是:在训练期间采样取自 qψ(zc | Ic),但在测试期间这不行,因此采样必须来自 pφ(zc | Im),这个可能无法充分学习。 为了缓解这个问题,将上面变分下限修改为重要采样(importance sampling)有和无二者的混合形式,简化写成:




当从重要函数(importance function)qψ(·| Ic)采样时,整个训练实例可用,并且似然函数 prθ(Ic | zc,Im)侧重于 Ic 的重构。相反,从学习的不包含 Ic 的条件先验 pφ(·| Im)采样时,让似然函数模型:



和 Ic 的原始实例(original instance)无关,可促进创造性生成(creative generation)。 不然,它只鼓励生成样本适应于整体的训练分布。


然后,总训练目标可以表示为联合最大化 log p(Ic)和 logp(Ic | Im)两个的变分下限,其中前者中的似然函数统一到后者,即




如下图是并行双路径的框架图:重建流水线(黄线)组合 Im 和 Ic 的信息用于训练;生成流水线(蓝线)推断隐藏区域的条件分布,在测试期间进行采样;表示和生成两个网络共享一样的权重。



该网络由两条路径组成:重建路径使用来自整个图像的信息,即 Ig = {Ic,Im},而生成路径仅使用来自可见区域 Im 的信息。另外:


• 对于重建路径,补充元素图像 Ic 用于推断训练期间的重要函数 qψ(·| Ic)=Nψ(·)。因此,采样的潜在向量 zc 包含缺失区域的信息,而条件特征 fm 对可见区域的信息进行编码。由于有足够的信息,该路径损失函数适合于重建原始图像 Ig。


• 对于生成路径(也是测试路径),仅基于可见 Im 推断洞 Ic 的潜分布。这明显不如路径中的推断准确。因此,重建损失仅针对可见区域 Im(经由 fm)。


• 此外,在两条路径上使用对抗学习网络,理想情况下确保完整的合成数据符合训练集分布,并凭经验得出更高质量的图像。


训练的损失函数定义如下:



其中分布正则化损失:




外观匹配损失:




对抗损失:




从自注意(Self-Attention)GAN 扩展出来,不仅在解码器层使用自注意图(self-attention map)来利用远距离空间上下文(distant spatial context),还要进一步捕获编码器和解码器之间的特征-特征上下文(feature-feature context)。 关键点是:让网络选择在编码器中使用更精细的特征,或者在解码器中使用更具语义生成的特性,下图是长+短距注意层的架构图所示。



如下图是通过实验结果对训练中不同策略的比较:双路径(顶部),CVAE(中部)和实例盲(底部)。



下图是不同注意模块的注意力图比较:长短距注意图(顶部)和上下文注意图(底部)。



深度图像完整通常无法将恢复的图像和谐地混合到现有内容中,尤其是在边界区域中。【2】从创建平滑过渡的角度考虑,提出简洁的深度融合网络(DFNet)。首先,引入融合块生成用于组合已知和未知区域的α组合图(alpha composition map)。融合模块不仅在恢复的内容和现有内容之间提供平滑的融合,而且提供注意力图(attention map),使网络更多地关注未知像素。通过这种方式,在结构和纹理信息之间构建了一个桥梁,使信息自然地从已知区域传播直到完整。


此外,DFNet 的融合块嵌入到网络的几个解码器层中。随着每层可调的损失约束,图像完整实现了更精确的结构信息恢复。


下图是融合块的示意图:融合块通过可学习的函数 M 从特征图中提取原始完整信息,并预测函数 A 的 alpha 合成图。最后,它通过混合函数 B 将原始完整与缩放的输入图像组合在一起。



如图所示,DFNet 建立在类似 U-Net 模型的体系结构上。和原始 U-Net 之间的区别在于,融合块嵌入到多个解码器层。融合块有助于在边界附近实现更平滑的过渡,并且是多尺度约束的关键组件。 一个融合块馈入两个元素,具有未知区域的输入图像 Iin 和特征映射 Fk 形成第 k 层(第一层是 U-Net 的最后一个解码器层)。 这个融合块首先从特征图中提取原始完整 Ck,然后预测α组合图αk,最后结合起来。最终结果 Iˆk 通过以下方式获得:



其中缩放 Iin 得到 Ik,通过可学习函数 M 从特征映射 Fk 提取的原始完整 Ck:



M(x)将 n 个通道特征图 x 变换为 3 通道图像,分辨率不变,即原始完整。 实际上,通过 1×1 卷积层加 sigmoid 函数来学习 M。alpha 合成图αk 由另一个可学习的函数 A 从原始完整和缩放的输入图像产生:



直观地说,在图像被完整时,在算法的较低分辨率构造结构更容易,而在高分辨率下纹理恢复更可行。 将融合块嵌入到 U-Net 的最后几个解码器层中,并以不同的分辨率获得完整结果。 然后,根据需要将结构和纹理约束应用于不同的分辨率。


每个融合块输出与输入特征图 Fi 相同分辨率的完整结果 Ci。 根据分辨率,可以在训练期间提供不同的约束。在测试期间,仅需要来自最后一层的完整结果 I0。



损失函数定义如下:先是重建损失:



感知和风格损失分别是:




其中克矩阵(Gram matrix):



最后,总的损失函数是:



其中结构和纹理损失分别是:



如图是实验结果比较:第 2 行可以看出,基于更多的融合块,建筑结构更加清晰和准确。 此外,在 3 个融合块的结果描绘了房屋的形状,而不是 1 个融合块结果的噪声。虽然编码器高层有更大的感知场和全局上下文,但在解码器更多层可以更容易地重建结构信息。


参考文献

  1. C Zheng, T Cham, J Cai,“Pluralistic Image Completion”, CVPR 2019

  2. X Hong et al.,“Deep Fusion Network for Image Completion”, arXiv 1904.08060, 2019

作者介绍

黄浴,奇点汽车美研中心总裁和自动驾驶首席科学家,上海大学兼职教授。曾在百度美研自动驾驶组、英特尔公司总部、三星美研数字媒体研究中心、华为美研媒体网络实验室,和法国汤姆逊多媒体公司普林斯顿研究所等工作。发表国际期刊和会议论文 30 余篇,申请 30 余个专利,其中 13 个获批准。

原文链接

注:本文源自黄浴的知乎:https://zhuanlan.zhihu.com/p/78874490


2019-08-29 22:003335

评论

发布
暂无评论
发现更多内容

技术分享 | 在 IDE 插件开发中接入 JCEF 框架

LigaAI

后端 IDEA web技术分享 前段 IDE插件

CloudQuery x GBase,信创数据库管控革新之路

BinTools图尔兹

sql 数据库管理 数据库安全 人大金仓 南大通用

收藏这几个开源库,写css你会笑出声

伤感汤姆布利柏

CSS 开源 低代码

【TiDB 技术视频合集】史上最全的 121 个 TiDB 用户实践技术视频合集来啦!

TiDB 社区干货传送门

智能合约|质押挖矿Dapp系统开发

薇電13242772558

dapp

前端必学——实现电商图片放大镜效果(附代码)

小齐写代码

零代码AppLink平台触发事件组件

RestCloud

零代码 APPlink

高效视频增强和修复工具 Topaz Video AI 激活最新版

胖墩儿不胖y

Mac软件 视频编辑 视频处理软件 视频修复工具

记 Rakuten 技术分享会

TiDB 社区干货传送门

实践案例 社区活动

TiDB x 汉口银行丨分布式数据库应用实践

TiDB 社区干货传送门

实践案例

OpenMLDB v0.8.4 诊断工具全面升级

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

TiDB 在咪咕云原生场景下的实践

TiDB 社区干货传送门

实践案例

星河创新,开拓新纪!2023“星河产业应用创新奖”报名全面开启!

飞桨PaddlePaddle

星河社区

XTransfer与腾讯云达成战略合作 助力外贸数字化转型

XTransfer技术

腾讯云 出海 XTransfer 跨境金融

【SOP】最佳实践之 TiDB OOM 分析

TiDB 社区干货传送门

性能调优 实践案例 集群管理 管理与运维 故障排查/诊断

MySQL 到 TiDB:vivo 的 Hive Metastore 横向扩展之路

TiDB 社区干货传送门

实践案例

java 注解原理

橙子橘子柚子皮

注解 反射 代理模式 Java’

阿里云Elasticsearch Severless 如何做到成本降低50%

阿里云大数据AI技术

开源 云原生

漆包线行业你了解多少?

万界星空科技

网站定制开发主要分类|企业app软件小程序定制

Geek_16d138

网站建设 软件定制开发

OpenMLDB SQL 开发调试神器 - OpenMLDB SQL Emulator

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

即时通讯技术文集(第24期):音视频WebRTC好文合集 [共20篇]

JackJiang

网络编程 即时通讯 IM

万界星空科技SMT行业生产管理MES系统解决方案

万界星空科技

数字化 工业互联网 工业4.0 制造业生产管理系统 工业制造

基于深度学习的图像修补/完整方法分析_AI&大模型_黄浴_InfoQ精选文章