引言

复杂背景内容提取指的是从复杂的背景中提取出特定的内容，例如在图片中提取特定的文字，在图片中提取特定的叠加图层等等。

这是一个业界难题，基于传统的图像处理的方法存在准确率和召回率的问题，没法解决语义的问题。而主流的机器学习的方法，例如目标检测无法获取像素级别的位置信息，而语义分割的方法则只能提取像素而无法获取半透明叠加前的像素信息。

本文考虑到这些痛点，从UI2CODE业务的业务场景出发，采用了目标检测网络来实现内容召回，GAN网络实现复杂背景中特定前景内容的提取和复原。

处理流程

复杂背景的处理流程分为如下几个步骤

内容找回我们采用目标检测网络来实现，例如faster-tcnn或mark-rcnn等。如下图所示

根据拉普拉斯算子计算周边梯度，判断所处区域是否是复杂区域。

游戏目标检测模型本身等局限性，会导致无法达到限速级别等精准性，因此需要对位置做修正。如果是简单背景就可以基于梯度对思想做位置修正，具体计算方式如下

复杂背景时，上图是原图，下图是提取的文字区块。

此时提取出的框不是完全正确，那么此时根据梯度等机器视觉算法已经不能对位置做正确的修正了。本文提出了基于GAN网络的方式来解决复杂背景内容提取问题，网络的主要结构如下图所示

为什么选择GAN网络？

网络训练流程图

针对业务场景针对GAN网络做的优化

结果图1

结果图2

本篇我们通过复杂背景内容提取的介绍，提出了一种机器学习为主，图像处理为辅去精确获取特定前景内容的方法，得到了高精确率、高召回率和高定位精度的识别结果。

下图分别是传统算法grabcut，语义分割方法deeplab和本文方法的各个指标的情况。

本文转载自公众号闲鱼技术（ID：XYtech_Alibaba）。

原文链接：