一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法

技术领域

本发明属于图像修复领域，更具体地说是涉及一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法。

背景技术

随着人工智能和计算机技术的快速发展，我们步入了一个全面信息化、智能化的新时代。图像作为人们信息获取和传播的重要载体，受到人们的极大重视。相比于文字、符号等信息载体，图像以更为直观、具体、充分的方式来表达和传递重要信息。此外，数字图像因具有高效、便捷的特点，在图像处理技术中扮演着重要的角色。但是，图像在获取过程中往往会受到外界环境干扰，最后采集到的图像并不能保证每次都是清晰的、直观的。另外，图像在传输过程中很容易会受到一定程度的损坏。这将严重影响人们的视觉效果，同时也对图像相关工作的研究造成严重的影响。因此，图像修复成为了图像处理任务中的一项非常重要的研究内容。

图像修复(Image inpainting)又称为图像复原，它的主要目标是依据缺失图像中已知区域的信息来修复图像缺失区域的信息。图像修复技术最早起源于欧洲文艺复兴时期，当时很多壁画、实体画像等艺术珍品由于时间太久和保护不当等缘故，遭到不同程度的损坏，失去原有的风貌。图像修复者为了保存这些艺术珍品，以现存的部分壁画或画像为依据来填充受损区域，保留了作品的完整性。Betalmio等人在20世纪初明确提出了图像修复的概念并成功将该技术引入到计算机视觉领域中。近年来，随着图像修复相关理论知识和相关技术的不断完善和发展，研究者们提出了一系列用于图像修复的方法，不断提升了图像修复的效果。与此同时，图像修复技术被广泛应用于图像处理、文物保护、医学、电影行业等领域。

随着深度学习技术的不断发展与完善，越来越多的图像修复方法被提出。与传统图像修复方法相比，基于深度学习的图像修复方法在解决大面积缺失图像的修复任务中展现了突出优势。利用深度神经网络模型强大的学习能力和特征表达能力，能够更好的捕获人类所感知不到的更加抽象的高级语义图像特征，适用于任意大小、形状和位置缺失区域的修复。近几年，随着GANs理论知识与技术的不断完善与发展，GANs在众多领域取得了优异的成绩。特别的，GANs网络的提出给图像修复任务提供了全新的手段和技术，GANs网络凭借着其强大的生成能力和特征表达能力，在图像修复任务中取得了显著的成功。在GANs网络研究和学习的基础上，研究者们成功的提出了大量的基于生成对抗网络的图像修复算法。这些算法均以GANs网络为基准，采用对抗的思想进行训练，最终使得生成网络所生成的图像越来越接近于真实图像，以至于判别网络无法判别出真假。

本发明提出了一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法。之所以称为两阶段，是因为模型结构分为粗糙修复和精细修复两个步骤。其中，粗糙修复阶段主要使用卷积网络结构来提取受损图像的特征以完成图像缺失区域内容的填充；精细修复阶段则将粗修复阶段的生成图像作为输入并以此来引导缺失区域的像素生成。整个网络通过联合损失函数的梯度反向传播进行端到端的训练。

本发明的主要工作与贡献为：

本发明提出了一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法。其中，第一阶段的粗糙网络结构采用了带有空洞卷积残差块的生成网络结构，将网络所生成的图像作为精细网络的输入；第二阶段的精细网络采用并行结构，由上下文注意力模块和卷积模块并行组成。这一结构的设计主要考虑到上下文注意力模块在图像修复中的作用。整个网络能够在生成新的图像缺失区域内容的同时，有效地从离图像缺失区域较远位置提取图像有效信息并以此作为参考，更好地引导图像缺失区域内容的生成，提高图像修复的质量。

发明内容

本发明的目的在于克服现有图像修复技术的不足，提供了一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法。之所以称为两阶段，是因为模型结构分为粗糙修复和精细修复两个步骤。其中，粗糙修复阶段主要使用卷积网络结构来提取受损图像的特征以完成图像缺失区域内容的填充；精细修复阶段则将粗修复阶段的生成图像作为输入并以此来引导缺失区域的像素生成。整个网络通过联合损失函数的梯度反向传播进行端到端的训练。该方法通过引入了上下文注意力模块，有效解决了卷积神经网络无法从离图像缺失区域较远的位置提取图像的有效信息的问题，并且两阶段的网络结构可以有效提取到缺失的人脸图像特征，提高最终图像修复的质量。

本发明提出的一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法，包括以下两个模块：

模块1：生成器。首先将带有缺失的人脸图像以及该图像所对应的二进制掩码(Mask)一同输入到粗糙网络中，经过下采样提取缺失人脸图像的特征，反卷积输出修复后的图像。接着将粗糙网络的输出作为精细网络的输入。这里第二阶段的网络结构是并行的，因此输入图像同时输入到卷积结构和上下文注意力模块中。其中，下层卷积结构同样加入了带有空洞卷积的残差块结构来进行下采样以提取图像的特征，上层则试图从缺失图像已知区域中搜索并匹配与缺失区域内容相近的图像块特征。随后，将上下两个模块所提取的图像特征进行结合，反卷积输出最终图像修复结果。

模块2：判别器。将网络生成的图像和真实图像一同输入到全局判别网络中进行真假判别，将生成的缺失区域的内容和真实图像对应区域的图像内容一同输入到局部判别网络中进行真假判别。整个网络通过损失函数的梯度反向传播进行优化。

本发明的优点和积极效果是：

本发明提出了一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法。其中，第一阶段的粗糙网络结构采用了带有空洞卷积残差块的生成网络结构，将网络所生成的图像作为精细网络的输入；第二阶段的精细网络采用并行结构，由上下文注意力模块和卷积模块并行组成。这一结构的设计主要考虑到上下文注意力模块在图像修复中的作用。整个网络能够在生成新的图像缺失区域内容的同时，有效地从离图像缺失区域较远位置提取图像有效信息并以此作为参考，更好地引导图像缺失区域内容的生成，提高图像修复的质量。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

附图1：为本发明提供的一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

本发明提出的一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法，主要包括生成器模块、判别器模块。

所述生成模块是将输入的带有缺失的人脸图像以及图像所对应的二进制掩码一同输入到生成器中，通过粗糙网络和精细网络对图像特征进行提取，然后通过反卷积操作将图像恢复到原先的大小输出。

整个网络的模型结构为(附图1)：

本发明所提出的一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法是一个端到端的人脸图像修复网络。在实际训练中，首先将带有缺失的人脸图像以及该图像所对应的二进制掩码(Mask)一同输入到粗糙网络中，经过下采样提取缺失人脸图像的特征，反卷积输出修复后的图像。接着将粗糙网络的输出作为精细网络的输入。这里第二阶段的网络结构是并行的，因此输入图像同时输入到卷积结构和上下文注意力模块中。其中，下层卷积结构同样加入了5个带有空洞卷积的残差块结构来进行下采样以提取图像的特征，上层则试图从缺失图像已知区域中搜索并匹配与缺失区域内容相近的图像块特征。随后，将上下两个模块所提取的图像特征进行结合，反卷积输出最终图像修复结果。最后，将网络生成的图像和真实图像一同输入到全局判别网络中进行真假判别，将生成的缺失区域的内容和真实图像对应区域的图像内容一同输入到局部判别网络中进行真假判别。整个网络通过损失函数的梯度反向传播进行优化。

具体的生成网络的模型结构为：

本发明提出的一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法的生成网络结构可分为两阶段。模型的第一阶段为粗糙网络，生成网络中加入了带有空洞卷积的残差块结构；模型的第二阶段为精细网络，该网络由上下文注意力模块和卷积模块组成，这两者以并联的方式结合在一起。特别需要指出的是，因为卷积神经网络无法从离图像缺失区域较远的位置提取图像的有效信息，所以我们引入了上下文注意力模块来解决这一问题，使得网络能够有效利用图像已知区域的纹理和结构，最终使得模型修复后的结果更加自然、更加精细。

具体的判别网络的结构为：

本发明提出的一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法的判别网络结构由全卷积神经网络组成。判别器将生成器生成的图像和真实图像一同输入到判别器中，判别器对输入进行判别后输出概率值。所述目标函数模块是指使用交叉熵损失来进行梯度反向传播。在整个过程中，生成器的生成能力和判别器的判别能力都在提高。

本发明提出了一种结合残差块和上下文注意力模块的两阶段的基于生成对抗网络的人脸修复方法。其中，第一阶段的粗糙网络结构采用了带有空洞卷积残差块的生成网络结构，将网络所生成的图像作为精细网络的输入；第二阶段的精细网络采用并行结构，由上下文注意力模块和卷积模块并行组成。这一结构的设计主要考虑到上下文注意力模块在图像修复中的作用。整个网络能够在生成新的图像缺失区域内容的同时，有效地从离图像缺失区域较远位置提取图像有效信息并以此作为参考，更好地引导图像缺失区域内容的生成，提高图像修复的质量。