显著性真值图的生成方法及显著性检测模型的训练方法

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种显著性真值图的生成方法及显著性检测模型的训练方法。

背景技术

视觉注意机制是指面对一个场景时，人类自动地对感兴趣区域(ROI，Region OfInterest)进行处理，而选择性地忽略不感兴趣区域。这些感兴趣区域被称之为显著性区域，而视觉显著性检测就是提取这种显著的区域。显著性检测在视觉跟踪、车辆检测、机器人人机交互中有十分广泛的应用。

传统方法利用对比度、颜色、中心目标等先验知识通过计算显著性值来进行显著性检测，但在复杂场景下无法准确计算显著性值，显著性识别效果差。深度卷积神经网络利用全监督方法在逐像素标注的真值下，通过改进网络结构，对网络不同层的特征采用不同的融合策略进行融合，并结合边缘检测任务或边缘保持方法细化边缘，获得了与真值标注相近的显著性图，在很大程度上超越了传统方法。全监督方法往往需要人工对图像进行逐像素标注，然后根据人工标注的真值来计算损失完成对模型的不断迭代更新以实现更好的性能，但此类方法对于图像的标注方式过于繁琐，且该方式往往无法提供大量的真值标注图像，从而进而影响显著性检测模型的训练结果。

发明内容

本申请实施例的目的在于提供一种显著性真值图的生成方法及显著性检测模型的训练方法，以改善“目前人工逐像素标注真值图像过于繁琐，且往往无法提供大量的真值标注图像，从而进而影响显著性检测模型的训练结果”的问题。

本发明是这样实现的：

第一方面，本申请实施例提供一种显著性真值图的生成方法，包括：获取待标记图像；将所述待标记图像输入至分类分支模型中，生成类激活图；其中，所述类激活图表征所述待标记图像中所述分类分支模型所关注的高亮区域；将所述待标记图像输入至回归分支模型中，生成显著性区域图；其中，所述显著性区域图为包含显著性边框的待标记图像；将所述类激活图中的高亮区域与所述显著性区域图中的显著性边框的内部区域的交集进行标记，生成显著性真值图。

在本申请实施例中，获取到待标记图像后，可以通过预先训练好的分类分支模型以及回归分支模型生成与待标记图像所对应的类激活图以及显著性区域图，然后通过对类激活图以及显著性区域图的交集区域进行自动标记即可生成显著性真值图。通过该方式了减少了人工逐像素标记真值过于繁琐、无法提供大量的真值标注图像等问题，缓解了标注的压力。且通过将类激活图与显著性区域图结合的方式来获取显著性真值图，也保证了显著性真值图标记的准确性。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，通过如下步骤获取所述分类分支模型以及所述回归分支模型：获取训练样本图像；其中，所述训练样本图像包括多个第一图像以及与每个所述第一图像对应的显著性特征图；依次将所述训练样本图像输入至初始分类模型中进行训练，得到所述分类分支模型，以及依次将所述训练样本图像输入至初始回归模型中进行训练，得到所述回归分支模型。

在本申请实施例中，在对分类分支模型以及回归分支模型进行训练时，训练样本图像中还结合了每个第一图像所对应的显著性特征图，通过该方式，一来提高了训练样本图像的多样性，二来可以使得分类分支模型所训练出的类激活图能够更加关注图像的显著性。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述生成与所述第一图像对应的显著性特征图，包括：获取多个所述第一图像；采用频率调谐算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的频率调谐结果图；采用多尺度边缘算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的多尺度边缘特征图；其中，所述频率调谐结果图以及所述多尺度边缘特征图均为所述显著性特征图。

在本申请实施例中，显著性特征图包括频率调谐结果图以及多尺度边缘特征图，通过该方式，能够进一步地提高训练样本图像的多样性，此外，还可以使得分类分支模型所训练出的类激活图能够从不同维度去关注到图像的显著性。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述将所述类激活图中的高亮区域与所述显著性区域图中的边框内部区域的交集进行标记，生成显著性真值图，包括：将所述类激活图中的高亮区域与所述显著性区域图中的边框内部区域的交集进行标记，生成第一标记图；通过全连接条件随机场算法对所述第一标记图进行后处理，生成对所述第一标记图中的粗糙标记进行优化后的第二标记图；其中，所述第二标记图为所述显著性真值图。

在本申请实施例中，首先将类激活图中的高亮区域与显著性区域图中的边框内部区域的交集进行标记，生成第一标记图，然后再通过全连接条件随机场算法对第一标记图进行后处理，进而得到显著性真值图，通过全连接条件随机场算法能够结合第一标记图中所有像素之间的关系对标记结果进行处理，优化第一标记图中粗糙标记，修正细碎的错分区域，同时得到更细致的标记结果。

第二方面，本申请实施例提供一种显著性检测模型的训练方法，包括：获取训练样本图像；将所述训练样本图像输入至初始模型中，得到所述训练样本图像中的每个像素点为显著区域的概率值；基于所述概率值以及显著性真值图计算损失值，并基于所述损失值对所述初始模型的模型参数进行优化，得到预测模型；其中，通过如上述第一方面实施例提供的显著性真值图的生成方法对所述训练样本图像进行标记，得到所述显著性真值图。

结合上述第二方面提供的技术方案，在一些可能的实现方式中，所述损失值的计算公式为：

第三方面，本申请实施例提供一种显著性真值图的生成装置，包括：获取模块，用于获取待标记图像；第一生成模块，用于将所述待标记图像输入至分类分支模型中，生成类激活图；其中，所述类激活图表征所述待标记图像中所述分类分支模型所关注的高亮区域；第二生成模块，用于将所述待标记图像输入至回归分支模型中，生成显著性区域图；其中，所述显著性区域图为包含显著性边框的待标记图像；标记模块，用于将所述类激活图中的高亮区域与所述显著性区域图中的显著性边框的内部区域的交集进行标记，生成显著性真值图。

第四方面，本申请实施例提供一种显著性检测模型的训练装置，包括：获取模块，用于获取训练样本图像；输入模块，用于将所述训练样本图像输入至初始模型中，得到所述训练样本图像中的每个像素点为显著区域的概率值；训练模块，用于基于所述概率值以及显著性真值图计算损失值，并基于所述损失值对所述初始模型的模型参数进行优化，得到预测模型；其中，通过如上述第三方面实施例提供的显著性真值图的生成装置对所述训练样本图像进行标记，得到所述显著性真值图。

第五方面，本申请实施例提供一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接；所述存储器用于存储程序；所述处理器用于调用存储在所述存储器中的程序，执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。

第六方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种电子设备的结构示意图。

图2为本申请实施例提供的一种显著性真值图的生成方法的步骤流程图。

图3为本申请实施例提供的一种分类分支模型的结构示意图。

图4为本申请实施例提供的一种回归分支模型的结构示意图。

图5为本申请实施例提供的一种显著性检测模型的训练方法的步骤流程图。

图6为本申请实施例提供的一种显著性真值图的生成装置的模块框图。

图7为本申请实施例提供的一种显著性检测模型的训练装置的模块框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

鉴于目前人工逐像素标注真值图像过于繁琐，且往往无法提供大量的真值标注图像，从而进而影响显著性检测模型的训练结果，本申请发明人经过研究探索，提出以下实施例以解决上述问题。

请参阅图1，本申请实施例提供的一种应用显著性真值图的生成方法和/或显著性检测模型的训练方法的电子设备100的示意性结构框图。本申请实施例中，电子设备100可以是，但不限于个人计算机(Personal Computer，PC)、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动上网设备(Mobile Internet Device，MID)等。在结构上，电子设备100可以包括处理器110和存储器120。

处理器110与存储器120直接或间接地电性连接，以实现数据的传输或交互，例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。显著性真值图的生成装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在电子设备100的操作系统(Operating System，OS)中的软件模块。显著性检测模型的训练装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在电子设备100的操作系统(Operating System，OS)中的软件模块。处理器110用于执行存储器120中存储的可执行模块，例如，显著性真值图的生成装置所包括的软件功能模块及计算机程序等，以实现显著性真值图的生成方法。处理器110可以在接收到执行指令后，执行计算机程序。

其中，处理器110可以是一种集成电路芯片，具有信号处理能力。处理器110也可以是通用处理器，例如，可以是中央处理器(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外，通用处理器可以是微处理器或者任何常规处理器等。

存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory，EPROM)，以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)。存储器120用于存储程序，处理器110在接收到执行指令后，执行该程序。

应当理解，图1所示的结构仅为示意，本申请实施例提供的电子设备100还可以具有比图1更少或更多的组件，或是具有与图1所示不同的配置。此外，图1所示的各组件可以通过软件、硬件或其组合实现。

请参阅图2，图2为本申请实施例提供的显著性真值图的生成方法的步骤流程图，该方法应用于图1所示的电子设备100。需要说明的是，本申请实施例提供的显著性真值图的生成方法不以图2及以下所示的顺序为限制，该方法包括：步骤S101-步骤S104。

步骤S101：获取待标记图像。

步骤S102：将待标记图像输入至分类分支模型中，生成类激活图；其中，类激活图表征待标记图像中分类分支模型所关注的高亮区域。

步骤S103：将待标记图像输入至回归分支模型中，生成显著性区域图；其中，显著性区域图为包含显著性边框的待标记图像。

步骤S104：将类激活图中的高亮区域与显著性区域图中的显著性边框的内部区域的交集进行标记，生成显著性真值图。

综上，在本申请实施例中，获取到待标记图像后，可以通过预先训练好的分类分支模型以及回归分支模型生成与待标记图像所对应的类激活图以及显著性区域图，然后通过对类激活图以及显著性区域图的交集区域进行自动标记即可生成显著性真值图。通过该方式了减少了人工逐像素标记真值过于繁琐、无法提供大量的真值标注图像等问题，缓解了标注的压力。且通过将类激活图与显著性区域图结合的方式来获取显著性真值图，也保证了显著性真值图标记的准确性。

下面结合示例对显著性真值图的生成方法的具体步骤流程进行说明。

在步骤S101中，待标记图像可以是场景图，比如需要对车辆进行检测，则场景图可以是路口的电子眼采集的图像；待标记图像也可以是人体图，比如需要对人体进行检测，则人体图为包含整个人体的图像，具体的，可以是包含一两个行人的图像。

在步骤S102中，分类分支模型为预先训练好的网络模型，该模型用于输出与输入的待标记图像所对应的类激活图。需要说明的是，类激活图表征待标记图像中分类分支模型所关注的高亮区域，更能表现各类别的形状。

具体的，通过如下步骤获取分类分支模型：获取训练样本图像，将训练样本图像输入至初始分类模型中进行训练，得到分类分支模型。

请参阅图3，图3示出了初始分类模型的结构示意图。初始分类模块包括多个卷积层(CONV)、一个全局平均池化层(GAP)以及输出层，最终训练完成的分类分支模型结构与初始分类模型结构相同。

其中，多个卷积层、全局平均池化层以及输出层之间依次连接。第一个卷积层用于接收输入的样本训练图像，全局平均池化层用于将最后一个卷积层输出的特征图进行均值化，例如输入一个维度为5*5*10特征图，其中10代表通道，那么经过GAP输出后，维度大小则为1*1*10，也就是把每一张特征图全局做了一个均值，得到一个值。输出层用于将特征图与各自对应的权重值(W

可选地，为了提高训练样本图像的多样性以及使分类分支模型所训练出的类激活图能够更加关注图像的显著性，还可以对图像进行显著性处理，具体的，所述获取训练样本图像，包括：获取多个第一图像，生成与每个第一图像对应的显著性特征图。其中，多个第一图像以及每个第一图像对应的显著性特征图均为训练样本图像。

可选地，上述的显著性特征图可以是频率调谐结果图。也即，生成与每个第一图像对应的显著性特征图，包括：采用频率调谐(Frequency-tuned，FT)算法对每个第一图像进行处理，生成与每个第一图像对应的频率调谐结果图。

需要说明的是，FT算法是利用颜色特征的中央-周边算子来得到显著图。该算法的表达式为：

S(p)＝||I

上式(1)中，S(p)表示频率调谐结果图，I

可选地，上述的显著性特征图还可以是多尺度边缘特征图。也即，生成与每个第一图像对应的显著性特征图，包括：采用多尺度边缘算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的多尺度边缘特征图。

其中，多尺度边缘算法的表达是为：

上述(2)中，f

当然，为了进一步的提高样本的多样性，显著性特征图还可以同时包括多尺度边缘特征图以及频率调谐结果图。当采用上述两种显著性特征特作为训练样本图像能够进一步地提高训练样本图像的多样性，此外，还可以使得分类分支模型所训练出的类激活图能够从不同维度去关注到图像的显著性。

在其他实施例中，还可以利用其他传统的获取显著性特征图的方式，比如通过对比度来获取显著性特征图，对此，本申请不作限定。

在步骤S103中，回归分支模型为预先训练好的网络模型，该模型用于输出与输入的待标记图像所对应的显著性区域图。需要说明的是，显著性区域图为包含显著性边框的待标记图像。

具体的，通过如下步骤获取回归分支模型：获取训练样本图像，将训练样本图像输入至初始回归模型中进行训练，得到回归分支模型。

请参阅图4，图4示出了初始回归模型的结构示意图。图4示出了初始回归模型的结构示意图。初始回归模块包括多个卷积层(CONV)、一个RPN(Region Proposal Network，区域生成网络)模块、一个ROI池化层(pooling)以及全局平均池化层(avg)。最终训练完成的模型结构与初始回归模型结构相同。

初始回归模块的具体连接关系可以参考图4，其中，RPN模块为提取候选框的网络。ROI池化层其功能是能够将映射在卷积特征图上的不同大小的ROI，提取相同大小的特征图(feature map)。其中，训练过程中需要对图像进行标记，此处的标记仅为标记显著性区域的边框即可，然后根据标记显著性区域的边框来计算损失完成对模型的不断迭代更新训练。

可选地，为了增强样本的多样性等，还可以对图像进行显著性处理，具体的，所述获取训练样本图像，包括：获取多个第一图像，生成与每个第一图像对应的显著性特征图。其中，多个第一图像以及每个第一图像对应的显著性特征图均为训练样本图像。

可选地，上述的显著性特征图同样可以包括多尺度边缘特征图以及频率调谐结果图中的任意一种或两种，该步骤下显著性特征图的生成方式可以参考前述实施例中的说明，对此，本申请不作限定。但需要说明的，训练分类分支模型以及回归分支模型需采用相同的训练样本图像。

在上述步骤S104中，在得到类激活图以及显著性区域图后，将类激活图中的高亮区域与显著性区域图中的显著性边框的内部区域的交集进行标记，最终即可生成显著性真值图。需要说明的是，可以采用二值化的方式进行标记，比如交集区域的像素点标记为1，其余区域的像素点则为0，本申请不作限定。

为了进一步的提高比较的精确度。作为一种可选的实施方式，步骤S104具体包括：将类激活图中的高亮区域与显著性区域图中的边框内部区域的交集进行标记，生成第一标记图；通过全连接条件随机场(Dense CRF)算法对第一标记图进行后处理，生成对第一标记图中的粗糙标记进行优化后的第二标记图；其中，第二标记图为显著性真值图。

也即，第一标记图为粗糙的显著性真值图，于本申请实施例中，将上述生成的粗糙的显著性图通过Dense CRF的方法进行自迭代的更新细化。条件随机场符合吉布斯分布。

条件随机场符合吉布斯分布的表达式为：

上式(3)中，(I,X)为一个条件随机场，Z(I)表示归一化系数，E(x|I)表示能量函数，X表示第一标记图。

能量函数的表达式为：

E(x)＝∑

上式(4)中，Φ

其中，二元势函数Φ

上式(5)中，μ(x

上式(6)中，f

需要说明的是，由于Dense CRF算法为领域以熟知的算法，为了避免累赘，此处不对该算法作详细的解释。

综上，在本申请实施例中，首先将类激活图中的高亮区域与显著性区域图中的边框内部区域的交集进行标记，生成第一标记图，然后再通过全连接条件随机场算法对第一标记图进行后处理，进而得到显著性真值图，通过全连接条件随机场算法能够结合第一标记图中所有像素之间的关系对标记结果进行处理，优化第一标记图中粗糙标记，修正细碎的错分区域，同时得到更细致的标记结果。

请参阅图5，基于同一发明构思，本申请实施例还提供一种显著性检测模型的训练方法，该方法应用于如图1所示的电子设备100中，该方法包括：步骤S201-步骤S203。

步骤S201：获取训练样本图像。

步骤S202：将训练样本图像输入至初始模型中，得到训练样本图像中的每个像素点为显著区域的概率值。

步骤S203：基于概率值以及显著性真值图计算损失值，并基于损失值对初始模型的模型参数进行优化，得到预测模型。

其中，通过前述实施例中的显著性真值图的生成方法对训练样本图像进行标记，得到显著性真值图。

于本申请实施例中，损失函数采用二值交叉熵函数，其具体的计算公式为：

公式(7)中，L表示损失值，H表示训练样本图像的高度，W表示训练样本图像的宽度，i表示训练样本图像的像素点的横坐标，j表示训练样本图像的像素点的纵坐标，G

通过上述方式，即可完成对显著性检测模型的训练，且该方式无需逐像素标记的真值图，缓解了标注的压力。

在完成上述显著性检测模型的训练后，即可利用该模型进行准确的显著性检测，具体的应用过程为：接收输入的待检测图像，将待检测图像输入至训练好的显著性检测模型，得到识别到显著性区域的结果图。

请参阅图6，基于同一发明构思，本申请实施例还提供一种显著性真值图的生成装置300，包括：获取模块301、第一生成模块302、第二生成模块303、标记模块304。

获取模块301，用于获取待标记图像。

第一生成模块302，用于将所述待标记图像输入至分类分支模型中，生成类激活图；其中，所述类激活图表征所述待标记图像中所述分类分支模型所关注的高亮区域。

第二生成模块303，用于将所述待标记图像输入至回归分支模型中，生成显著性区域图；其中，所述显著性区域图为包含显著性边框的待标记图像。

标记模块304，用于将所述类激活图中的高亮区域与所述显著性区域图中的显著性边框的内部区域的交集进行标记，生成显著性真值图。

可选地，显著性真值图的生成装置300还包括样本获取模块305以及训练模块306。

其中，样本获取模块305用于获取训练样本图像；其中，所述训练样本图像包括多个第一图像以及与每个所述第一图像对应的显著性特征图。

其中，训练模块306用于依次将所述训练样本图像输入至初始分类模型中进行训练，得到所述分类分支模型，以及依次将所述训练样本图像输入至初始回归模型中进行训练，得到所述回归分支模型。

可选地，样本获取模块305具体用于获取多个所述第一图像；采用频率调谐算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的频率调谐结果图；采用多尺度边缘算法对每个所述第一图像进行处理，生成与每个所述第一图像对应的多尺度边缘特征图；其中，所述频率调谐结果图以及所述多尺度边缘特征图均为所述显著性特征图。

可选地，标记模块304具体用于将所述类激活图中的高亮区域与所述显著性区域图中的边框内部区域的交集进行标记，生成第一标记图；通过全连接条件随机场算法对所述第一标记图进行后处理，生成对所述第一标记图中的粗糙标记进行优化后的第二标记图；其中，所述第二标记图为所述显著性真值图。

请参阅图7，基于同一发明构思，本申请实施例还提供一种显著性检测模型的训练装置400，包括：获取模块401、输入模块402以及训练模块403。

获取模块401，用于获取训练样本图像。

输入模块402，用于将所述训练样本图像输入至初始模型中，得到所述训练样本图像中的每个像素点为显著区域的概率值。

训练模块403，用于基于所述概率值以及显著性真值图计算损失值，并基于所述损失值对所述初始模型的模型参数进行优化，得到预测模型；其中，通过上述实施例的显著性真值图的生成装置对所述训练样本图像进行标记，得到所述显著性真值图。

需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

基于同一发明构思，本申请实施例还提供一种存储介质，其上存储有计算机程序，计算机程序在被运行时执行上述实施例中提供的方法。

该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。