基于伪增益类别再平衡的半监督目标检测方法及平台

技术领域

本发明属于目标检测技术领域，涉及一种基于伪增益类别再平衡的半监督目标检测方法及平台。

背景技术

将基于深度学习的计算机视觉研究成果应用于生产数据处理逐渐成为大势所趋。网民规模的稳定增长与互联网商业模式的持续创新使得社交平台中的图片规模呈爆炸式增长，这些带丰富信息的数据集，能够帮助网络学习到可区别性的特征。其中，目标检测用于解决图像中目标的定位与分类问题，既能直接获取图像信息表层的语义信息，也可以分配给对应的下游任务进一步分析，如人脸聚类、场景识别等。目标检测算法通常分为单阶段或双阶段，区别在于是否将候选区的生成作为独立环节，但主流的检测算法大多面向监督学习，需要大量的人力标注数据以提升模型泛化性。

主动学习与半监督学习为数据标注引起的人力成本和性能束缚开出了良方。其中主动学习通过优先选择信息价值最高的原始样本进行标注，以尽可能少的标注样本量达到预期的模型性能，半监督学习采用少量的有标签数据和大量的无标签数据，对有标签数据继续套用监督学习范式，并逐步将无标签数据的信息传递给模型。

尽管主动学习与半监督学习是深度学习的重要支柱，但相关工具开发受到的重视程度却远不及相关的算法研究，现有的标注训练工具或系统没有充分将主动学习与半监督学习的优势结合。

此外，面临目标检测任务需求变化，待检测目标范围扩充，现有的主动学习方案未充分考虑对新增类实例的收集，当新增类别的数据收集不充分，新旧类别数据量悬殊的情况下模型会对样本数量较多的类别产生倾向性。

发明内容

针对上述问题，本发明公开了一种基于伪增益类别再平衡的半监督目标检测方法及平台，旨在综合主动学习和半监督学习的主要思想并对两种策略进行针对性优化的方法最终通过构建数据筛选、标注、训练一体化的交互式系统的方式实现步进式训练，降低技术人力成本。

为实现上述目的，本发明采用如下技术方案：

一种基于伪增益类别再平衡的半监督目标检测方法，所述方法包括：

建立训练数据集S

基于所述标注样本进行监督学习，得到目标检测器M

根据目标检测器M

直至标注完所有未标注样本后，获取目标检测器M；

基于所述目标检测器M对待检测图片进行目标检测。

进一步地，所述目标检测器M

基于所述训练数据集S

复制所述目标检测器M′

目标检测器

目标检测器

进一步地，所述根据目标检测器M

基于推理结果，计算训练数据集S

针对训练数据集S

根据各实例的熵，计算未标注样本的熵不确定分数；

基于所述伪增益与熵不确定分数，计算该未标注样本的伪增益分数。

进一步地，所述计算未标注样本的熵不确定分数的方法，包括：使用Max.聚合函数、Min.聚合函数、Avg.聚合函数或Sum.聚合函数。

进一步地，所述方法还包括：得到训练数据集S

一种实现上述方法的半监督目标检测平台，包括：

前端展示；

后台逻辑，包括：

训练进程管理模块，用于建立训练数据集S

目标检测模块，用于基于所述目标检测器M对待检测图片进行目标检测。

进一步地，所述后台逻辑还包括权限管理模块，用于后台的用户及用户权限管理逻辑。

进一步地，所述训练进程管理模块的接口包括：实例创建类接口和模块控制类接口；

所述实例创建类接口用于创建半监督训练控制模块实例和主动学习样本筛选模块实例；

所述模块控制类接口用于对主动学习模块与半监督学习模块的直接控制，和主动学习模块与半监督学习模块之间的通信控制接口。

进一步地，所述模块控制类接口包括：策略修改类接口、标注统计与新增类接口和切换控制类接口；

所述策略修改类接口，用于对主动学习策略的修改和对半监督训练策略的修改；

所述标注统计与新增类接口，用于对训练数据集S

所述切换控制类接口，用于切换当前进程是处于主动学习筛选样本还是处于半监督的训练流程。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上任一所述方法。

与现有技术相比，本发明至少具有以下优点：

1.本发明提出了基于伪增益的样本挖掘策略，由熵不确定性与伪增益测度共同判定样本价值。在每轮主动学习实验中，该策略能够对含有较多不充分类别实例的图像打出高分，在更低的数据收集、筛选、标注成本下，获得分布均衡且信息含量丰富的数据集。

2.本发明提出了一种面向海量未标注数据的学习生态——“训练圈”，在数据层面和模型层面分别利用主动学习与半监督学习并将二者串联融合形成循环训练策略，希望在学习过程中控制人力成本的同时，使得未标注数据中的信息利用程度最大化。

3.本发明基于训练圈机制设计并实现了面向海量未标注图像的深度学习平台，嵌入了包括伪增益在内的多种主动学习策略与Unbiased Teacher半监督学习框架，相对于单一的功能封装，通过系统操控数据流循环能够显著减少在数据集更新与模型训练双线作战与切换的时间与精力成本。

附图说明

图1基于伪增益的非充分类别样本挖掘流程。

图2未标注数据在训练圈中的转化流程。

图3半监督目标检测平台的接口及调用结构。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下面通过具体实施例，对本发明的技术方案做进一步说明。

1.基于伪增益的样本挖掘策略

本发明的半监督目标检测方法提出一种综合测度“伪增益”，通过引入信息增益概念结合熵不确定性的测度提升对于非充分样本类别的挖掘，整体流程如图1。

将采用当前标注数据集s

该样本熵不确定性计算如下式：

将二者结合可得该样本的综合得分为：

w

由于概率恒小于1，因此有：

其中，G为信息增益，G′

其二，未标注图像的类别分布只能通过检测模型的推理结果计算得到，并不是该图像真正的分布，由该分布计算得到的信息增益本文将其定义为“伪增益”，其可信度随模型精度调整，在本方法中使用线性增长作为调和因子，在训练初期应使用较小权值，随后逐渐升高。

在筛选阶段评估与排序信息量的基本单位都是图像，dis

其中，计算熵不确定性分数时，若使用Avg.或Sum.聚合函数，则是取所有t个实例的平均熵或熵之和作为图像的最终得分，其中Sum.这一函数通常会偏向于实例数量多的图像，因为具有单个高熵不确定性实例的图像得分可能比具有许多低不确定性对象的图像得分低。

2.面向海量未标注数据的学习生态

本发明在深入研究无标签图像样本筛选与训练的同时，着眼于构建一个主动学习和半监督学习融合的循环训练策略，无标注数据的可用性体现在两个阶段，阶段一是在伪增益的驱动下用于优质样本挖掘，进行半自动人工标注后即可实现监督数据的扩充；阶段二是参与半监督目标检测模型的训练，无需额外处理。获取任务相关的图像数据后，循环训练策略的工作模式可类比于生物圈，对无标注图片这一养分进行分段利用，并不断转化推动信息的流动。

将未标注数据中部分图像转化为标注数据的主动学习可视作生产者，将新生成的标注数据与剩余未标注数据一同用于模型学习的半监督学习可视作消费者，消费者的主要作用是将数据这一“物质”转化为模型的“能量”。生产者可以为消费者提供高信息量标注样本，在有限的人力与时间成本下提升监督信息贡献率，消费者基于此产出的高准召模型和困难样本回馈给生产者，助力生产者的第二轮样本筛选操作，以此往复，共同构建无标签数据学习利用的生态循环，该流程在下文中均以“训练圈”简称，如图2。具体而言包括以下步骤：

(1)若当前无标注数据可用，则从未标注数据中随机挑选K张进行人工标注，若当前已有标注数据则跳过该步骤；

(2)利用标注数据进行监督学习，首先通过骨干网络提取得到图像全局特征，再送入目标检测模型进行类别与定位的学习，得到初始检测器Model

(3)进行主动学习下的标注数据集更新，包括2个环节，即利用最新检测器对剩余未标注样本推理，与筛选伪增益Top-K的样本进行人工标注；

(4)若当前仍有未标注数据剩余，则利用步骤(3)中更新的标注数据集与所有的未标注数据集进行半监督模式的训练，可采用开源框架Unbiased Teacher实现，在预热(Burn-in)阶段，使用标注数据进行监督训练，将结果模型复制得到两个相同的模型，分别作为Teacher和Student模型；在师生互学阶段，Teacher模型与Student模型对同一输入的弱数据增强与强数据增强版本分别进行前向计算，前者经过滤或温度缩放生成伪标签，后者作为扰动后的输出与伪标签之间计算一致性损失。Student吸收无标注数据的知识后将通过指数移动平均(Exponential Moving Average,EMA)传递给Teacher模型，实现Teacher模型更新，防止对多样本类别有倾向性的伪标签进一步加剧训练数据不平衡对模型训练造成的影响。半监督模式使模型的学习范围不再局限于标注图像，学习目标也不再局限于图像与标注之间的映射关系，训练结束后跳转至步骤(3)；

(5)若当前没有未标注可用,则利用步骤(3)中更新的标注数据集进行监督学习，得到最终检测模型，结束流程。

3.面向海量未标注图像的深度学习平台

系统以多用户协作的形式实现了学习生态循环的调动运行，服务对象是某目标检测深度学习任务的相关人员，包括项目管理者、深度学习工程师与标注工程师。主要功能如下：

(1)面向全体用户：系统登录与项目开启、数据集信息概览；

(2)面向深度学习工程师：高信息量样本筛选中的主动学习策略设置、半监督模型训练的参数设置与监控，训练圈启动、循环、保存设置与流程监控；

(3)面向标注工程师：半自动交互式标注；

(4)面向项目管理者：项目管理、项目群组创建、用户管理。

系统的实现分为前端展示和后台逻辑两个部分，前端展示部分将主要采用PyQt框架进行编写，后台的逻辑从实现的功能角度主要有两点，第一个是权限管理模块，用于后台的用户及用户权限管理逻辑；第二个是训练进程管理模块，基于主动学习和半监督训练循环的训练控制逻辑。当确定了具体的用户角色和项目时，对于整体的训练策略也就随之固定下来，而项目这一整体又天然复合面向对象的编程方式，因此本系统将项目进行抽象类封装，对于不同的项目进行抽象类的实例化。此外，在项目的抽象类的逻辑结构中还应有两个重要的组成部分，分别是对于主动学习策略进行标注样本筛选的实例和对于半监督训练策略下的实际进程进行控制的实例。此外，后台逻辑还包括目标检测模块，用于基于所述目标检测器M对待检测图片进行目标检测。

对于训练进程管理模块应包含以下两种类型接口：

(1)实例创建类接口，包括创建半监督训练控制模块实例和主动学习样本筛选模块实例。

(2)模块控制类接口，包括对于主动学习模块和半监督学习模块的直接控制和两模块间通信的控制接口。

如图3所示，本发明以前端界面的控制信号的响应作为组织依据，箭头表示调用关系，虚线箭头表示可能的调用关系，接下来沿着不同的信号响应接口对整体接口分别进行介绍。对于项目的实例创建类接口，除以默认方式进行创建直接调用类构造函数__init__接口外，更多的是使用load_from_json接口对于已有的配置文件进行加载，其中配置文件应当包括主动学习(从海量未标注样本中筛选出信息量大的样本给人工标注)和半监督学习配置文件的路径以及具体数据的路径等基本信息。

模块控制类接口包括3个分支，即策略修改类接口、标注统计与新增类接口和切换控制类接口。

对于策略修改类接口，包含change_AL和change_semi两个接口，分别是对主动学习策略的修改和对半监督训练策略的修改，两个策略级的修改接口逻辑上较为类似因此一起进行介绍，以主动学习部分举例，对于可动态修改的部分通常会采用对创建好的实例进行属性修改，如打分标准等，再将修改后的内容写进配置文件中，而对于无法动态修改的信息如对于主动学习骨干网络结构的设置等信息，则应当先修改主动学习对应的配置信息，再由重新修改的配置文件进行主动学习样本筛选模块的创建。

对于标注统计与新增类接口，包含get_data_info、add_label和load_label接口，是对于当前数据集内数据的统计和标注控制接口，该部分接口主要操作对象是数据所在目录的标注记录文件。

对于切换控制类接口，包含switch接口，主要用来切换当前进程是处于主动学习筛选样本还是处于半监督的训练流程，在切换时同步完成网络模型的加载，由于两个流程逻辑上是互斥的，因此采用切换模式可以在不影响功能和流畅性的同时节约显存占用。

实验数据

本实验将使用收集自微博平台的检测数据集，包含室内、室外2个场景下的8种目标，以检测场景的扩展模拟检测需求的扩充。这里以室内场景下的目标作为原有检测任务，室外场景下的目标作为新增类别。根据主动学习实验流程，首先抽取少量的图像进行标注用于训练初始模型，然后进行5轮迭代，每轮包含待标注数据筛选、标注、数据集更新、模型训练，对比效果如表1。

第1轮迭代中伪增益权重w

表1启用伪增益后模型训练效果对比

综上所述，本发明的半监督目标检测方法提出了一种基于伪增益测度的主动学习方法，在数据集的扩充过程中能够实现类别分布的再平衡，并且从数据与模型两个层面入手，提出了将未标注数据信息利用最大化的学习生态“训练圈”，以训练圈调动和多用户协作为系统的主要功能需求，实现了面向海量未标注图像的深度学习平台。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，本发明的保护范围应以权利要求所述为准。