首页> 中国专利> 痤疮检测方法、痤疮检测模型训练方法及相关装置

痤疮检测方法、痤疮检测模型训练方法及相关装置

摘要

本发明实施例公开了一种痤疮检测方法、痤疮检测模型训练方法及相关装置,由于重叠框集合包含标识同一个痤疮区域的至少两个边界框,使得可以从该至少两个边界框中确定能够代表痤疮区域的最优的边界框,通过从痤疮检测集合中提取上述痤疮区域的最优的边界框并添加至目标边界框集合的方式,使得能够从痤疮检测集合中提取出所有能够代表痤疮区域的最优的边界框,提高对痤疮检测的准确性,且进一步地,通过对重叠框集合中的边界框的检测值进行更新,并根据更新后的重叠框集合确定目标边界框,使得能够提高对目标边界框选择的准确性,提高痤疮检测的准确性。

著录项

  • 公开/公告号CN112364685A

    专利类型发明专利

  • 公开/公告日2021-02-12

    原文格式PDF

  • 申请/专利权人 深圳数联天下智能科技有限公司;

    申请/专利号CN202011012179.4

  • 发明设计人 陈仿雄;

    申请日2020-09-22

  • 分类号G06K9/00(20060101);G06K9/32(20060101);G06K9/62(20060101);G06N3/04(20060101);G06N3/08(20060101);G06N20/20(20190101);

  • 代理机构44528 深圳中细软知识产权代理有限公司;

  • 代理人袁文英

  • 地址 518000 广东省深圳市南山区粤海街道高新区社区科技南十二路011号方大大厦1706

  • 入库时间 2023-06-19 09:52:39

说明书

技术领域

本发明涉及图像处理技术领域,尤其涉及一种痤疮检测方法、痤疮检测模型训练方法及相关装置。

背景技术

精确判断皮肤疾病严重程度在医学领域占有很重要的地位,其中,痤疮是最常见的皮肤疾病,在青春期发病率最高,大约80%的青少年患有痤疮,并且这种症状在成年后持续到3%的男性和12%的女性,且由于痤疮可能会留下疤痕和色素沉着的问题,且经常会导致较低的情绪和抑郁感,因此,痤疮患者迫切需要进行治疗,针对该种情况,不少用户希望能够使用应用程序先分析出脸部痤疮的具体情况,然而,目前对痤疮进行检测的方法,容易出现漏检的情况,导致对痤疮进行检测的准确率低。

发明内容

本发明的主要目的在于提供一种痤疮检测方法、痤疮检测模型训练方法及相关装置,能够有效避免出现漏检的情况,提高对痤疮检测的准确性。

为实现上述目的,本发明第一方面提供一种痤疮检测方法,所述方法包括:

获取待检测痤疮的人脸图像;

将所述人脸图像输入至痤疮检测模型,获取所述人脸图像的痤疮检测集合,所述痤疮检测集合包含检测到的边界框,及所述边界框的检测值,所述检测值用于指示所述边界框内检测到痤疮的可能性;

确定所述痤疮检测集合中的重叠框集合,并对所述重叠框集合中的边界框的检测值进行更新,根据更新后的重叠框集合确定目标边界框,并从所述痤疮检测集合中提取所述目标边界框,将所述目标边界框添加至目标边界框集合,所述重叠框集合包含标识同一个痤疮区域的至少两个边界框,所述目标边界框为能够代表所述痤疮区域的最优的边界框;

根据所述目标边界框集合确定所述人脸图像的痤疮检测结果。

为实现上述目的,本发明第二方面提供一种痤疮检测模型训练方法,所述装置包括:

获取痤疮样本数据集,所述痤疮样本数据集包含痤疮样本图像、所述痤疮样本图像已标注的表示痤疮所在位置的实际边界框;

将所述痤疮样本图像输入痤疮检测模型,获取所述痤疮样本图像的预测集合,所述预测集合包含预测边界框、及所述预测边界框的预测值,所述预测值用于指示所述预测边界框内存在痤疮的可能性;

根据所述预测集合及所述痤疮样本图像的实际边界框确定所述痤疮检测模型是否收敛;

若收敛,则确定收敛时的痤疮检测模型为训练完成的痤疮检测模型,且所述训练完成的痤疮检测模型应用于如第一方面所述的痤疮检测方法;

若不收敛,则返回执行所述将所述痤疮样本图像输入痤疮检测模型的步骤。

为实现上述目的,本发明第三方面提供一种痤疮检测装置,包括:

获取模块,用于获取待检测痤疮的人脸图像;

输入获取模块,用于将所述人脸图像输入至痤疮检测模型,获取所述人脸图像的痤疮检测集合,所述痤疮检测集合包含检测到的边界框,边界框的检测值及检测到的痤疮类型,所述检测值用于指示所述边界框内为检测到的痤疮类型的可能性;

更新选取模块,用于根据所述痤疮检测集合中边界框之间的重叠比例对边界框的检测值进行迭代更新,且在迭代更新过程中从所述痤疮检测集合中挑选符合预设要求的目标边界框,得到目标边界框集合;

确定模块,用于根据所述目标边界框集合确定所述人脸图像的痤疮检测结果。

为实现上述目的,本发明第四方面提供一种痤疮检测模型训练装置,包括:

数据获取模块,用于获取痤疮样本数据集,所述痤疮样本数据集包含痤疮样本图像、所述痤疮样本图像已标注的表示痤疮所在位置的第一边界框、及所述第一边界框内的痤疮的痤疮类型;

训练模块,用于将所述痤疮样本图像输入痤疮检测模型,获取所述痤疮样本图像的预测集合,所述预测集合包含预测边界框、预测边界框的预测值及预测痤疮类型,所述预测值用于指示所述预测边界框内为预测痤疮类型的可能性;

收敛确定模块,用于根据所述预测集合、所述痤疮样本图像的第一边界框、所述第一边界框内的痤疮类型确定所述痤疮检测模型是否收敛;

模型确定模块,用于若收敛,则确定收敛时的痤疮检测模型为训练完成的痤疮检测模型,且所述训练完成的痤疮检测模型应用于如权利要求8所述的痤疮检测装置;

返回模块,用于若不收敛,则返回执行所述训练模块。

为实现上述目的,本发明第五方面提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如第一方面所述的痤疮检测方法中的各个步骤,或者执行如第二方面所述痤疮检测模型训练方法中的各个步骤。

采用本发明实施例,具有如下有益效果:

本发明提供一种痤疮检测方法,在将待检测痤疮的人脸图像输入痤疮检测模型之后,获取该人脸图像的痤疮检测集合,并确定痤疮检测集合中的重叠框集合,对该重叠框集合中的边界框的检测值进行更新,根据更新后的重叠框集合确定目标边界框,并从痤疮检测集合中提取该目标边界框,将该目标边界框添加至目标边界框集合,并根据该目标边界框集合确定所述人脸图像的痤疮检测结果。由于上述的重叠框集合包含标识同一个痤疮区域的至少两个边界框,使得可以从该至少两个边界框中确定能够代表上述痤疮区域的最优的边界框,通过从痤疮检测集合中提取上述痤疮区域的最优的边界框并添加至目标边界框集合的方式,使得能够从痤疮检测集合中提取出所有能够代表痤疮区域的最优的边界框,提高对痤疮检测的准确性,且进一步地,通过对重叠框集合中的边界框的检测值进行更新,并根据更新后的重叠框集合确定目标边界框,使得能够提高对目标边界框选择的准确性,提高痤疮检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

其中:

图1为本发明实施例中痤疮检测方法的流程示意图;

图2为本发明图1所示实施例中步骤103的细化步骤的流程示意图;

图3为本发明实施例中痤疮检测模型的结构示意图;

图4为本发明实施例中痤疮检测模型训练方法的流程示意图;

图5为本发明实施例中痤疮检测装置的结构示意图;

图6为本发明实施例中痤疮检测模型训练装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参阅图1,为本发明实施例中痤疮检测方法的流程示意图,该方法包括:

步骤101、获取待检测痤疮的人脸图像;

步骤102、将人脸图像输入至痤疮检测模型,获取人脸图像的痤疮检测集合,痤疮检测集合包含检测到的边界框,及边界框的检测值;

在本发明实施例中,上述的痤疮检测方法由痤疮检测装置实现,该痤疮检测装置为程序模块,存储在计算机设备的可读存储介质中,计算机设备中的处理器可以从可读存储介质中读取并运行该痤疮检测装置,以实现上述的痤疮检测方法。

其中,可获取待检测痤疮的人脸图像,可以通过启动摄像头的方式拍摄获取到该人脸图像,也可以是用户从相册里面上传的人脸图像,或者是接收到的其他设备发送的人脸图像,该人脸图像可以是包含用户整个人脸的图像,也可以是人脸的部分区域的图像,例如,可以是额头的痤疮图像,脸颊的痤疮图像,下巴的痤疮图像等。

将上述的人脸图像输入至痤疮检测模型,该痤疮检测模块可以是基于yolov3 框架的模型,其具有三个分支,且每个分支都将输出特征图,可根据输出的特征图获取该人脸图像的痤疮检测集合,其中,该痤疮检测集合包含检测到的边界框、及该边界框的检测值,其中,检测值用于指示边界框内为检测到痤疮的可能性。例如,若一个边界框A,其检测值为0.35,则表示,该边界框内检测到痤疮的概率为0.35。

其中,边界框是在人脸图像中确定的边界框,该边界框所包围的区域是可能存在痤疮的区域。

步骤103、确定所述痤疮检测集合中的重叠框集合,并对所述重叠框集合中的边界框的检测值进行更新,根据更新后的重叠框集合确定目标边界框,并从所述痤疮检测集合中提取所述目标边界框,将所述目标边界框添加至目标边界框集合;

步骤104、根据目标边界框集合确定人脸图像的痤疮检测结果。

在本发明实施例中,边界框都是在人脸图像中确定的可能存在痤疮的边界框,在使用痤疮检测模型进行痤疮检测时,对于同一个痤疮区域可能会存在多个边界框,且该多个边界框可能会存在重叠的情况,该重叠是指一个边界框所围成为的区域和另一个边界框所围成的区域存在部分或者全部重叠,该重叠的大小可以使用重叠比例进行描述,且重叠比例具体可以是两个边界框所围成的区域的交集占其中一个边界框整个区域的大小,且为了去除边界框的冗余,将对每一个痤疮区域确定能够代表该痤疮区域的最优的边界框,该最优的边界框可以称为是目标边界框,且对于每一个痤疮区域,都可以得到该痤疮区域的重叠框集合,该重叠框集合中包含标识同一个痤疮区域的至少两个边界框,上述的目标边界框则需要基于重叠框集合确定一个目标边界框。

在本发明实施例中,考虑到基于痤疮检测模型得到的痤疮检测集合,对于同一个痤疮区域,可能存在多个边界框,多个边界框则存在冗余的情况,为了更好地确定痤疮检测结果,需要从多个边界框中选取能够代表痤疮区域的最优的边界框,然而考虑到人脸长痤疮时,通常容易出现痤疮密集出现的情况,这样就会出现相邻的两个痤疮区域的两个边界框出现重叠的情况,若被认为是同一个痤疮区域而选择了标识另一个痤疮区域的边界框,则会导致错误的选择了边界框的情况出现,导致痤疮的漏检,进一步导致痤疮检测结果的准确性低的问题,为了能够挑选到更符合实际痤疮情况的边界框,且避免错误选择边界框导致痤疮漏检的情况,可先确定痤疮检测集合中的重叠框集合,并对重叠框集合中的边界框的检测值进行更新,利用更新后的重叠框集合确定目标边界框,以便能够从痤疮检测集合中提取该目标边界框,其中,通过对重叠框集合的检测值进行更新并利用更新后的重叠框集合确定目标边界框的方式,能够有效避免错误选择边界框的问题出现,有效提高目标边界框的准确性,且将该目标边界框添加至目标边界框集合中并根据该目标边界框集合确定人脸图像的痤疮检测结果,能够有效的提高痤疮检测结果的准确性。

其中,可以将目标边界框集合中包含的边界框作为检测到的确定存在痤疮的边界框,即为痤疮检测结果。

在本发明实施例中,由于上述的重叠框集合包含标识同一个痤疮区域的至少两个边界框,使得可以从该至少两个边界框中确定能够代表上述痤疮区域的最优的边界框,通过从痤疮检测集合中提取上述痤疮区域的最优的边界框并添加至目标边界框集合的方式,使得能够从痤疮检测集合中提取出所有能够代表痤疮区域的最优的边界框,提高对痤疮检测的准确性,且进一步地,通过对重叠框集合中的边界框的检测值进行更新,并根据更新后的重叠框集合确定目标边界框,使得能够提高对目标边界框选择的准确性,提高痤疮检测的准确性。

为了更好地理解本发明实施例中的技术方案,请参阅图2,为本发明图1所示实施例中步骤103的细化步骤的流程示意图,包括:

步骤201、计算所述痤疮检测集合中第一边界框与其他边界框的重叠比例,基于重叠比例确定所述重叠框集合;

步骤202、根据所述目标其他边界框与所述第一边界框的重叠比例,对所述重叠框集合中的目标其他边界框的检测值进行更新,得到更新后的重叠框集合;

步骤203、从所述痤疮检测集合中提取出所述更新后的重叠框集合中具有最大检测值的边界框作为目标边界框,并添加至所述目标边界框集合中;

步骤204、返回执行所述计算所述痤疮检测集合中第一边界框与其他边界框的重叠比例,基于重叠比例确定所述重叠框集合的步骤,直至所述重叠框集合中目标其他边界框的数量为零。

在本发明实施例中,设置i为提取目标边界框的次数,且i的初始值为0,i 为正整数。可以理解的是,第0个痤疮检测集合则为将人脸图像输入至痤疮检测模型后,获取到的初始的痤疮检测集合,第1个痤疮检测集合则是从第0个痤疮检测集合中提取出一个目标边界框之后的集合。

以第i个痤疮检测集合为例,先确定该第i个痤疮检测集合中的第一边界框及其他边界框,其中,该第一边界框为第i个痤疮检测集合中检测值最大的边界框,所述其他边界框则为第i个痤疮检测集合中除第一边界框以外的其他任意一个边界框。

计算上述的第一边界框与其他边界框的重叠比例,具体可以为先确定第一边界框与其他边界框的存在重叠的重叠区域的大小,并计算该重叠区域占第一边界框所在区域的大小的比例,该比例则为第一边界框与其他边界框的重叠比例。例如,若第一边界框与其他边界框A的重叠区域大小为a1,且第一边界框的区域大小为B,则求a1/B的值,将该值作为第一边界框与其他边界框A的重叠比例,当该a1/B为0时,则表明第一边界框与其他边界框A不存在重叠,当该a1/B为1 时,则表明该第一边界框与其他边界框完全重叠,当该a1/B为0至1之间的任意一个值时,则表明第一边界框与其他边界框部分重叠。

通过上述方式可以得到第一边界框与所有的其他边界框的重叠比例,并基于重叠比例确定重叠框集合,其中,该重叠框集合包含第一边界框,及与第一边界框的重叠比例大于或等于第一预设比例值的目标其他边界框。例如,若痤疮检测集合中存在100个边界框,检测值最大的边界框为第一边界框,剩余的99个边界框为其他边界框,若在该剩余的99个边界框中,存在5个边界框A、B、C、 D、E与第一边界框的重叠比例大于或等于第一预设比例值,则得到的重叠框集合包括第一边界框,边界框A、B、C、D、E。

可以理解的是,重叠框集合包含标识同一个痤疮区域的至少两个边界框,而同一个痤疮区域的边界框通常是存在重叠的,且重叠比例为非零,在本发明实施例中,考虑到检测值越大,存在痤疮的可能性越大,因此,确定痤疮检测集合中具有最大检测值的边界框为第一边界框,使得能够基于重叠比例确定与第一边界框标识同一个痤疮区域的目标其他边界框,且考虑到,重叠比例越大,则表示与第一边界框是标识同一个痤疮区域的概率就越大,因此,设置第一预设比例值,使得能够确定与第一边界框是标识同一个痤疮区域的目标其他边界框。

在得到重叠框集合之后,将根据重叠框集合中的目标其他边界框与第一边界框的重叠比例,对目标其他边界框的检测值进行更新,更新的方式如下:

当目标其他边界框与第一边界框的重叠比例大于或等于第一预设比例值,且小于第二预设比例值时,将目标其他边界框的预测值的对数值与预设标准值的和作为目标其他边界框更新后的预测值;

当目标其他边界框与第一边界框的重叠比例大于或等于第二预设比例值时,计算目标其他边界框与第一边界框的重叠比例与预设标准值之间的差值的绝对值,将绝对值与目标其他边界框的预测值的乘积作为目标其他边界框更新后的预测值。

在本发明实施例中,通过上述的方式能够有效实现对目标其他边界框的检测值的更新,且为了更好地理解上述的更新方法,可以参阅如下的公式,为一种可行的更新其他边界框的检测值的公式:

其中,bi表示目标其他边界框,M

需要说明的是,对于重叠框集合中的目标其他边界框,其在与第一边界框的重叠比例越大时,则说明其与第一边界框标识同一个痤疮区域的概率也越大,此时,该目标边界框也可能是其他与上述痤疮区域相邻的另一个痤疮区域的边界框,为了避免错选该目标边界框,则通过上述方法调整目标其他边界框的检测值,以降低错选目标边界框的概率。

在完成对重叠框集合中的所有其他目标边界框的检测值的更新之后,即可得到更新后的重叠框集合,可确定该重叠框集合中具有最大检测值的边界框为目标边界框,并从痤疮检测集合中提取出该目标边界框,且添加至目标边界框集合中。且将提取后的痤疮检测集合作为第i+1个痤疮检测集合,且令i=i+1,返回执行上述的步骤,直至确定的重叠框集合中目标其他边界框的数量为零。

可以理解的是,上述的对检测值的更新,是对重叠框集合中的边界框的检测值进行更新,并未对痤疮检测集合中的边界框的检测值进行更新,痤疮检测集合中的各个边界框的检测值一直都是初始的痤疮检测集合中的边界框的检测值,且第i+1个痤疮检测集合相对于第i个痤疮检测集合,其区别在于少了一个目标边界框,其他的边界框仍然保留,且检测值不变。

可以理解的是,上述重叠框集合中目标其他边界框的数量为零,则表示该重叠框集合中仅包含第一边界框,且在痤疮检测集合中不存在与该第一边界框的重叠比例大于或等于第一预设比例值的其他边界框,此时,考虑到该第一边界框大概率为零散的边界框,则不需要再使用该重叠框集合确定目标边界框,且进一步的,可以表示目标边界框的提取已经结束。

在本发明实施例中,通过上述方式,使得可以对重叠框集合中的目标其他边界框的检测值进行更新再选择目标边界框,避免错选目标边界框带来的痤疮漏检的情况,且能够通过选择目标边界框的方式确定痤疮检测结果,提高痤疮检测的准确性。

进一步地,上述的痤疮检测模型可以包括yolov3模型及三个空间金字塔池化层,三个空间金字塔池化层分别连接至yolov3模型的三个输出分支的末端。其中, yolov3模型是yolo系统目标检测算法中的第三版,适用于针对小目标的检测,尤其适用于针对痤疮这类小目标的检测,精度高。在yolov3模型中,存在三个输出分支,每一个输出分支都将输出特征图,且不同输出分支输出的特征图的尺寸大小不同,在本发明实施例中,通过在yolov3模型的三个输出分支的末端分别连接空间金字塔池化(Spatial Pyramid Pooling,SPP)层,使得能够利用SPP层融合不同感受野的特征信息,提升针对痤疮的检测能力。

在一种可行的实现方式中,上述yolov3模型可以使用DBM模块,替换原有的DBL模块,其中,DBL模块是代码中的Darknetconv2d_BN_Leaky,是yolov3 模型的基本组件,就是卷积层+BN层+Leaky relu,其中Leaky relu表示激活函数,而DBM模型与DBL模块的区别在于使用的激活函数,DBM模块中使用的激活函数为Mish激活函数,使用Mish激活函数相对于Leaky relu激活函数,能够有效的提高检测的准确性。

为了更好地理解本发明实施例中的技术方案,请参阅图3,为本发明实施例中痤疮检测模型的一种可行实现方式的结构示意图,其中,人脸图像表示待检测痤疮的人脸图像,SPP表示设置在yolov3模型的三个输出分支的末端的SPP层, SPP层与人脸图像之间的结构表示yolov3模型,y1、y2、y3表示最终输出的特征图。

其中,DBM即为上述的DBM模块,Up_S表示上采样模块,Conv表示卷积层,Res_1、Res_2、Res_4、Res_8表示特征提取模块。

在一种可行的实现方式中,上述步骤102具体可以为:将上述人脸图像输入痤疮检测模型,获得该痤疮检测模型输出的目标特征图,根据该目标特征图及预设的锚点框,得到人脸图像的痤疮检测集合。

其中,上述的痤疮检测模型是利用痤疮样本数据集训练得到的,该痤疮样本数据集包含痤疮样本图像,及痤疮样本图像已标注的表示痤疮所在位置的实际边界框。上述的锚点框是基于痤疮样本数据集得到的,具体可以是根据预设的倍数值、基于痤疮样本数据集中实际边界框确定的实际边界框长度的第一最大值和第一最小值,及宽度的第二最大值和第二最小值得到。且需要说明的是,利用痤疮检测模型检测痤疮使用到的锚点框,与对该痤疮检测模型进行训练使用到的锚点框是相同的锚点框。需要说明的是,训练得到痤疮检测模型的具体方法将在后续实施例中详细描述,具体可以参阅后续的实施例,此处不做赘述。

在本发明实施例中,在使用痤疮检测模型检测痤疮时,通过使用与痤疮检测模型的训练过程中相同的锚点框,确定痤疮检测集合,相同的锚点框能够增强对痤疮检测的准确性,避免使用不同的锚点框带来的误差问题。

可以理解的是,上述描述的是利用痤疮检测模型进行痤疮检测的方法,下面将描述上述方法中使用到的痤疮检测模型的训练方法,请参阅图4,为本发明实施例中痤疮检测模型训练方法的流程示意图,包括:

步骤401、获取痤疮样本数据集,痤疮样本数据集包含痤疮样本图像、痤疮样本图像已标注的表示痤疮所在位置的实际边界框;

步骤402、将痤疮样本图像输入痤疮检测模型,获取痤疮样本图像的预测集合,预测集合包含预测边界框、及预测边界框的预测值,预测值用于指示预测边界框内存在痤疮的可能性;

步骤403、根据预测集合及痤疮样本图像的实际边界框确定痤疮检测模型是否收敛;

步骤403、若收敛,则确定收敛时的痤疮检测模型为训练完成的痤疮检测模型;

步骤404、若不收敛,则返回执行将痤疮样本图像输入痤疮检测模型的步骤。

在本发明实施中,在收敛时,可以将确定的训练完成的痤疮检测模型应用在上述的痤疮检测方法中,以提高对痤疮检测的准确性。

在一种可行的实现方式中,图4所示实施例中的痤疮检测模块可以是上述痤疮检测方法相关实施例中描述的痤疮检测模型,此处不做赘述。

需要说明的是,在本发明实施例中,痤疮样本数据集中包括痤疮样本图像,痤疮样本图像的实际边界框,该实际边界框可以是人工标注的边界框,且其准确性高,此外,痤疮样本图像的尺寸大小相同,且符合对痤疮检测模型进行训练时对样本图像的要求。

在本发明实施例中,在执行上述的步骤402之前,还可以对痤疮样本数据集中的数据进行增强处理,以实现样本数据的扩充。

具体的,上述增强处理包括:

步骤a1:从痤疮样本数据集中获取预设数量的图像大小相同的目标痤疮样本图像,将目标痤疮样本图像进行拼接,得到拼接图像,目标痤疮样本图像为痤疮样本数据集中的任意图像;

步骤a2:对拼接图像进行图像尺寸缩小操作,直至拼接图像的图像尺寸大小与目标痤疮样本图像一致,得到目标图像;

步骤a3:根据目标痤疮样本图像的实际边界框,确定目标图像的实际边界框,且将目标图像作为痤疮样本图像添加至痤疮样本数据集。

在本发明实施例中,上述预设数量可以是4张、16张等等,且由于痤疮样本数据集中的痤疮样本图像的尺寸都相同,因此,可以随机获取预设数量的目标痤疮样本图像,并将该预设数量的目标痤疮样本图像进行拼接,得到拼接图像。且进一步地,为了避免减少痤疮样本图像的数量,可以是复制得到目标痤疮样本图像。

由于对图像进行拼接的方式,会增大图像的尺寸,使得其与痤疮样本数据集中的痤疮样本图像的不同,因此,需要对拼接图像进行图像尺寸缩小操作,直至拼接图像的尺寸大小与目标痤疮样本一致,以得到目标图像。同时,考虑到用于拼接的各个目标痤疮样本图像中均包含实际边界框,且在经历拼接及缩小尺寸的操作之后,实际边界框在目标图像中的位置,与该实际边界框在原来的目标痤疮样本图像中的位置已经不同,此时,需要根据目标痤疮样本图像的实际边界框,确定目标图像的实际边界框,且将目标图像作为痤疮样本图像添加至痤疮样本数据集中。

在一种可行的实现方式中,可以按照如下方式得到目标图像的实际边界框,具体的,在利用预设数量的目标痤疮样本图像拼接得到拼接图像之后,可以基于目标痤疮样本图像在拼接图像中的位置,对该目标痤疮样本图像的实际边界框在拼接图像中位置信息进行更新,使得能够确定拼接够的拼接图像中,实际边界框的位置信息,进一步地,在将拼接图像进行尺寸缩小,得到目标图像之后,按照缩小的参数对拼接图像中的实际边界框的位置信息进行处理,得到目标图像中的实际边界框的位置信息。

为了更好地理解,以目标痤疮样本图像包含ABCD四张图像为例,可以先按照从上到下的顺序,将其拼接成拼接图像,该拼接图像的左上角为A图像,右上角为B图像,左下角为C图像,右下角为D图像,该拼接图像在标准二维坐标系中时,左下角的C图像的左下角顶点作为二维坐标系的原点,此时,C图像的位置信息不需要更新,ABD图像的位置信息需要更新,对于A图像,可以将A 图像中的实际边界框的宽度加上A图像的宽度,以得到A图像中的实际边界框更新后的位置信息,对于B图像,可以将B图像中的实际边界框的长度加上A 图像的长度,宽度加上B图像的宽度,以得到B图像中的实际边界框更新后的位置信息,对于D图像,则可以将D图像中的实际边界框的长度加上A图像的长度,以得到D图像中的实际边界框的位置信息,通过上述方式,能够有效的确定拼接图像中的实际边界框的位置信息。且多缩小拼接图像时,是按照预设尺寸进行缩小,则表示拼接图像中的实际边界框在目标图像中的尺寸也需要相应的缩小,通过对边界框的位置信息进行缩小的方式,使得能够有效确定目标图像中的实际边界框的位置信息。

在本发明实施例中,通过将多张目标痤疮样本图像进行拼接、缩小及确定实际边界框的方式,使得得到的目标图像中有更多的实际边界框,利用该目标图像对痤疮检测模型进行训练,有助于提升训练得到的痤疮检测模型对密集痤疮的检测能力,提升对痤疮检测的准确性。

在本发明实施中,还可以进一步地根据痤疮标注的特性,设置锚点框的大小,使得能够设置更加符合痤疮检测场景下的锚点框。

具体的,可以在执行步骤402之前,通过以下的方式设置锚点框,包括:

步骤b1:获取痤疮样本数据集中实际边界框的长度的第一最大值及第一最小最,及实际边界框的宽度的第二最大值和第二最小值;

步骤b2:根据第一最大值、第一最小值、第二最大值、第二最小值及预设的倍数值,设置与倍数值对应的锚点框。

在本发明实施例中,可以统计痤疮样本数据集中所有痤疮样本图像的实际边界框的长度值及宽度值,得到长度值集合和宽度值集合,并从该长度值集合中选取长度的第一最大值及第一最小值,并从宽度值集合中选取宽度的第二最大值和第二最小值,使得能够根据该第一最大值、第一最小值、第二最大值、第二最小值及预设的倍数值,设置与倍数值对应的锚点框。

例如,若第一最大值为Lmax,第一最小值为Lmin,第二最大值为Wmax,第二最小值为Wmin,且预设的倍数值为8倍、16倍、32倍,则可以确定锚点框包括:(Lmax/8,Wmax/8)、(Lmax/16,Wmax/16)、(Lmax/32,Wmax/32)、(Lmin/8, Wmin/8)、(Lmin/16,Wmin/16)、(Lmin/32,Wmin/32)、(Lmax/32,Wmin/32)、 (Lmax/16,Wmin/16)和(Lmin/8,Wmax/8)。

且通过上述图3所示的痤疮检测模型的yolov3模型将输出52*52、26*26和13*13三个不同尺寸的特征图,其中,痤疮更多是集中在52*52的特征图中,13*13 的特征图则是表示高度语义特征,因此,痤疮检测模型中的SPP层则将融合不同感受野的特征,提升痤疮检测模型对不同特征的学习。

可以理解的是,对于痤疮检测模型输出的特征图,可以根据上述的锚点框和特征图,生成预测边界框及预测边界框的预测值,得到痤疮样本图像的预测集合。

其中,对于痤疮检测模型输出的特征图中的任意一个像素点,都需要将其映射至痤疮样本图像中,并基于上述的锚点框,预测该像素点在痤疮样本图像中的预测边界框及该预测边界框的检测值,且对于每一个像素点,都可以得到三个预测边界框。

可以理解的是,在痤疮检测方法中,也可以使用上述的锚点框得到痤疮检测集合。

在本发明实施例中,通过在痤疮检测模型中设置SPP层的方式,使得能够融合不同尺寸的特征图,增强对不同特征的学习,由于第一最大值、第二最大值、第一最小值及第二最小值能够体现痤疮的尺寸大小特征,因此,通过基于实际边界框的第一最大值、第二最大值、第一最小值及第二最小值设置锚点框,使得设置的锚点框与痤疮的尺寸大小更加匹配,以进一步地提高对痤疮检测的准确性,避免设置的锚点框尺寸过大或者过小带来的痤疮检测准确性低的问题。此外,还可以通过拼接、缩小及调整实际边界框的方式进行数据增强,使得能够设置更多的用于训练的痤疮样本图像。

请参阅图5,为本发明实施例中痤疮检测装置的结构示意图,该装置包括:

获取模块501,用于获取待检测痤疮的人脸图像;

输入获取模块502,用于将人脸图像输入至痤疮检测模型,获取人脸图像的痤疮检测集合,痤疮检测集合包含检测到的边界框,边界框的检测值及检测到的痤疮类型,检测值用于指示边界框内为检测到的痤疮类型的可能性;

更新选取模块503,用于根据痤疮检测集合中边界框之间的重叠比例对边界框的检测值进行迭代更新,且在迭代更新过程中从痤疮检测集合中挑选符合预设要求的目标边界框,得到目标边界框集合;

确定模块504,用于根据目标边界框集合确定人脸图像的痤疮检测结果。

在本发明实施例中,上述痤疮检测装置的相关模块的内容与上述方法实施例中痤疮检测方法的描述的内容相似,具体可以参阅上述痤疮检测方法的实施例中的内容,此处不做赘述。

在本发明实施例中,由于上述的重叠框集合包含标识同一个痤疮区域的至少两个边界框,使得可以从该至少两个边界框中确定能够代表上述痤疮区域的最优的边界框,通过从痤疮检测集合中提取上述痤疮区域的最优的边界框并添加至目标边界框集合的方式,使得能够从痤疮检测集合中提取出所有能够代表痤疮区域的最优的边界框,提高对痤疮检测的准确性,且进一步地,通过对重叠框集合中的边界框的检测值进行更新,并根据更新后的重叠框集合确定目标边界框,使得能够提高对目标边界框选择的准确性,提高痤疮检测的准确性。

请参阅图6,为本发明实施例中痤疮检测模型训练装置的结构示意图,该训练装置包括:

数据获取模块601,用于获取痤疮样本数据集,痤疮样本数据集包含痤疮样本图像、痤疮样本图像已标注的表示痤疮所在位置的第一边界框、及第一边界框内的痤疮的痤疮类型;

训练模块602,用于将痤疮样本图像输入痤疮检测模型,获取痤疮样本图像的预测集合,预测集合包含预测边界框、预测边界框的预测值及预测痤疮类型,预测值用于指示预测边界框内为预测痤疮类型的可能性;

收敛确定模块603,用于根据预测集合、痤疮样本图像的第一边界框、第一边界框内的痤疮类型确定痤疮检测模型是否收敛;

模型确定模块604,用于若收敛,则确定收敛时的痤疮检测模型为训练完成的痤疮检测模型,且训练完成的痤疮检测模型应用于如权利要求8的痤疮检测装置;

返回模块605,用于若不收敛,则返回执行训练模块602。

在本发明实施例中,上述痤疮检测模型训练装置的相关模块的内容与上述方法实施例中痤疮检测模型训练方法的描述的内容相似,具体可以参阅上述痤疮检测模型训练方法的实施例中的内容,此处不做赘述。

在本发明实施例中,通过在痤疮检测模型中设置SPP层的方式,使得能够融合不同尺寸的特征图,增强对不同特征的学习,且通过基于实际边界框的第一最大值、第二最大值、第一最小值及第二最小值设置锚点框,使得锚点框的设置能够适用于痤疮检测的场景。此外,还可以通过拼接、缩小及调整实际边界框的方式进行数据增强,使得能够设置更多的用于训练的痤疮样本图像。

在一个实施例中,提出了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述痤疮检测方法相关实施例中的各个步骤,或者执行上述痤疮检测模型训练方法相关实施例中的各个步骤。

在一个实施例中,提出了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述痤疮检测方法相关实施例中的各个步骤,或者执行上述痤疮检测模型训练方法相关实施例中的各个步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态 RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率 SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号