公开/公告号CN112907589A
专利类型发明专利
公开/公告日2021-06-04
原文格式PDF
申请/专利权人 联通(上海)产业互联网有限公司;
申请/专利号CN202110359963.0
申请日2021-04-02
分类号G06T7/00(20170101);G06T7/136(20170101);G06K9/62(20060101);G06N3/08(20060101);
代理机构34211 池州市卓燊知识产权代理事务所(普通合伙);
代理人李强
地址 200050 上海市长宁区长宁路1033号7楼
入库时间 2023-06-19 11:14:36
技术领域
本发明涉及无监督图像异常检测分割技术领域，尤其涉及一种检测异常并且分割图像中异常区域的深度学习算法。
背景技术
现存的无监督异常分割算法，主要有两种：1.基于重建的方法，通过自编码器(AutoEncoder)重建正样本图片，由于异常样本重建前后差异较大从而分割出异常区域，此类方法模型参数量大、训练时间长，对复杂图案重建效果不佳，分割准确度不高；2.基于预训练网络提取特征表示，并用knn等方法进行图像检索，将待测图片与特征空间上最临近的正样本参考图片作对比，分割出异常区域，该方法需要构建正样本特征字典，字典的内存占用、knn搜索时间都与正样本参考图片的数量成正比，当数据量非常大时，该算法非常耗时,另外，特征提取器通常是卷积神经网络，为获取不同感受野的特征表示，需要进行多层级特征融合。
综上所述，本发明通过设计一种检测异常并且分割图像中异常区域的深度学习算法来解决存在的问题。
发明内容
本发明的目的在于提供一种检测异常并且分割图像中异常区域的深度学习算法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种检测异常并且分割图像中异常区域的深度学习算法，包括以下步骤：
S1，首先作正样本图像特征提取，使用基于大规模公开数据集(ImageNet)训练的分类网络ViT(视觉transformer)预训练模型，对正样本训练集提取特征，得到的数据体维度表示为(N,C,H,W)；
S2，通过耦合层堆叠而成的复杂流模型，对上述正样本特征进行概率密度估计；具体地，流模型以最小化观测数据的负对数似然为目标，通过梯度反向传递更新模型参数，经过训练阶段将复杂的未知数据分布映射为简单已知的多元正态分布；
S3，在测试阶段，被测样本特征经流模型得到维度不变(N,C,H,W)的数据体，对特征通道作L2范式，得到特征在位置(i，j)处的概率密度均值。例如，一张被测图片，其各个空间位置都可计算出概率密度，得到一个(H,W)的概率密度热力图，通过分割阈值筛选，做到图像块的正常/异常二分类，实现异常区域分割，并且将这个(H,W)的距离图的最大值记作异常值s,通过分类阈值筛选，做到全图的正常/异常二分类，即实现异常分类；
S4，对于分类和分割阈值的确定，提前人工标注一些真值，通过最大化AUCROC确定阈值或者在完全没有标注信息的情况下，通过正样本验证集，确定分类和分割的阈值，例如确定一个百分数，如98％，让98％的正样本位于分类阈值和分割阈值以下，此时的98％处的距离即作为阈值。
作为本发明优选的方案，所述S1中N表示训练用到的样本数量，C表示特征维度数，H和W分别的特征图的高和宽，正样本特征表示，仅需单个层级的特征，无需多尺度特征融合，并且正样本特征表示包括但不限于PCA降维、卷积网络投影、随机选取。
作为本发明优选的方案，所述S2中流模型：令X∈x记作观测数据随机变量，在这里X特指一张图片，令P为该观测数据的真实概率分布，于是有X～P，令D＝{x
其中，P(X)是由训练数据集D得到的经验分布；
在流模型(flow-based generative models)的框架中，一组服从已知先验分布pz(z)的潜变量
其中，
直接地，生成过程如下定义：
流模型关注这类可逆的变换f
其中
作为本发明优选的方案，所述可逆变换包括且不限于激活标准化层(ActnormLayer)、仿射耦合层(Affine Coupling Layer)、加性耦合层(Addition Coupling Layer)、可逆1x1卷积层(invertible 1×1 convolution layer)和随机通道打乱。
与现有技术相比，本发明的有益效果是：
1、本发明中，通过设计检测异常并且分割图像中异常区域的深度学习算法，该算法准确度高，在公开数据集测试榜单上取得top1分类精度；推理时间快，仅需保存模型参数，无需保存正样本特征或其统计量；相较于根据特征统计量做马氏距离度量的算法，该算法适用性更广，图像无需满足对齐这一约束条件；算法流程简单，只需选取最优的单个层级特征表示，无需多层级特征融合，分割阈值可根据实际情况采取不同选取方式。算法的泛化能力好，易于复用。
具体实施方式
下面将结合本发明实施例中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例,基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案：
一种检测异常并且分割图像中异常区域的深度学习算法，包括以下步骤：
S1，首先作正样本图像特征提取，使用基于大规模公开数据集(ImageNet)训练的分类网络ViT(视觉transformer)预训练模型，对正样本训练集提取特征，得到的数据体维度表示为(N,C,H,W)；
S2，通过耦合层堆叠而成的复杂流模型，对上述正样本特征进行概率密度估计；具体地，流模型以最小化观测数据的负对数似然为目标，通过梯度反向传递更新模型参数，经过训练阶段将复杂的未知数据分布映射为简单已知的多元正态分布；
S3，在测试阶段，被测样本特征经流模型得到维度不变(N，C，H，W)的数据体，对特征通道作L2范式，得到特征在位置(i，j)处的概率密度均值。例如，一张被测图片，其各个空间位置都可计算出概率密度，得到一个(H，W)的概率密度热力图，通过分割阈值筛选，做到图像块的正常/异常二分类，实现异常区域分割，并且将这个(H，W)的距离图的最大值记作异常值s，通过分类阈值筛选，做到全图的正常/异常二分类，即实现异常分类；
S4，对于分类和分割阈值的确定，提前人工标注一些真值，通过最大化AUCROC确定阈值或者在完全没有标注信息的情况下，通过正样本验证集，确定分类和分割的阈值，例如确定一个百分数，如98％，让98％的正样本位于分类阈值和分割阈值以下，此时的98％处的距离即作为阈值。
进一步的，所述S1中N表示训练用到的样本数量，C表示特征维度数，H和W分别的特征图的高和宽，正样本特征表示，仅需单个层级的特征，无需多尺度特征融合，并且正样本特征表示包括但不限于PCA降维、卷积网络投影、随机选取。
进一步的，所述S2中流模型：令X∈x记作观测数据随机变量，在这里X特指一张图片，令P为该观测数据的真实概率分布，于是有X～P，令D＝{x
其中，
在流模型(flow-based generative models)的框架中，一组服从已知先验分布pz(z)的潜变量
其中，
直接地，生成过程如下定义：
流模型关注这类可逆的变换f
其中
进一步的，所述可逆变换包括且不限于激活标准化层(Actnorm Layer)、仿射耦合层(Affine Coupling Layer)、加性耦合层(Addition Coupling Layer)、可逆1x1卷积层(invertible 1×1 convolution layer)和随机通道打乱。
具体实施案例：
正样本：没有缺陷的正常样本；负样本：有缺陷的样本
流模型介绍：令X∈x记作观测数据随机变量，在这里X特指一张图片，令P为该观测数据的真实概率分布，于是有X～P，令D＝{x
其中，P(X)是由训练数据集D得到的经验分布；
在流模型(flow-based generative models)的框架中，一组服从已知先验分布pz(z)的潜变量
其中，
直接地，生成过程如下定义：
流模型关注这类可逆的变换f
其中
本算法用到的可逆变换包括且不限于激活标准化层(Actnorm Layer)、仿射耦合层(Affine Coupling Layer)、加性耦合层(Addition Coupling Layer)、可逆1x1卷积层(invertible 1×1 convolution layer)、随机通道打乱等。
本算法耦合层内部子网络设计包括且不限于1x1通道卷积、3x3卷积、多头自注意力层等。
本算法用到的计算图拓扑结构操作包括且不限于条件输入、多尺度网络结构设计、分裂和连接等。
算法分为以下部分：
首先作正样本图像特征提取。使用基于大规模公开数据集(ImageNet)训练的分类网络ViT(视觉transformer)预训练模型，对正样本训练集提取特征，得到的数据体维度表示为(N，C，H，W)。其中，N表示训练用到的样本数量，C表示特征维度数，H和W分别的特征图的高和宽。对于正样本特征表示，仅需单个层级的特征，无需多尺度特征融合，该特征表示的优选包括但不限于PCA降维、卷积网络投影、随机选取等。
通过精心设计的耦合层堆叠而成的复杂流模型，对上述正样本特征进行概率密度估计。具体地，流模型以最小化观测数据的负对数似然为目标，通过梯度反向传递更新模型参数，经过训练阶段将复杂的未知数据分布映射为简单已知的多元正态分布。
在测试阶段，被测样本特征经流模型得到维度不变(N，C，H，W)的数据体，对特征通道作L2范式，得到特征在位置(i，j)处的概率密度均值。这样，一张被测图片，其各个空间位置都可计算出概率密度，得到一个(H，W)的概率密度热力图，通过分割阈值筛选，可以做到图像块的正常/异常二分类，实现异常区域分割。将这个(H,W)的距离图的最大值记作异常值s,可以通过分类阈值筛选，做到全图的正常/异常二分类，即实现异常分类。
对于分类和分割阈值的确定，可以提前人工标注一些真值，通过最大化AUCROC确定阈值；也可以在完全没有标注信息的情况下，通过正样本验证集，确定分类和分割的阈值。具体方法是确定一个百分数，如98％，让98％的正样本位于分类阈值和分割阈值以下，此时的98％处的距离即作为阈值。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
机译： 分离的多核苷酸，表达盒，宿主细胞，分离的多肽，已被改变以表达耐碱突变体多肽的非人类转基因动物，与耐碱突变体多肽特异性结合的抗体，突变检测试剂盒生物样品，以及用于评估生物样品中是否存在对烷基抑制剂的抗性突变以诊断对至少一种碱性抑制剂有抗药性或可能发展出抗药性的癌症的方法。小分子激酶，用于评估生物学样品中是否具有抑制碱性磷酸酶抑制剂的突变，以诊断对患者具有抗药性或可能对pf-02341066产生抗药性的癌症，从而特异性降低抗癌突变体的表达以治疗癌症与激活抗至少一种小分子烷基激酶抑制剂的异常环路能力有关，该抑制剂治疗对pf-02341066有抵抗力的异常癌症
机译： 用于分割医学图像并检测解剖结构中的表面异常的方法
机译： 用于分割医学图像并检测解剖结构中的表面异常的方法
