基于不成对工业数据的工业质检方法、工业质检装置

技术领域

本发明涉及工业质检技术领域，具体涉及一种基于不成对工业数据的工业质检方法和一种基于不成对工业数据的工业质检装置。

背景技术

工业质检时，大多基于图像标注模型进行质检，然而在现实的工业场景中，大量的用于标注模型训练的数据需要昂贵的标注成本，并且有些数据数量极少难以获取，所以图像生成技术在工业质检领域也有广泛的应用。

目前，图像生成技术一般使用成对的数据集对条件深层神经网络模型或简单回归模型进行监督训练，然而该方法在许多应用程序场景中都是不切实际的，因为在有些场景并不能获得成对的数据集，例如，我们永远无法获取梵高所绘的星空对应的真实场景的照片，由此衍生出不成对的图像生成技术。不成对的图像生成是图像生成领域极为重要的分支，在没有成对数据集的情况下可以实现图像的跨域合成，相较于成对的图像生成技术，不成对的图像生成技术具有更广泛的应用场景。

相关技术中，不成对的图像生成技术大多通过编码隐空间的方式来实现图像的跨域转换，但是该方法生成的图像不够真实，缺乏细节。

发明内容

为解决上述技术问题，本发明的第一个目的在于提出一种基于不成对工业数据的工业质检方法，该方法可以实现图像的实时跨域转换，具有更广泛的应用场景，采用SVD（Singular Value Decomposition，奇异值分解）分解技术可以很好的平衡目标域和源域的信息，且基于生成对抗网络，具有很好的实时性以及视觉效果，从而能够高效地进行大规模的工业数据生成任务。

本发明的第二个目的在于提出一种基于不成对工业数据的工业质检装置。

本发明采用的技术方案如下：

本发明第一方面的实施例提出了一种基于不成对工业数据的工业质检方法，包括以下步骤：获取源域图像，并将所述源域图像输入生成对抗网络中，以获取将源域图像映射到目标域的生成图像，并判断所述生成图像的真或假；基于VGG（Visual Geometry GroupNetwork，一种卷积神经网络）网络和SVD技术提取所述源域图像的主要特征和所述生成图像的主要特征，并判断所述源域图像的主要特征和所述生成图像的主要特征是否近似一致；如果所述源域图像的主要特征和所述生成图像的主要特征不近似一致，则对所述生成对抗网络进行优化，直至所述源域图像的主要特征和所述生成图像的主要特征近似一致；将待检测的不成对图像输入优化后的所述生成对抗网络中，以生成对应的生成图像；根据所述对应的生成图像进行工业质检。

本发明上述提出的基于不成对工业数据的工业质检方法还可以具有如下附加技术特征：

根据本发明的一个实施例，基于VGG网络和SVD技术提取所述源域图像的主要特征和所述生成图像的主要特征，包括：通过预训练的VGG网络提取所述源域图像或所述生成图像的特征；对提取的特征做SVD分解，并根据奇异值的大小筛选出主要特征，以及对筛选出的所述主要特征进行重构。

根据本发明的一个实施例，采用损失函数对所述生成对抗网络进行优化，所述生成对抗网络包括生成器和判别器，其中，所述损失函数包括：对抗损失、特征匹配损失和SVD重构损失。

根据本发明的一个实施例，根据以下公式（1）获取所述对抗损失：

L

其中，L

根据以下公式（2）获取所述特征匹配损失：

L

其中，L

根据以下公式（3）获取所述SVD重构损失：

其中，L

根据以下公式（4）获取所述损失函数，

L(G，D，X，Y)=L

其中，L(G，D，X，Y)表示损失函数，α和β表示权重系数。

根据本发明的一个实施例，根据所述损失函数通过反向传播优化所述生成对抗网络。

本发明第二方面的实施例提出了一种基于不成对工业数据的工业质检装置，包括：生成模块，所述生成模块用于获取源域图像，并将所述源域图像输入生成对抗网络中，以获取将源域图像映射到目标域的生成图像，并判断所述生成图像的真或假；特征提取模块，所述特征提取模块用于基于VGG网络和SVD技术提取所述源域图像的主要特征和所述生成图像的主要特征，并判断所述源域图像的主要特征和所述生成图像的主要特征是否近似一致；优化模块，所述优化模块用于判断所述源域图像的主要特征和所述生成图像的主要特征是否近似一致，并在所述源域图像的主要特征和所述生成图像的主要特征不近似一致时，对所述生成对抗网络进行优化，直至所述源域图像的主要特征和所述生成图像的主要特征近似一致；检测模块，所述检测模块用于将待检测的不成对图像输入优化后的所述生成对抗网络中，以生成对应的生成图像，并根据所述对应的生成图像进行工业质检。

本发明上述提出的基于不成对工业数据的工业质检装置还可以具有如下附加技术特征：

根据本发明的一个实施例，所述特征提取模块包括：提取单元，所述提取单元用于通过预训练的VGG网络提取所述源域图像或所述生成图像的特征；分解重构单元，所述分解重构单元用于对提取的特征做SVD分解，并根据奇异值的大小筛选出主要特征，以及对筛选出的所述主要特征进行重构。

根据本发明的一个实施例，所述优化模块采用损失函数对所述生成对抗网络进行优化，所述生成对抗网络包括生成器和判别器，其中，所述损失函数包括：对抗损失、特征匹配损失和SVD重构损失。

根据本发明的一个实施例，所述优化模块根据以下公式（1）获取所述对抗损失：

L

其中，L

根据以下公式（2）获取所述特征匹配损失：

L

其中，L

根据以下公式（3）获取所述SVD重构损失：

其中，L

根据以下公式（4）获取所述损失函数，

L(G，D，X，Y)=L

其中，L(G，D，X，Y)表示损失函数，α和β表示权重系数。

根据本发明的一个实施例，所述优化模块具体用于：根据所述损失函数通过反向传播优化所述生成对抗网络。

本发明的有益效果：

本发明可以实现图像的实时跨域转换，具有更广泛的应用场景，采用SVD分解技术可以很好的平衡目标域和源域的信息，且基于生成对抗网络，具有很好的实时性以及视觉效果，从而能够高效地进行大规模的工业数据生成任务。

附图说明

图1是根据本发明一个实施例的基于不成对工业数据的工业质检方法的流程图；

图2是根据本发明一个实施例的基于不成对工业数据的工业质检方法的原理示意图；

图3是根据本发明一个实施例的特征提取的原理示意图；

图4是根据本发明一个实施例的基于不成对工业数据的工业质检装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明一个实施例的基于不成对工业数据的工业质检方法的流程图。如图1所示，该方法包括以下步骤：

S1，获取源域图像，并将源域图像输入生成对抗网络中，以获取将源域图像映射到目标域的生成图像，并判断生成图像的真或假。

具体地，将源域图像映射到目标域以获取生成图像即跨域图像转换，跨域图像转换的主要目标是学习在源域和目标域内映射图像的函数。生成图像的内容应与输入的源域图像的内容相似，且生成图像的风格应与目标域的近似一致。跨域图像转换在风格转换、图像编辑、超分辨率和彩色化等领域得到了广泛的应用，受到了深度学习和计算机视觉领域研究人员的广泛关注。

S2，基于VGG网络和SVD技术提取源域图像的主要特征和生成图像的主要特征，并判断源域图像的主要特征和生成图像的主要特征是否近似一致。

进一步地，基于VGG网络和SVD技术提取源域图像的主要特征和生成图像的主要特征，包括：通过预训练的VGG网络提取源域图像和生成图像的特征；对提取的特征做SVD分解，并根据奇异值的大小筛选出主要特征，以及对筛选出的主要特征进行重构。

具体地，可以将源域图像和生成图像分别输入到预训练的VGG网络中，VGG提取到的中间特征层（例如Relu4_2提取到的特征）作为源域图像和生成图像的特征。将提取到的尺寸为（h，w，c）的特征层转换成（h*w，c）的矩阵，对矩阵做SVD分解，得到特征矩阵的特征值和相应的特征向量，根据奇异值的大小筛选主要特征（特征向量），最后对筛选的特征进行重构，其中，h代表高度，w代表宽度，c代表通道数。

S3，如果源域图像的主要特征和生成图像的主要特征不近似一致，则对生成对抗网络进行优化，直至源域图像的主要特征和生成图像的主要特征近似一致。

S4，将待检测的不成对图像输入优化后的生成对抗网络中，以生成对应的生成图像，并根据对应的生成图像进行工业质检。

具体地，如图2所示，生成对抗网络可以包括生成器和判别器，生成器由一个端到端的卷积网络构成，用于将图像从源域映射到目标域，即获取生成图像，判别器用于接收生成图像并进行判定，并在训练阶段与生成器进行对抗训练，在对抗中提升生成器的重建能力和判别器的识别能力，通过自适应阈值来判断生成图像的真或假。

将源域图像输入到生成器中，生成器生成拥有源域图像内容又符合目标域风格的图像，即生成器生成相应的生成图像。判别器判断生成图像与目标图像差异程度，并根据差异程度判断生成图像的真或假，并输出判断结果。由此实现图像的跨域转换。

在图像跨域转换的过程中，如图3所示，需要通过基于VGG网络和SVD技术提取源域图像的主要特征和生成图像的主要特征，通过预训练的VGG网络提取源域图像或生成图像的特征，再对提取的特征做SVD分解，并根据奇异值的大小筛选出主要特征，以及对筛选出的主要特征进行重构即可。

然后判断两种图像的主要特征是否近似一致，具体可以根据两种图像的主要特征之间的L2损失（即最小平方误差）判断主要特征是否近似一致，如果两种图像的主要特征之间的L2损失趋近于0且不再变化，则判断两种图像的主要特征近似一致。如果不近似一致，则对生成对抗网络进行优化，如此反复，直至源域图像的主要特征和生成图像的主要特征近似一致，由此，完成生成对抗网络的训练。可以理解，VGG网络可以提取出图像的特征，再对特征做SVD分解，以进一步提取特征的主要信息即主要特征，从而可以完成对特征的精准提取，并根据提取的主要特征进行生产对抗网络的优化，从而可以很好的平衡目标域和源域的信息。

在实际的工业质检应用场景中，直接将待检测的不成对图像输入优化后的生成对抗网络中，即可以实现图像的跨域转换，利用转换后的图像直接进行工业质检即可。由此，可以实现图像的实时跨域转换，基于不成对工业数据实现工业质检，具有更广泛的应用场景，采用SVD分解技术可以很好的平衡目标域和源域的信息，且基于生成对抗网络，具有很好的实时性以及视觉效果，从而能够高效地进行大规模的工业数据生成任务。

根据本发明的一个实施例，采用损失函数对生成对抗网络进行优化，生成对抗网络包括生成器和判别器，其中，损失函数包括：对抗损失、特征匹配损失和SVD重构损失。

进一步地，根据以下公式（1）获取对抗损失：

L

其中，L

根据以下公式（2）获取特征匹配损失：

L

其中，L

根据以下公式（3）获取SVD重构损失：

其中，L

根据以下公式（4）获取损失函数L(G，D，X，Y)：

L(G，D，X，Y)=L

其中，L(G，D，X，Y)代表损失函数，α和β表示权重系数，α和β可以根据相关实验获取。

生成对抗网络G*可以采用如下形式表示：

其中，

根据本发明的一个实施例，根据损失函数通过反向传播优化生成对抗网络，直至提取的源域图像的主要特征和生成图像的主要特征近似一致，使生成图像更接近目标图像。

具体地，反向传播即是对损失函数求导，将梯度信息反向回传用于优化参数，使得损失函数达到极值。

综上所述，根据本发明实施例的基于不成对工业数据的工业质检方法，获取源域图像，并将源域图像输入生成对抗网络中，以获取将源域图像映射到目标域的生成图像，并判断生成图像的真或假，并基于VGG网络和SVD技术提取源域图像的主要特征和生成图像的主要特征，并判断源域图像的主要特征和生成图像的主要特征是否近似一致，如果源域图像的主要特征和生成图像的主要特征不近似一致，则对生成对抗网络进行优化，直至源域图像的主要特征和生成图像的主要特征近似一致；将待检测的不成对图像输入优化后的生成对抗网络中，以生成对应的生成图像，并根据对应的生成图像进行工业质检。由此，该方法可以实现图像的实时跨域转换，具有更广泛的应用场景，采用SVD分解技术可以很好的平衡目标域和源域的信息，且基于生成对抗网络，具有很好的实时性以及视觉效果，从而能够高效地进行大规模的工业数据生成任务。

与上述的基于不成对工业数据的工业质检方法相对应，本发明还提出一种基于不成对工业数据的工业质检装置，由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明中不再进行赘述。

图4是根据本发明一个实施例的基于不成对工业数据的工业质检装置的方框示意图，如图4所示，该装置包括：生成模块1、特征提取模块2、优化模块3、检测模块4，其中，

生成模块1用于获取源域图像，并将源域图像输入生成对抗网络中，以获取将源域图像映射到目标域的生成图像，并判断生成图像的真或假；特征提取模块2用于基于VGG网络和SVD技术提取源域图像的主要特征和生成图像的主要特征，并判断源域图像的主要特征和生成图像的主要特征是否近似一致；优化模块3用于判断源域图像的主要特征和生成图像的主要特征是否近似一致，并在源域图像的主要特征和生成图像的主要特征不近似一致时，对生成对抗网络进行优化，直至源域图像的主要特征和生成图像的主要特征近似一致；检测模块4用于将待检测的不成对图像输入优化后的生成对抗网络中，以生成对应的生成图像，并根据对应的生成图像进行工业质检。

根据本发明的一个实施例，特征提取模块2包括：提取单元和分解重构单元，提取单元用于通过预训练的VGG网络提取源域图像或生成图像的特征；分解重构单元用于对提取的特征做SVD分解，并根据奇异值的大小筛选出主要特征，以及对筛选出的主要特征进行重构。

根据本发明的一个实施例，优化模块3采用损失函数对生成对抗网络进行优化，生成对抗网络包括生成器和判别器，其中，损失函数包括：对抗损失、特征匹配损失和SVD重构损失。

根据本发明的一个实施例，优化模块3根据以下公式（1）获取对抗损失：

L

其中，L

根据以下公式（2）获取所述特征匹配损失：

L

其中，L

根据以下公式（3）获取所述SVD重构损失：

其中，L

根据以下公式（4）获取所述损失函数，

L(G，D，X，Y)=L

其中，L(G，D，X，Y)表示损失函数，α和β表示权重系数。

根据本发明的一个实施例，优化模块3具体用于：根据损失函数通过反向传播优化生成对抗网络。

综上，根据本发明实施例的基于不成对工业数据的工业质检装置，通过生成模块获取源域图像，并将源域图像输入生成对抗网络中，以获取将源域图像映射到目标域的生成图像，并判断生成图像的真或假，特征提取模块基于VGG网络和SVD技术提取源域图像的主要特征和生成图像的主要特征，并判断源域图像的主要特征和生成图像的主要特征是否近似一致，优化模块判断源域图像的主要特征和生成图像的主要特征是否近似一致，并在源域图像的主要特征和生成图像的主要特征不近似一致时，对生成对抗网络进行优化，直至源域图像的主要特征和生成图像的主要特征近似一致，检测模块将待检测的不成对图像输入优化后的生成对抗网络中，以生成对应的生成图像，并根据对应的生成图像进行工业质检。由此，该装置可以实现图像的实时跨域转换，具有更广泛的应用场景，采用SVD分解技术可以很好的平衡目标域和源域的信息，且基于生成对抗网络，具有很好的实时性以及视觉效果，从而能够高效地进行大规模的工业数据生成任务。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。