一种面板缺陷分类模型的建立方法及面板缺陷分类方法

技术领域

本发明涉及面板缺陷检测技术领域，具体而言，涉及一种面板缺陷分类模型的建立方法及面板缺陷分类方法。

背景技术

随着面板行业的现代化发展需求，面板的良品率以及次品坏区域是否可以修复等问题无论是对于降低企业成本，还是提升生产工业的智能化水平显得尤为必要。因此需要对面板进行光学检测，检测面板是否存在缺陷，以及缺陷为何种类型，以此保证面板产品出厂的良品率。

现有技术中，卷积神经网络已经被应用到缺陷分类中，通常使用大量卷积层来抽取特征信息，在最后卷积层输出的高层特征语义信息上，使用全连接层完成缺陷类别输出。该方法虽然使用范围较广，但是通常只能输出缺陷类型信息，不能得到其它信息，而且一张图像只能输出一个类别，如果图像存在多种类型缺陷，则会影响最终面板缺陷分类的准确性。

发明内容

本发明解决的问题是如何提高面板缺陷分类的准确性。

为解决上述问题，本发明提供一种面板缺陷分类模型的建立方法，包括：获取缺陷数据集，其中，所述缺陷数据集为包含面板缺陷的样本图片；根据所述缺陷数据集确定增广数据集；从所述增广数据集提取特征语义信息；根据所述特征语义信息确定融合语义信息；根据所述融合语义信息确定特征矩阵；根据所述特征矩阵确定所述面板缺陷的位置和类别；将所述缺陷数据集作为模型输入，以及将所述面板缺陷的位置和类别作为模型输出建立面板缺陷分类模型。

本发明所述的面板缺陷分类模型的建立方法，通过对包含面板缺陷的缺陷数据集进行数据增广确定的增广数据集作为卷积神经网络的输入，使得卷积神经网络在训练中更快收敛，从而提升网络的性能，有利于提高面板缺陷分类的准确性。

可选地，所述根据所述缺陷数据集确定增广数据集包括：从所述缺陷数据集任意选取两张原始缺陷图片，将两张所述原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定所述增广数据集。

本发明所述的面板缺陷分类模型的建立方法，通过两张原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定增广数据集，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。

可选地，所述根据所述缺陷数据集确定增广数据集包括：从所述缺陷数据集任意选取两张原始缺陷图片，获取其中一张所述原始缺陷图片的位置区域，将所述位置区域与另一张所述原始缺陷图片融合，形成新缺陷图片以确定所述增广数据集。

本发明所述的面板缺陷分类模型的建立方法，通过将一张原始缺陷图片的位置区域与另一张原始缺陷图片融合来形成新缺陷图片，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。

可选地，所述从所述增广数据集提取特征语义信息包括：从所述增广数据集提取不同尺度的所述特征语义信息。

本发明所述的面板缺陷分类模型的建立方法，通过从增广数据集提取不同尺度的特征语义信息，由于不同层包含的缺陷原始信息不一致，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。

可选地，所述根据所述特征语义信息确定融合语义信息包括：将所述特征语义信息中的低层信息与中层特征语义信息、高层特征语义信息融合，以确定不同尺度的所述融合语义信息。

本发明所述的面板缺陷分类模型的建立方法，通过将不同层的语义信息进行融合来确定不同尺度的融合语义信息，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。

可选地，所述根据所述融合语义信息确定特征矩阵包括：采用编码器将所述融合语义信息转换为所述特征矩阵。

本发明所述的面板缺陷分类模型的建立方法，通过采用编码器将融合语义信息转换为特征矩阵，以通过对特征矩阵进行聚类和回归确定缺陷类型和位置，有利于提高面板缺陷分类的准确性。

可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别包括：对所述特征矩阵进行聚类确定所述面板缺陷的类型，以及对所述特征矩阵进行回归得到所述面板缺陷的位置。

本发明所述的面板缺陷分类模型的建立方法，通过对特征矩阵进行聚类和回归确定面板缺陷类型和位置，有利于提高面板缺陷分类的准确性。

可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别还包括：对所述面板缺陷的类型和所述面板缺陷的位置进行筛选以筛除多余信息。

本发明所述的面板缺陷分类模型的建立方法，通过对面板缺陷的类型和缺陷的位置进行筛选以筛除多余信息，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。

可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别包括：将所述特征矩阵还原为满足预设对比度的图片，根据所述图片确定所述面板缺陷的类型和位置。

本发明所述的面板缺陷分类模型的建立方法，通过将特征矩阵还原为满足预设对比度的图片，根据图片确定面板缺陷的类型和位置，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。

本发明还提供一种面板缺陷分类方法，包括：初检分类阶段和复检分类阶段；所述初检分类阶段包括：通过线扫系统扫描显示面板，获取待分类面板图像；采用线扫算法确定所述待分类面板图像的各类缺陷，并确定各类缺陷的缺陷评价结果；所述复检分类阶段包括：根据预先获取的缺陷评价结果确定需复检类面板缺陷，将所述待分类面板图像输入如上所述面板缺陷分类模型的建立方法建立的面板缺陷分类模型，确定所述需复检类面板缺陷的位置和类别，以完成所述需复检类面板缺陷的分类。所述面板缺陷分类方法与上述面板缺陷分类模型的建立方法相对于现有技术所具有优势相同，在此不再赘述。

附图说明

图1为本发明实施例的面板缺陷分类模型的建立方法的示意图；

图2为本发明实施例的面板缺陷分类模型的训练过程；

图3为本发明实施例的一种数据增广过程；

图4为本发明实施例的另一种数据增广过程；

图5为本发明实施例的用于面板缺陷分类的训练装置示意图；

图6为本发明实施例的面板缺陷分类方法的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

如图1所示，本发明实施例提供一种面板缺陷分类模型的建立方法，包括：获取缺陷数据集，其中，所述缺陷数据集为包含面板缺陷的样本图片；根据所述缺陷数据集确定增广数据集；从所述增广数据集提取特征语义信息；根据所述特征语义信息确定融合语义信息；根据所述融合语义信息确定特征矩阵；根据所述特征矩阵确定所述面板缺陷的位置和类别；将所述缺陷数据集作为模型输入，以及将所述面板缺陷的位置和类别作为模型输出建立面板缺陷分类模型。

具体地，在本实施例中，结合图2所示，面板缺陷分类模型的建立方法包括：获取缺陷数据集，一般会选用缺陷样本作为数据集，即包含各类面板缺陷的样本图片，缺陷数据集一般作为卷积神经网络训练时的输入；根据缺陷数据集确定增广数据集，以此让卷积神经网络在训练中更快收敛，提升网络的性能；从增广数据集提取特征语义信息，特征语义信息包含缺陷数据集中图片的原始信息；根据特征语义信息确定融合语义信息，即将特征语义信息进行融合后生成融合语义信息，使得面板缺陷分类模型的分类正确率更高；根据融合语义信息确定特征矩阵，即通过特定的编码器将融合语义信息转换为对应的特征矩阵；根据特征矩阵确定面板缺陷的位置和类别，即通过编码器从特征矩阵确定面板缺陷的位置和类别；根据缺陷数据集和缺陷的位置和类别建立面板缺陷分类模型，即将缺陷数据集作为模型输入，以及将面板缺陷的位置和类别作为模型输出建立面板缺陷分类模型。通过数据增广确定的增广数据集作为卷积神经网络的输入，使得卷积神经网络在训练中更快收敛，从而提升网络的性能，有利于提高面板缺陷分类的准确性。

其中，结合图5所示，卷积神经网络训练装置包括计算机CPU、计算机存储器和计算机GPU，其中，计算机CPU发送读取指令到计算机存储器，读取存储的缺陷图片，计算机CPU还发送读取指令将训练数据迁到GPU，计算机CPU负责提供训练网络算力。

在本实施例中，通过对包含面板缺陷的缺陷数据集进行数据增广确定的增广数据集作为卷积神经网络的输入，使得卷积神经网络在训练中更快收敛，从而提升网络的性能，有利于提高面板缺陷分类的准确性。

可选地，所述根据所述缺陷数据集确定增广数据集包括：从所述缺陷数据集任意选取两张原始缺陷图片，将两张所述原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定所述增广数据集。

具体地，在本实施例中，结合图3所示，根据缺陷数据集确定增广数据集包括：从缺陷数据集任意选取两张原始缺陷图片，将两张原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定增广数据集。即对于一图片计算其权重，对于另一图片计算其权重，通过权重占比进行融合计算，之后加上计算偏差，从而生成新的缺陷图片，通过新的缺陷图片来确定增广数据集。通过两张原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定增广数据集，即将缺陷数据集中的各原始缺陷图片生成新缺陷图片后，各新缺陷图片组合为增广数据集，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。

在本实施例中，通过两张原始缺陷图片按预设权重进行融合后加上偏差，生成新缺陷图片以确定增广数据集，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。

可选地，所述根据所述缺陷数据集确定增广数据集包括：从所述缺陷数据集任意选取两张原始缺陷图片，获取其中一张所述原始缺陷图片的位置区域，将所述位置区域与另一张所述原始缺陷图片融合，形成新缺陷图片以确定所述增广数据集。

具体地，在本实施例中，结合图4所示，根据缺陷数据集确定增广数据集包括：从缺陷数据集任意选取两张原始缺陷图片，通过缺陷掩膜获取其中一张原始缺陷图片的位置区域，其中，位置区域指的是原始缺陷图片在面板上的拍摄位置所在的区域，将位置区域与另一张原始缺陷图片融合，形成新缺陷图片以确定增广数据集。与上述实施例不同，本实施例中，通过将一张原始缺陷图片的位置区域与另一张原始缺陷图片融合来形成新缺陷图片，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。

在本实施例中，通过将一张原始缺陷图片的位置区域与另一张原始缺陷图片融合来形成新缺陷图片，从而提高增广数据集中缺陷的准确性，进而有利于提高面板缺陷分类的准确性。

可选地，所述从所述增广数据集提取特征语义信息包括：从所述增广数据集提取不同尺度的所述特征语义信息。

具体地，在本实施例中，结合图2所示，从增广数据集提取特征语义信息包括：从增广数据集提取不同尺度的特征语义信息。以三个尺度为例，从增广数据集提取低层特征语义信息、中层特征语义信息和高层特征语义信息，利用不同尺度语义层，不同层包含的缺陷原始信息不一致，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。现有分类网络往往只利用到单层语义信息，对原图信息还原不够。

在本实施例中，通过从增广数据集提取不同尺度的特征语义信息，由于不同层包含的缺陷原始信息不一致，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。

可选地，所述根据所述特征语义信息确定融合语义信息包括：将所述特征语义信息中的低层信息与中层特征语义信息、高层特征语义信息融合，以确定不同尺度的所述融合语义信息。

具体地，在本实施例中，结合图2所示，根据特征语义信息确定融合语义信息包括：将特征语义信息中的低层特征语义信息与中层特征语义信息、高层特征语义信息融合，以确定不同尺度的融合语义信息。例如将低层特征语义信息与中层特征语义信息融合来确定融合中层语义信息，将低层特征语义信息与高层特征语义信息融合来确定融合高层语义信息。通过将不同层的语义信息进行融合来确定不同尺度的融合语义信息，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。

在本实施例中，通过将不同层的语义信息进行融合来确定不同尺度的融合语义信息，利用多层信息能够更好表达缺陷，进而有利于提高面板缺陷分类的准确性。

可选地，所述根据所述融合语义信息确定特征矩阵包括：采用编码器将所述融合语义信息转换为所述特征矩阵。

具体地，在本实施例中，根据融合语义信息确定特征矩阵包括：采用编码器将融合语义信息转换为特征矩阵。在进行聚类和回归前，需要将融合语义信息转换为特征矩阵，通过对特征矩阵进行聚类和回归才能确定缺陷类型和位置，因此本实施例中通过采用编码器将融合语义信息转换为特征矩阵，以通过对特征矩阵进行聚类和回归确定缺陷类型和位置，有利于提高面板缺陷分类的准确性。

在本实施例中，通过采用编码器将融合语义信息转换为特征矩阵，以通过对特征矩阵进行聚类和回归确定缺陷类型和位置，有利于提高面板缺陷分类的准确性。

可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别包括：对所述特征矩阵进行聚类确定所述面板缺陷的类型，以及对所述特征矩阵进行回归得到所述面板缺陷的位置。

具体地，在本实施例中，根据特征矩阵确定面板缺陷的位置和类别包括：对特征矩阵进行聚类确定面板缺陷的类型，以及对特征矩阵进行回归得到面板缺陷的位置。将融合语义信息转换为特征矩阵后，通过对特征矩阵进行聚类和回归确定面板缺陷类型和位置，有利于提高面板缺陷分类的准确性。

在本实施例中，通过对特征矩阵进行聚类和回归确定面板缺陷类型和位置，有利于提高面板缺陷分类的准确性。

可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别还包括：对所述面板缺陷的类型和所述面板缺陷的位置进行筛选以筛除多余信息。

具体地，在本实施例中，根据特征矩阵确定面板缺陷的位置和类别还包括：对面板缺陷的类型和面板缺陷的位置进行筛选以筛除多余信息。由于一个原图区域有许多信息表示，其中相当一部分是多余信息，因此筛选所有输出的面板缺陷的类型和面板缺陷的位置，特别是对于其中的重叠信息需要着重筛选。通过对面板缺陷的类型和面板缺陷的位置进行筛选以筛除多余信息，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。

在本实施例中，通过对面板缺陷的类型和面板缺陷的位置进行筛选以筛除多余信息，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。

可选地，所述根据所述特征矩阵确定所述面板缺陷的位置和类别包括：将所述特征矩阵还原为满足预设对比度的图片，根据所述图片确定所述面板缺陷的类型和位置。

具体地，在本实施例中，根据所述特征矩阵确定面板缺陷的位置和类别包括：将特征矩阵还原为满足预设对比度的图片，根据图片确定面板缺陷的类型和位置。即将训练网络的解码器结构替换成还原结构，将编码器输出的特征矩阵还原成具有高对比度形式的图片，从而确定面板缺陷的类型和位置。通过将特征矩阵还原为满足预设对比度的图片，根据图片确定面板缺陷的类型和位置，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。

在本实施例中，通过将特征矩阵还原为满足预设对比度的图片，根据图片确定面板缺陷的类型和位置，提高了面板缺陷分类模型的精度，有利于提高面板缺陷分类的准确性。

本发明另一实施例提供一种面板缺陷分类方法，结合图6所示，包括：初检分类阶段和复检分类阶段；所述初检分类阶段包括：通过线扫系统扫描显示面板，获取待分类面板图像；采用线扫算法确定所述待分类面板图像的各类缺陷，并确定各类缺陷的缺陷评价结果；所述复检分类阶段包括：根据预先获取的缺陷评价结果确定需复检类面板缺陷，将所述待分类面板图像输入如上所述面板缺陷分类模型的建立方法建立的面板缺陷分类模型，确定所述需复检类面板缺陷的位置和类别，以完成所述需复检类面板缺陷的分类。

虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。