一种基于计算机视觉技术的蔬菜自动清洗方法及系统

技术领域

本发明属于农业设备领域，具体是涉及一种基于计算机视觉技术的蔬菜自动清洗方法及系统。

背景技术

各个行业在发展过程中对于清洗洁净度的要求不断提升，只因清洁度本身就代表了产品生产环境的质量，至于自动清洗机本身只是一种高技术产品，故此并不存在适用于所有产业的通用产品，由此也就衍生出来各种专用清洗机及部分类型通用清洗机。

自动清洗机能够高效的利用资源进行有效快速地清洗清理，能够大大降低人力成本，并大幅度地提升工作效率和工作速度，此外还能够实现对水资源的循环利用，节水节能，尤其是冬季等恶劣环境下优势更显著。相对于人工清洗能够实现高强度工作模式。

自动清洗机经过了前几代清洗机技术的学习，国内也逐渐跟上了国际研发的步伐，摆脱人工，走向智能生产，脱离了模仿学习，开始进行自主研发，但是不同行业需求不同，清洗产业的发展还需要根据实际情况，根据各行业的发展需求，从而选择适合的方式进行设备设计和生产。在蔬菜加工过程中需要对蔬菜进行清洗，现有的蔬菜清洗大多通过手工进行，整个清洗过程效率低下，耗时耗力。虽然在现有市场上也出现了部分清洗机，但是这些清洗机的设计不够合理，使用不够方便，清洗效果较差。

发明内容

为了解决上述技术问题，本发明提出了一种基于计算机视觉技术的蔬菜自动清洗方法及系统。

为了达到上述目的，本发明的技术方案如下：

一方面，本发明公开了一种基于计算机视觉技术的蔬菜自动清洗方法，具体包括以下步骤：

1)收集不同类别的蔬菜图像以及蔬菜不同清洗部位的图像；

2)将预训练分类模型对每一类蔬菜图像进行训练，对选定类用标注的蔬菜图像数据集提取深层网络特征，利用该特征表征训练数据从而构建蔬菜分类深层网络；

3)将预训练分类模型对同一类蔬菜每个不同清洗部位图像进行训练，对选定类用标注的蔬菜不同清洗部位的图像数据集提取深层网络特征，利用该特征表征训练数据从而构建清洗部位分类深层网络；

4)利用步骤2)得到的蔬菜分类深层网络对置于清洗设备内待清洗的蔬菜进行蔬菜类别自动识别；

5)利用步骤3)得到的清洗部位分类深层网络对置于清洗设备内待清洗的蔬菜进行清洗部位的自动识别；

6)读取存储器内存储的清洗方式列表，清洗方式列表用于保存不同类别蔬菜的不同清洗部位对应的不同清洗方式；

7)利用左、右两个双目测距装置通过双目测距方法检测蔬菜不同清洗部位与清洗装置之间的距离；

8)根据步骤6)得到的清洗方式以及步骤7)得到的清洗距离进行分析，得到最终清洗模式，根据该最终清洗模式对蔬菜的不同清洗部位进行清洗。

在上述技术方案的基础上，还可做如下改进：

作为优选的方案，分类模型结构包括：标准卷积层、一连串的深度可分离卷积包、平均降维层以及完全链接层，深度可分离卷积包包含一个深度卷积层；

标准卷积层为分类模型的第一层，平均降维层为分类模型的倒数第二层，完全链接层为分类模型的最后一层。

作为优选的方案，深度卷积层由深度卷积操作、线性整流函数、批量标准化操作和逐点卷积操作构成。

作为优选的方案，步骤3)中的清洗部位分类深层网络的建立步骤具体包括以下内容：

输入层建立步骤，用于对采集到的蔬菜的图像数据进行数据处理，得到坐标化的蔬菜结构；

隐层建立步骤，用于得到坐标化的蔬菜结构和蔬菜各个清洗部位位置的映射关系；

隐层训练步骤，用于对坐标化的蔬菜结构和蔬菜各个清洗部位位置的映射关系进行训练和修正；

可视化层建立步骤，用于对蔬菜各个清洗部位位置的坐标输出，得到可视化的蔬菜各个清洗部位位置。

作为优选的方案，蔬菜结构和蔬菜各个清洗部位位置的可视化编码同时传输至显示装置上，显示装置显示蔬菜结构图后，在蔬菜结构图上叠加显示各个清洗部位的位置。

作为优选的方案，还包括步骤9)：

9)采集清洗后的蔬菜图片，判断清洗后的各个清洗部位是否有污渍；

若有，则判断污渍所在清洗部位，并对该清洗部位进行重复清洗；

若没有，则提示该蔬菜已清洗干净。

作为优选的方案，步骤9)还包括以下内容：

若对具有污渍的清洗部位清洗了阈值次数后，污渍仍然存在，则在该蔬菜的图像上对污渍进行标出和/或记录该污渍位置，存入存储器；

并将污渍的可视化编码传输至显示装置上，显示装置显示蔬菜结构图后，在蔬菜结构图上叠加显示污渍的位置。

作为优选的方案，步骤7)具体包括以下步骤：

7.1)得到双目测距装置的内部参数以及左、右两个双目测距装置之间的相对位置；

7.2)根据步骤7.1)得到的双目测距装置内部参数以及左、右两个双目测距装置之间的相对位置关系后，分别对左、右两个双目测距装置采集的左、右图像进行畸变消除和行对准，使得左、右图像的成像原点坐标一致，两个双目测距装置光轴平行、左右成像平面共面、对极线行对齐；

7.3)把同一蔬菜清洗部位在左、右图像上对应的像点匹配起来，得到视差数据；

7.4)根据步骤7.3)得到的视差数据，计算出深度信息；

7.5)根据步骤7.4)得到的深度信息得到左、右两个双目测距装置到蔬菜清洗部位之间的距离；

7.6)根据清洗装置与左、右两个双目测距装置之间的位置关系，得到清洗装置与蔬菜清洗部位之间的距离。

此外，另一方面本发明还公开一种基于计算机视觉技术的蔬菜自动清洗系统，包括：

清洗装置，用于对蔬菜进行清洗；

图像采集装置，用于采集蔬菜的图像；

双目测距装置，用于检测蔬菜与清洗装置之间的距离；

控制装置，分别与清洗装置、图像采集装置以及双目测距装置连接，控制装置包括：处理器、存储器以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，的一个或多个程序包括用于上述任一种蔬菜自动清洗方法的指令。

作为优选的方案，蔬菜自动清洗系统还包括：

显示装置，显示装置与控制装置连接，显示装置用于显示以下一种或多种图像：清洗前、后的蔬菜结构图，蔬菜各个清洗部位的位置图，标注出顽固污渍的清洗后的蔬菜结构图。

本发明公开一种基于计算机视觉技术的蔬菜自动清洗方法及系统，其采用智能化的识别技术，识别蔬菜的种类及不同的清洗部位，针对不同的清洗部位采用预设的不同清洗方式，实现蔬菜的自动清洗，且清洗的洁净程度高，不易对蔬菜造成损伤。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的蔬菜自动清洗方法的流程图。

图2为本发明实施例提供的双目测距原理图。

图3为本发明实施例提供的蔬菜自动清洗系统的结构框图。

其中：1清洗装置，2图像采集装置，3双目测距装置，4控制装置，5显示装置。

具体实施方式

下面结合附图详细说明本发明的优选实施方式。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

“包括”元件的表述是“开放式”表述，该“开放式”表述仅仅是指存在对应的部件，不应当解释为排除附加的部件。

为了达到本发明一种基于计算机视觉技术的蔬菜自动清洗方法及系统的目的，在其中一些实施例中，如图1所示，蔬菜自动清洗方法具体包括以下步骤：

1)收集不同类别的蔬菜图像以及蔬菜不同清洗部位的图像；

2)将预训练分类模型对每一类蔬菜图像进行训练，对选定类用标注的蔬菜图像数据集提取深层网络特征，利用该特征表征训练数据从而构建蔬菜分类深层网络；

3)将预训练分类模型对同一类蔬菜每个不同清洗部位图像进行训练，对选定类用标注的蔬菜不同清洗部位的图像数据集提取深层网络特征，利用该特征表征训练数据从而构建清洗部位分类深层网络；

4)利用步骤2)得到的蔬菜分类深层网络对置于清洗设备内待清洗的蔬菜进行蔬菜类别自动识别；

5)利用步骤3)得到的清洗部位分类深层网络对置于清洗设备内待清洗的蔬菜进行清洗部位的自动识别；

6)读取存储器内存储的清洗方式列表，清洗方式列表用于保存不同类别蔬菜的不同清洗部位对应的不同清洗方式；

7)利用左、右两个双目测距装置3通过双目测距方法检测蔬菜不同清洗部位与清洗装置1之间的距离；

8)根据步骤6)得到的清洗方式以及步骤7)得到的清洗距离进行分析，得到最终清洗模式，根据该最终清洗模式对蔬菜的不同清洗部位进行清洗。

图像采集装置2可以但不限于为：摄像头或相机。

双目测距装置3可以但不限于为：摄像头或相机。

蔬菜的类别可以但不限于为：菌菇、青菜、菠菜、白菜、胡萝卜、土豆、茄子等等。对于像青菜、菠菜、白菜等蔬菜的清洗部位可以划分为：根、茎、叶等等，对于像土豆、茄子等蔬菜的清洗部位可以划分为：光滑表面或凹坑等等。

本发明公开一种基于计算机视觉技术的蔬菜自动清洗方法，

其首先通过预训练得到蔬菜分类深层网络和清洗部位分类深层网络，存储器内存储清洗方式列表，清洗方式列表内保存有不同蔬菜不同清洗部位对应的清洗方式；

然后，将预清洗的蔬菜置于清洗设备中，利用图像采集装置2采集蔬菜的实时图像输送到蔬菜分类深层网络中，蔬菜分类深层网络输出该蔬菜的具体类别(如：青菜)；

然后，再将采集到的蔬菜实时图像输送到清洗部位分类深层网络,区分具体的清洗部位(如：根、茎、叶)，不同的清洗部位采用不同的清洗方式(如：根部用流量大的水清洗三次，茎部用流量较小的水清洗二次，叶部用流量小的水清洗二次)；

其次，利用左、右两个双目测距装置3通过双目测距方法检测蔬菜不同清洗部位与清洗装置1之间的距离，若距离较远，则需要提高水压强度，若距离较近，则需要降低水压强度；

最后，根据得到的清洗方式以及清洗距离进行分析，得到最终清洗模式对蔬菜的不同清洗部位进行清洗。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，分类模型结构包括：标准卷积层、一连串的深度可分离卷积包、平均降维层以及完全链接层，深度可分离卷积包包含一个深度卷积层；

标准卷积层为分类模型的第一层，平均降维层为分类模型的倒数第二层，完全链接层为分类模型的最后一层。

进一步，深度卷积层由深度卷积操作、线性整流函数、批量标准化操作和逐点卷积操作构成。

如将预训练分类模型对每一类蔬菜图像进行训练，对选定类用标注的蔬菜图像数据集提取深层网络特征，利用该特征表征训练数据从而构建蔬菜分类深层网络。其第一步是数据收集与标注，以青菜为例，收集300张该类图片，用xml文件类型进行标注，在该标注中，标出了蔬菜的类型(cable)，文件名(1.jpg)，图片大小，目标位置(xmin,ymin,xmax,ymax)等。

其第二步是在该数据集深层网络中，以VGG16为主要网络，在之后进一步加入五层全连接层，进而实现高效的数据集表征。

清洗部位分类深层网络的构建方式与蔬菜分类深层网络的构建方式相似，在此不进行赘述。

本发明分类模型基于MobileNet构架，其深度可分离卷积(DSC)层取代了传统的卷积网络，使得整个计算过程可以在低能耗，终端级运算速度的条件下进行高精度，高实时性的物体识别。深度可分离卷积网络最大的特点在于其可以更有效地利用参数共享和自由度。

进一步，步骤3)中的清洗部位分类深层网络的建立步骤具体包括以下内容：

输入层建立步骤，用于对采集到的蔬菜的图像数据进行数据处理，得到坐标化的蔬菜结构；

隐层建立步骤，用于得到坐标化的蔬菜结构和蔬菜各个清洗部位位置的映射关系；

隐层训练步骤，用于对坐标化的蔬菜结构和蔬菜各个清洗部位位置的映射关系进行训练和修正；

可视化层建立步骤，用于对蔬菜各个清洗部位位置的坐标输出，得到可视化的蔬菜各个清洗部位位置。

进一步，蔬菜结构和蔬菜各个清洗部位位置的可视化编码同时传输至显示装置5上，显示装置5显示蔬菜结构图后，在蔬菜结构图上叠加显示各个清洗部位的位置。

其中，上述输入层建立步骤包括：

首先，建立二维坐标系，对图像采集装置2采集到的二维平面蔬菜图像进行二维坐标化；

然后，建立三维坐标系，根据图像采集装置2采集到的深度数据，结合上述得到的二维平面蔬菜图像，对蔬菜结构三维坐标化。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，上述清洗方法还包括步骤9)：

9)采集清洗后的蔬菜图片，判断清洗后的各个清洗部位是否有污渍；

若有，则判断污渍所在清洗部位，并对该清洗部位进行重复清洗；

若没有，则提示该蔬菜已清洗干净。

作为优选的方案，步骤9)还包括以下内容：

若对具有污渍的清洗部位清洗了阈值次数后，污渍仍然存在，则在该蔬菜的图像上对污渍进行标出和/或记录该污渍位置，存入存储器；

并将污渍的可视化编码传输至显示装置5上，显示装置5显示蔬菜结构图后，在蔬菜结构图上叠加显示污渍的位置。

对污渍进行标出和/或记录该污渍位置，便于后续进行二次清洁。

为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，上述清洗方法的步骤7)具体包括以下步骤：

7.1)得到双目测距装置3的内部参数以及左、右两个双目测距装置3之间的相对位置；

7.2)根据步骤7.1)得到的双目测距装置3内部参数以及左、右两个双目测距装置3之间的相对位置关系后，分别对左、右两个双目测距装置3采集的左、右图像进行畸变消除和行对准，使得左、右图像的成像原点坐标一致，两个双目测距装置3光轴平行、左右成像平面共面、对极线行对齐；

7.3)把同一蔬菜清洗部位在左、右图像上对应的像点匹配起来，得到视差数据；

7.4)根据步骤7.3)得到的视差数据，计算出深度信息；

7.5)根据步骤7.4)得到的深度信息得到左、右两个双目测距装置3到蔬菜清洗部位之间的距离；

7.6)根据清洗装置1与左、右两个双目测距装置3之间的位置关系，得到清洗装置1与蔬菜清洗部位之间的距离。

如图2所示，双目测距主要是利用目标点在左右两幅图像上的成像的横向坐标直接存在的差异(视差d＝x

假设目标点在左图像中的坐标为(c

上式中，焦距f和两个双目测距装置中心距T可通过标定得到，因此，只要获得视差d的值即可求得深度信息Z。

本发明采用双目测距应用在清洗方法上，可以精确得到清洗装置与清洗部位之间的距离，从而配备更精准的清洗方式。

如图3所示，另一方面本发明实施例还公开一种基于计算机视觉技术的蔬菜自动清洗系统，包括：

清洗装置1，用于对蔬菜进行清洗；

图像采集装置2，用于采集蔬菜的图像；

双目测距装置3，用于检测蔬菜与清洗装置1之间的距离；

控制装置4，分别与清洗装置1、图像采集装置2以及双目测距装置3连接，控制装置4包括：处理器、存储器以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，的一个或多个程序包括用于上述任一种蔬菜自动清洗方法的指令。

进一步，蔬菜自动清洗系统还包括：

显示装置5，显示装置5与控制装置4连接，显示装置5用于显示以下一种或多种图像：清洗前、后的蔬菜结构图，蔬菜各个清洗部位的位置图，标注出顽固污渍的清洗后的蔬菜结构图。

本发明公开一种基于计算机视觉技术的蔬菜自动清洗方法及系统，其采用智能化的识别技术，识别蔬菜的种类及不同的清洗部位，针对不同的清洗部位采用预设的不同清洗方式，实现蔬菜的自动清洗，且清洗的洁净程度高，不易对蔬菜造成损伤。

上述实施例只为说明本发明的技术构思及特点，其目的在于让本领域普通技术人员能够了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围内。