冰箱内物品目标同一性判断方法、冰箱和计算机存储介质

技术领域

本发明涉及制冷装置领域，具体地涉及一种冰箱内物品目标同一性判断方法、冰箱和计算机存储介质。

背景技术

随着家用电器智能化的发展，对内部物品进行识别已经是只能冰箱所必需的功能。通常为了实现对冰箱内部物品的识别跟踪，来检测食材的存放日期和存放时长等，冰箱的内部储存空间内都安装有一个或多个摄像头用于拍摄物品，并对拍摄的照片进行处理后生成识别结果。

然而，在图像检测识别过程中，现有的Sort和deepsort算法不太适合冰箱瓶座上存放物品的目标跟踪，因为冰箱门打开以后会出现各种光线的变化以及人身体自身对物品的遮挡，开门的过程中物品可能会大范围晃动，导致长时间检测不到目标，甚至人手长时间遮挡目标情况下目标发生了移动，导致跟丢目标，或者出现目标ID的迅速切换，严重影响了用户体验。

发明内容

本发明的目的在于提供一种冰箱内物品目标同一性判断方法、冰箱和计算机存储介质。

本发明提供一种冰箱内物品目标同一性判断方法，包括步骤：

获取于固定位置连续拍摄的多幅冰箱内存储空间图片，分别为第1图像至第n图像，其中，n为大于1的整数；

检测所述第1图像内的物品信息，在各物品处生成目标检测框，分别为目标检测框B

检测第2图像内的物品信息，在各物品处生成目标检测框；

比较所述第2图像内各物品目标检测框与所述目标检测框B

将目标2至目标n分别依次与第2图像内各目标检测框进行重合度和相似度比较，更新所述第2图像内物品ID信息；

重复上述步骤，依次通过第x-1图像对第x图像更新物品ID信息，其中，2≤x≤n。

作为本发明的进一步改进，还包括步骤：

更新物品ID信息后，当所述第x图像中依然存在未赋值ID的物品时，对其赋值新ID。

作为本发明的进一步改进，比较所述第2图像内各物品目标检测框与所述目标检测框B

计算所述第2图像内各物品目标检测框与所述目标检测框B

对于交并比大于第一阈值V

作为本发明的进一步改进，所述得到重合度最高的目标检测框B

计算所述目标检测框B

选择欧氏距离最短的目标检测框判定为重合度最高的目标检测框B

作为本发明的进一步改进，所述检测所述目标检测框B

当所述目标检测框B

当所述目标检测框B

若cosin相似度大于设定的第三阈值V

作为本发明的进一步改进，所述复核后删除所述目标1信息，包括：

当所述第2图像中不存在与所述目标检测框B

作为本发明的进一步改进，还包括步骤：

当在第a图像中检测到手，且第a-1图像中存在目标j经检测后未在所述第a图像中被检测到时，比较其所对应的目标检测框B

当满足重合度最低要求时，将所述目标检测框B

继续进行后续图像物品信息检测，当存在与物品j同类型的物品j2，且其对应的目标检测框B

作为本发明的进一步改进，所述比较其所对应的目标检测框B

计算所述目标检测框B

作为本发明的进一步改进，所述检测所述目标检测框B

截取所述目标检测框B

本发明还提供一种冰箱，包括：摄像机以及存储器和处理器，所述摄像机被配置用于拍摄冰箱内存储空间图像；

所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述冰箱内物品目标同一性判断方法的步骤。

作为本发明的进一步改进，所述冰箱包括多个瓶座，多个所述瓶座从上至下依次排布设置在冰箱门体上，所述摄像机设置于所述瓶座底部，竖直向下设置，用于拍摄其下方瓶座空间内图像。

本发明还提供一种计算机存储介质，其中存储有计算机程序，并且所述计算机程序运行时导致所述计算机存储介质的所在设备执行上述冰箱内物品目标同一性判断方法的步骤。

本发明的有益效果是：本发明能够在一段连续图像中以高准确度检测跟踪各物品信息和位置的变化，并且能够有效检测跟踪在连续多幅图像中暂时被手遮挡、或被用户拿起移动的物品，跟踪丢失少，跟踪精度高。

附图说明

图1是本发明一实施方式中的冰箱内物品目标同一性判断方法步骤示意图。

图2至图4是本发明一实施方式中的冰箱内物品目标同一性判断方法中所拍摄的冰箱内空间示意图。

图5是本发明一实施方式中的冰箱内物品目标同一性判断方法中检测被手遮挡物品的步骤示意图。

图6至图8是本发明一实施方式中的冰箱内物品目标同一性判断方法中检测被手遮挡物品的步骤所拍摄的冰箱内空间示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施方式及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施方式仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

为方便说明，本文使用表示空间相对位置的术语来进行描述，例如“上”、“下”、“后”、“前”等，用来描述附图中所示的一个单元或者特征相对于另一个单元或特征的关系。空间相对位置的术语可以包括设备在使用或工作中除了图中所示方位以外的不同方位。例如，如果将图中的装置翻转，则被描述为位于其他单元或特征“下方”或“上方”的单元将位于其他单元或特征“下方”或“上方”。因此，示例性术语“下方”可以囊括下方和上方这两种空间方位。

如图1所示，本发明提供一种冰箱内物品目标同一性判断方法，用于对冰箱内物品信息进行检测和追踪，包括步骤：

S11：获取于固定位置连续拍摄的多幅冰箱内存储空间图片，分别为第1图像至第n图像，其中n为大于1的整数。

这里所说的于同一点位拍摄即通过设置于一固定点位的摄像机，在其与取景区域之间保持相对稳定后连续拍摄得到多幅图像，或从拍摄的影像中连续截取多帧图像，从而最大限度的保证每幅图像中的物体位置保持相同，便于进行后续的检测与识别。

示例性的，在本实施方式中，摄像机设于冰箱瓶座底部，用于拍摄其下方瓶座内食材的信息。于本发明的其他实施方式中，摄像头机也可设于冷藏室或冷冻室等冰箱内其他储存空间内，并根据冷藏室或冷冻室的结构调整其设置的位置。

在接收到开始拍摄的指令后，摄像机开始工作，通常这一指令可以通过冰箱门被打开而发出，此时，由于冰箱门刚被打开，因此拍摄区域内物品依然保持为未被用户触碰的状态，可识别度高，以此为判断基准图像，识别准确度较高。

S12：检测第1图像内的物品信息，在各物品处生成目标检测框，分别为目标检测框B

具体的，基于检测算法模型，获取图像内食材，如可通过YOLOv4等常用目标检测算法对物品进行检测。目标检测框通常为将单个物品囊括于其内的矩形或四边形检测框。

示例性的，如图2所示，为一幅图像示意图，为便于说明工作逻辑，选取一幅用户开始调整冰箱内物品过程中的图像作为第1图像，其内包括5个目标检测框，且其内物品分别对应标识为目标1至目标5。

S13：检测第2图像内的物品信息，在各物品处生成目标检测框。

示例性的，如图3所示，为图2后一幅图像示意图，为便于说明，将其定为第二图像，其内包括5个目标检测框，且尚未对物品赋值ID。

S14：比较第2图像内各物品目标检测框与目标检测框B

S15：将目标2至目标n分别依次与第2图像内各目标检测框进行重合度和相似度比较，更新第2图像内物品ID信息。

具体的，在步骤S14中，比较第2图像内各物品目标检测框与目标检测框B

S141：计算第2图像内各物品目标检测框与目标检测框B

S142：对于交并比大于第一阈值V

交并比在图像检测中，用以描述两个框之间的重叠面积，可以用其衡量两个目标检测框之间的重合度，计算交并比的程序为现有技术，这里不再赘述。

先通过逻辑相对简单的交并比计算，筛选出与目标检测框B1之间重合度较高的目标检测框作为检测识别的候选目标，减少后续识别所需要的工作量。

具体的，在步骤S14中，得到重合度最高的目标检测框B

S143：计算目标检测框B

S144：选择欧氏距离最短的目标检测框判定为重合度最高的目标检测框B

在实际情况中，目标检测框的大小和分布位置对交并比的影响可能会导致最终对重合度判断产生误差，因此增加测试欧氏距离的步骤，欧氏距离即两点之间的直线距离，当欧氏距离最短时，可以认为两个目标检测框之间实际最为相近，在交并比大于第一阈值V

具体的，在步骤S14中，检测两者间相似度，包括：

S145：当目标检测框B

这里，对于欧氏距离小于等于第二阈值V

S146：当目标检测框B

S147：若cosin相似度大于设定的第三阈值V

这里，对于欧氏距离大于第二阈值V

具体的，在步骤S147中，复核后删除目标1信息，包括：

当第2图像中不存在与目标检测框B

这里，考虑到可能存在误判后者遮挡等情况，当仅在第2图像中未找到与目标检测框B

在本实施方式中，m值取7，即连续在7幅图像中未识别到与目标检测框B

通过重复上述步骤，将第1图像中的物品ID信息赋值更新到第2图像中。

示例性的，如图4所示，物品1至物品4未发生移动，直接将图2中的物品ID信息对其赋值，物品5被用户移动，但其满足低最相似度要求，因此对其进行赋值。

进一步的，步骤S14还包括：

在更新物品ID信息后，当第x图像中依然存在未赋值ID的物品时，对其赋值新ID。此时，判定为用户在冰箱内放置了新物品。

S16：重复上述步骤，依次通过第x-1图像对第x图像更新物品ID信息，其中，2≤x≤n。

进一步的，如图5所示，在本发明的一些实施方式中，针对冰箱内物品暂时被用户手遮挡的情况，还包括检测识别的步骤：

S21：当在第a图像中检测到手，且第a-1图像中存在目标j经检测后未在第a图像中被检测到时，比较其所对应的目标检测框B

S22：当满足重合度最低要求时，将目标检测框B

具体的，在步骤S21中，比较其所对应的目标检测框B

计算目标检测框B

这里，在检测过程中，当有物品未被检测到，且同时检测到手的信息后，该物品具有较高的可能性被手遮挡，或者被用户拿起准备将其移动，此时，两者间的目标检测框具有较高的重合度，因此，通过检测两者间的交并比，来判断物品是否被手遮挡。并暂时将物品信息保存，留待后续继续检测。

示例性的，如图6和图7所示，其中，图7为图6的下一图像，在图6中检测识别到物品1至物品6，在图7中，检测识别到物品1至物品5和手的信息，物品6被用户手拿起，其信息被遮挡，图6中物品6和图7中手的目标检测框的交并比满足重合度最低要求，将两目标检测框内的内容关联后暂时保存。

S23：继续进行后续图像物品信息检测，当存在与物品j同类型的物品j2，且其对应的目标检测框B

具体的，在步骤S23中，通过计算目标检测框B

具体的，在步骤S23中，检测目标检测框B

截取目标检测框B

示例性的，如图8所示，其为图7下一图像，在其内检测识别到物品6同类型物品，其目标检测框与图7中手的目标检第六阈值V

进一步的，当在第a图像中检测到手，且第a-1图像中存在多个目标经检测后未在第a图像中被检测到时，对于多个对象分别进行后续检测。

综上所述，本发明通过上述方法能够在一段连续图像中以高准确度检测跟踪各物品信息和位置的变化，并且能够有效检测跟踪在连续多幅图像中暂时被手遮挡、或被用户拿起移动的物品，跟踪丢失少，跟踪精度高。

本发明还提供一种冰箱，包括：摄像机以及存储器和处理器，摄像机被配置用于拍摄冰箱内存储空间图像。存储器存储有可在处理器上运行的计算机程序，处理器执行程序时实现上述冰箱内物品目标同一性判断方法的步骤。

进一步的，冰箱包括多个瓶座，多个瓶座从上至下依次排布设置在冰箱门体上，摄像机设置于瓶座底部，竖直向下设置，用于拍摄其下方瓶座空间内图像。

本发明还提供一种计算机存储介质，其中存储有计算机程序，并且计算机程序运行时导致计算机存储介质的所在设备执行上述冰箱内物品目标同一性判断方法的步骤。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。