一种基于深度匹配网络的商品种类识别方法

技术领域

本发明涉及一种商品识别方法，尤其是涉及一种基于深度匹配网络的商品种类识别方法。

背景技术

超市作为现代社会中必不可少的购物场所，越来越受到消费者的青睐，同时也在近年来零售业的蓬勃发展中起着至关重要的作用。商品是超市的核心，良好的商品管理是提高超市运作效率和综合竞争力的重要手段，是超市生存和发展的根本。

货架作为商品的载体，其状态包含许多有用信息。比如商品的数量反映了实时销售情况，可用于确定是否需要及时补货，为进货和商品结构调整提供重要的参考；实际商品种类与设计的商品种类对比，确定是否出现商品的错误放置，需要人工整理。因此，准确掌握货架信息有助于提高超市的销售业绩和顾客体验。目前，货架上商品信息的统计主要由工作人员在盘点时完成，涉及人工记录和录入，有工作量大、需要大量人力、消耗时间长和易出错的缺点，难以做到信息更新的准确和及时，不利于库存问题的发现和应对。近几年来，超市已经开始广泛使用商品管理软件来收集和存储销售数据，然而大部分管理软件是静态的商品数量、种类的存储软件，只能看到统计信息，无法实时的了解货架上商品的情况。因此，开发一种软件实时地对货架上的商品信息进行自动统计和分析，提高盘点的效率和准确性并降低劳动成本是十分重要的。

商品识别以货架图像为信息来源，自动获取图像中的商品种类和位置信息，是商品计数和报表生成的基础。针对商品盘点工作量大，商品种类迅速增加的需求，现有技术缺少了一种准确、高效的商品识别方法。

发明内容

针对目前超市盘点方法人力消耗大、耗时长的不足，本发明的目的是提供一种基于深度匹配网络的商品种类识别方法，可使用手机相机对货架进行拍摄，根据模板图像识别货架图像中的商品。

本发明采用的技术方案是包含以下步骤：

1)对每一种待识别商品，采集正面照片作为模板图像，并在每个图像中标记出商标区域和有效图案区域，采集货架正面照片作为货架图像；

待识别商品是要求在货架图像中查找的商品列表。

所述的模板图像需要将商标和主要设计图案显露出来；商标区域是商标所在的图像区域，有效图案区域是商品厂商设计的具有辨识度图案所在的图像区域。有效图案区域指包含商品正面商标、图案和文字的矩形区域，即有效图案区域包含了商标区域。

商标区域和有效图案区域通过抠图方式制作成掩码(mask)。

2)将每一模板图像中的商标区域与货架图像进行特征点匹配，得到货架图像与模板图像商标区域的匹配特征点对列表；

3)对步骤2)获得的各个匹配特征点对列表，对货架图像进行对齐和裁剪处理生成单个商品图像；

4)对步骤3)中生成的各个单个商品图像，使用深度匹配网络方法和各个模板图像中的有效图案区域进行匹配，获得单个商品图像中商品种类的分类结果；

5)根据货架图像的各单个商品图像进行处理，构建货架图像中的商品区域，将属于同一商品区域的单个商品图像合并为一组，同一商品区域对应同一商品对象；

6)综合同一商品区域的各个单个商品图像的分类结果，获得货架图像该商品区域所对应的商品种类的分类结果。该区域是指一个商品所在的货架图像中的区域。

本发明的步骤2)综合利用了特征点之间的相似性与特征点组成的商品之间的几何相似性，将每一种待识别的商品的模板图像中的商标区域与货架图像进行特征点匹配，迭代处理得到所有货架图像与模板图像商标区域的匹配特征点对列表。

所述步骤2)具体为：

2.1)采集模板图像商标区域内的SIFT特征点与货架图像的SIFT特征点，SIFT特征点具有两个向量，其中一个向量由位置、尺度、方向构成，另一向量由128维描述子构成，计算模板图像商标区域内的任一SIFT特征点与货架图像的任一SIFT特征点之间的两两相似度；

每个SIFT特征点包含以下信息：特征点位置(x坐标，y坐标)、尺度s、方向θ(θ∈(-π,π])、一个128维的特征描述向量。

采用以下方式计算两个SIFT特征点之间的相似度：每个SIFT特征点的128维标准化描述向量记为v(标准化向量即向量的二范数为1)，货架图像上特征点总数记为M，模板图像商标区域内特征点总数记为N，则货架图像上的SIFT特征点i与模板图像商标区域内的SIFT特征点j之间的相似度度量A计算如下：

其中，v_i表示货架图像上的某SIFT特征点i的标准化描述向量，v_j表示模板图像商标区域内的某SIFT特征点j的标准化描述向量，v_i·v_j表示两向量点积，avg表示求平均值，std表示求标准差，M表示货架图像上特征点总数，N表示模板图像商标区域内特征点总数，avg{v_p·v_q|p＝1,2,…M；q＝1,2,…N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的平均值，std{v_p·v_q|p＝1,2,…M；q＝1,2,…N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的标准差；

2.2)根据相似度从大到小依次将SIFT特征点对加入到针对两图像之间新建的候选匹配特征点对列表L1中，候选匹配特征点对列表L1中的每一行均为一对相似度大的特征点，列表L1共两列，第一列为货架图像中的特征点，第二列为模板图像中的特征点，控制列表长度不超过阈值，并使得每个SIFT特征点不重复出现；

2.3)对候选匹配特征点对进行处理，将位于货架图像同一商品区域中的SIFT特征点归于同一特征点集，一商品区域对应了一近似商品对象，从而获得货架图像内与模板图像商标区域具有高几何相似度的近似商品对象。

具体实施中是通过随机初始化、增减特征点对的手段使得货架图像与模板图像商标区域内的特征点集合之间几何相似度增大的方式进行处理。

所述步骤2.3)具体为：

2.3.1)创建货架图像与模板图像商标区域的筛选后匹配特征点对列表L2，L2创建时为空，随机选择候选匹配特征点对列表L1中的任意两行的两对特征点加入到筛选后匹配特征点对列表L2中，作为初始的筛选后匹配特征点对列表L2，形成L2的随机初始化，筛选后匹配特征点对列表L2同样共2列，第一列为货架图像中的特征点，第二列为模板图像中的特征点；

2.3.2)为了综合考虑匹配上的货架图片中的特征点集合与模板图像商标区域内的特征点集合之间的几何相似度，定义L2第一列特征点集合与第二列特征点集合之间的几何相似度计算流程如下：

以筛选后匹配特征点对列表L2中的两对匹配特征点(即L2中的两行)共四个点为最小计算单元，四个特征点分别记为m_i、m_j、n_i、n_j，其中m_i与m_j是货架图像中的点，n_i与n_j是模板图像中的点，且m_i与n_i匹配，m_j与n_j匹配；每个特征点各自有位置(x坐标，y坐标)、尺度s、方向θ参数。

采用以下方式计算四个特征点之间的几何相似度：

第一步，计算：

式(1)中，分别表示点n_i、n_j、m_i、m_j的图像x横坐标，分别表示点n_i、n_j、m_i、m_j的图像y横坐标，D为n_i、n_j之间的距离与m_i、m_j之间的距离的比值，式(1)中算得D后代入(2)；

式(2)中，分别表示SIFT特征点n_i、n_j、m_i、m_j的尺度参数，Δ_s表示货架图像中的点m_i、m_j构成的图形与模板图像中的点n_i、n_j构成的图形在尺度上的差距；

第二步，计算

θ_o＝θ_n-θ_m(3)

其中，θ₀表示与之间的角度，分别表示SIFT特征点n_i、n_j、m_i、m_j的方向参数，abs表示取绝对值，算得的Δ_θ表示货架图像中的点m_i、m_j构成的图形与模板图像中的点n_i、n_j构成的图形在角度上的差距；θ_m表示向量与x轴夹角，θ_m∈(-π,π]，θ_n表示向量与x轴夹角，θ_n∈(-π,π]；

第三步，计算m_i、m_j、n_i、n_j这四个点之间的几何相似度

其中，σ_θ和σ_s分别表示控制对两个特征点集之间的在尺度和方向上的容忍度，σ_θ，σ_s均是可设置的参数，具体实施可取0.2，Δ_θ与Δ_s分别由式(4)和(2)计算得到，exp表示以自然常数e为底的指数函数；

第四步，利用上述三步所得g(m_i,m_j,n_i,n_j)，采用以下公式计算筛选后匹配特征点对列表L2第一列特征点集合与第二列特征点集合之间的几何相似度G(L2)；筛选后匹配特征点对列表L2中所有匹配特征点对数(即行数)记为N，m_i、m_j分别为L2第一列(即货架图像上特征点)第i行、第j行的特征点，n_i、n_j分别为L2第二列(即模板图像商品区域内特征点)第i行、第j行的特征点：

由此，得到L2第一列特征点集合与第二列特征点集合之间的几何相似度；

2.3.3)在筛选后匹配特征点对列表L2随机初始化之后，考虑如下两种处理方式：

①在L1剩下的特征点对(即L1减L2)中，找出增加到L2中能够使得新的L2’所重新计算得到的几何相似度G(L2’)最大的一对特征点，并且G(L2’)大于原来的G(L2)；

②当L2包含的特征点对数大于2时，在L2已有的特征点对中，找出从L2中移除后使得新的L2’所重新计算得到的几何相似度G(L2’)最大的一对特征点，且G(L2’)大于原来的G(L2)；

若①、②均能够找到，则随机选择一种方式处理，增加或删除对应的一对特征点对，更新筛选后匹配特征点对列表L2，并进行下一步骤；

若①、②只有一种能够找到，则选择能够找到的那一种方式处理，增加或删除对应的一对特征点对，更新筛选后匹配特征点对列表L2，并进行下一步骤；

若①、②都不可选择，则直接结束循环，不进行下一步骤，此时的L2为货架图像与模板图像商标区域匹配上的特征点列表的一种情况；

2.3.4)然后重复步骤2.3.3)直到完成对筛选后匹配特征点对列表L2的迭代处理；

2.3.5)迭代处理后，若筛选后匹配特征点对列表L2内的特征点对数大于阈值，则保留当前迭代处理后的筛选后匹配特征点对列表L2作为结果，并将其中的货架图像上特征点从货架图像上去除，再更新L1，再重新随机初始化L2重复步骤2.3.1)～2.3.4)进行下一轮匹配(选择操作①、②的循环)，如此迭代直至没有特征点对数大于阈值的L2匹配结果。

每一轮保存下的L2的第一列都是货架图像上能够与模板图像商标区域内特征点匹配上的特征点集，认为货架图像上的这些特征点集所在位置都存在着一个与模板图像品牌相同的商品。

如此保留的匹配点集Ω作为特征点集，认为每个匹配上的特征点集所在商品的商标与模板图像中商品的商标相同，每个特征点集所在的商品与模板图像中的商品相近，可能是同一种类的商品，需进行下一步判别。

所述步骤3)具体为：

3.1)根据货架图像与模板图像商标区域的筛选后匹配特征点对列表，求解变换矩阵，将货架图像对齐到模板图像；

3.2)根据模板图像中的有效图案区域的位置和大小，裁剪获得对齐后的货架图像中相同位置和大小的图像区域作为单个商品图像。

所述步骤3.1)具体为：根据货架图像与模板图像商标区域的筛选后匹配特征点对列表，求取匹配上的货架图像中特征点集的包围盒中心center_shelf和模板图像商标区域中特征点集的包围盒中心center_tmpl，将货架图像中特征点集的每个SIFT特征点坐标减去包围盒中心center_shelf坐标，将模板图像商标区域中特征点集的每个SIFT特征点坐标减去包围盒中心center_tmpl坐标，用RANSAC方法求得货架图像中的特征点集变换到模板图像商标区域中的特征点集的仿射矩阵A，然后利用仿射矩阵A将货架图像中每个像素点对齐到模板图像中的相对应位置。

后利用仿射矩阵A将货架图像对齐到与模板图像相对应位置具体按顺序分为三个步骤：

变换1：货架图像原左上角的像素点记为原点，将货架图像原点移动到center_shelf，即所有货架图像上的像素点坐标减去center_shelf；

变换2：用仿射矩阵A，对所有货架图像上的像素点进行变换，得到所有货架图像上的像素点在以center_tmpl为原点的坐标系下的坐标；

变换3：将货架图像的原点移动回模板图像左上角的像素点，即所有货架图像上的像素点坐标加上center_tmpl。

实际变换时利用矩阵乘法将三个变换组合成单个变换矩阵T，对货架图像每个像素点完成变换，即完成与模板图像的对齐。

所述步骤4)具体为：

4.1)使用深度匹配网络计算单个商品图像和各个模板图像的有效图案区域之间的相似度；

4.2)根据计算得到的各个相似度，以相似度最高的模板图像的类别作为单个商品图像中商品种类的分类结果。

具体实施的步骤4.1)采用论文《MatchNet:Unifying Feature and MetricLearning for Patch-Based Matching，2015》中的方法，分为特征提取和相似度计算两个部分，特征提取部分使用一个相同的深度卷积神经网络提取一对输入图像的特征，相似度计算部分根据特征使用全连接神经网络计算相似度，输出[0,1]的值。

具体实施中设定相似度阈值，若单个商品图像与各个模板图像的有效图案区域之间的相似度有存在大于等于相似度阈值的情况，则以相似度最高的模板图像的类别作为单个商品图像中商品种类的分类结果；若单个商品图像与各个模板图像的有效图案区域之间的相似度均小于相似度阈值，则认为单个商品图像不属于待识别的商品类别，分为“其他”类。

所述步骤5)中具体为：

5.1)对于每个商品模板图像，利用在步骤3)中对货架图像进行对齐时用到的变换矩阵T，转变为逆矩阵T^-1将模板图像的矩形有效图案区域的四个角进行变换，得到在货架图像上的坐标，求围成的四边形的包围盒，得到单个商品图像在货架图像上对应的包围盒；

5.2)根据变换得到的单个商品图像在货架图像上对应的包围盒与货架图像上其他单个商品图像对应的包围盒，采用以下公式计算每两个单个商品图像在货架图像上对应的包围盒之间的重叠大小overlap(A,B)：

其中，A和B分别表示两个单个商品图像在货架图像上对应的包围盒，|A∩B|表示货架图像上同时在两个包围盒内的像素数量，|A∪B|表示货架图像上至少在其中一个包围盒内的像素数量；

若重叠大小overlap(A,B)大于重叠阈值，则认为两个单个商品图像属于货架图像中的同一商品区域，即它们包含的是货架图像中的同一个商品；否则认为两个单个商品图像不属于货架图像中的同一商品区域，即它们包含的是货架图像中的不同商品；最后将属于货架图像中的同一商品区域的所有单个商品图像合并为一组。

这是由于货架图像中的一个商品与多个商标相同的模板图像经过对齐和裁剪可能产生多个单个商品图像，此时单个商品图像在货架图像上对应的包围盒基本会重叠在一起。

所述步骤6)根据属于同一商品区域的各个单个商品图像的分类结果，采用投票法对所有分类类别投票，以次数最多的分类类别为该商品区域对应的最终分类结果，如此处理得到整幅货架图像上每处商品区域的分类结果。

本发明的有益效果是：

本发明方法可以利用手机相机对货架进行拍摄，克服了现有超市盘点方法人力消耗大、耗时长的困难，实现了基于重复模式方法与深度匹配网络的商品识别。

本发明方法生成的商品识别结果包含图像中商品的坐标和类别，可作为商品计数、补货的依据，便于库存管理的电子化。

附图说明

图1为实施例输入的待识别商品模板图像及商标区域、有效图案区域掩码。

图2为实施例输入的货架图像。

图3为实施例货架图像局部与模板图像商标区域特征点通过特征向量相似度计算匹配上的特征点示意。

图4为货架图像局部与模板图像商标区域经过几何相似度约束筛选后的匹配上的特征点示意。

图5为实施例货架图像与模板图像商标区域特征点匹配结果。

图6为实施例货架图像中一个商品与一幅商品模板图像的对齐结果。

图7为实施例货架图像中一个商品与一幅商品模板图像对齐后的裁剪结果。

图8为实施例货架图像中单个商品图像按对应的包围盒重叠大小合并后的结果。

图9为实施例货架图像最终的商品识别结果。

具体实施方式

下面结合附图和实施例对本发明方法作进一步说明。本发明实施例如下：

本发明实施例如下：

1)对每一种待识别商品，采集正面照片作为模板图像，并人工抠图制作商标区域掩码(mask)与有效图案区域掩码(mask)。模板图像需要将商标和主要设计图案显露出来，商标区域是商标所在的图像区域，有效图案区域指包含商品正面商标、图案和文字的矩形区域，即有效图案区域包含了商标区域。图1所示从上到下分别为3种待识别商品(潘婷1、潘婷2、潘婷3)，每一行从左到右分别是商品的模板图像、商标区域掩码、有效图案区域掩码。

2)输入货架图像，将货架图像的SIFT特征点与每一种待识别商品的模板图像商标区域内的SIFT特征点进行匹配，迭代得到所有货架图像与模板图像商标区域的匹配特征点对列表。

货架图像如图2所示，首先用每个模板图像商标区域内的SIFT特征点与货架图像的所有SIFT特征点之间两两计算相似度，根据相似度从大到小依次将特征点对加入到两图像之间的候选匹配特征点对列表L1中，每一行为一对相似度大的特征点，共2列，第一列为货架图像中的特征点，第二列为模板图像中的特征点。

创建货架图像与模板图像商标区域的筛选后匹配特征点对列表L2，L2创建时为空。随机选择L1中的两行，即两对特征点加入到L2中，作为L2的随机初始化。然后通过循环进行以下两种操作直到L2两列特征点之间几何相似度无法再增大，得到最终的筛选后的匹配特征点列表L2：①从L1剩下的特征点对中选择一对特征点加入L2，使得L2两列特征点集合之间的几何相似度增大②从L2中移除一对特征点，使得L2两列特征点集合之间的几何相似度增大。

由于该方法涉及随机选择，所以每次执行的过程与结果都不一定相同，以下举个简化的例子来说明该方法的流程。例如，货架图像局部与模板图像潘婷1商标区域的特征点经过相似度计算、排序得到的匹配点列表L1的可视化结果如图3所示，左侧为货架图像，右侧为模板图像，点a1与点a2匹配，点b1与点b2匹配，依此类推。可以看到，货架图像上的两瓶潘婷都与模板图像商标区域有匹配上的特征点。随机初始化L2阶段，随机选择了其中的两对特征点a1-a2、b1-b2加入到L2中，a1与b1分属于两瓶潘婷。接下的循环，第一轮选择将c1-c2加入到L2中使得L2两列特征点几何相似度增大，第二轮选择将a1-a2从L2中删除，因为移除a1-a2使得L2两列特征点几何相似度增大。至此，L2中包含的两对特征点b1-b2与c1-c2已经属于同一瓶潘婷。接下来的四轮循环，分别将d1-d2、f1-f2、h1-h2、i1-i2加入L2中。新一轮循环，由于没有增加或是移除一对特征点能使L2几何相似度增大的操作，因此循环结束，L2最终包含6对特征点：b1-b2、c1-c2、d1-d2、f1-f2、h1-h2、i1-i2。实际计算时特征点数目远多于该示例，实际这片局部图像与模板图像潘婷1商标区域内特征点匹配上的特征点如图4所示，可以看出特征点都在同一瓶潘婷内，效果较好，这正是由于加入了上述的几何相似度限制。

若L2内的特征点对数大于阈值，则保留匹配结果，将其中的货架图像上特征点从货架图像上去除，更新L1，再重新随机初始化L2、进行下一轮匹配(增加、移除特征点对以增大几何相似度的循环)，如此迭代直至没有特征点对数大于阈值的L2匹配结果。每一轮保存下的L2的第一列都是货架图像上能够与模板图像商标区域内特征点匹配上的特征点集，认为货架图像上的这些特征点集所在位置都存在着一个与模板图像品牌相同的商品。

货架图像与模板图像商标区域匹配上的所有特征点如图5所示，每一轮匹配上的特征点集用不同的颜色表示，从上到下分别为用三种待识别商品(潘婷1、潘婷2、潘婷3)的模板图像商标区域内特征点进行匹配的结果。

3)对2)中所得货架图像与模板图像商标区域的筛选后匹配特征点对列表，用RANSAC方法分别求解每次匹配中货架图像中的特征点集变换到模板图像商标区域中的特征点集的仿射矩阵，并去除错误匹配。货架图像到模板图像的对齐按顺序分为三个步骤：

-变换1：货架图像原左上角的像素点记为原点，将货架图像原点移动到匹配上的货架图像中特征点集的包围盒中心；

-变换2：用仿射矩阵进行变换，对所有货架图像上的像素点坐标进行变换，得到在以模板图像商标区域中特征点集的包围盒中心为原点的坐标系下的坐标；

-变换3：变换后将货架图像的原点移动回模板图像左上角的像素点。

实际变换时利用矩阵乘法将三个变换组合成单个变换矩阵，对货架图像每个像素点完成变换。货架图像中一个商品与待识别商品潘婷2的模板图像的对齐结果如图6所示。

再根据模板图像中的有效图案区域的位置和大小，裁剪对齐后的货架图像中相同位置和大小的图像区域，得到单个商品图像，如图7所示。

4)对步骤3)中生成的每个单个商品图像，使用深度匹配网络方法和各个模板图像中的有效图案区域进行匹配，得到它们之间的相似度，根据相似度确定单个商品图像的类别：若该单个商品图像与各个模板图像的有效图案区域之间的相似度有存在大于等于相似度阈值的情况，则以相似度最高的模板图像的类别作为单个商品图像中商品种类的分类结果；若单个商品图像与各个模板图像之间的相似度均小于相似度阈值，则认为单个商品图像不属于要识别的商品类别，分为“其他”类。

5)根据货架图像的各单个商品图像进行处理，构建货架图像中的商品区域，将属于同一商品区域的单个商品图像合并为一组。对于每个商品模板图像，利用在步骤3)中对货架图像进行对齐时用到的变换矩阵的逆矩阵，将模板图像的矩形有效图案区域的四个角进行变换，得到在货架图像上的坐标，求它们围成的四边形的包围盒，得到单个商品图像在货架图像上对应的包围盒。然后计算单个商品图像在货架图像上对应的包围盒与货架图像上其他单个商品图像对应的包围盒之间的重叠，若大于阈值，则认为两个单个商品图像属于货架图像中的同一商品区域；否则认为两个单个商品图像不属于货架图像中的同一商品区域。最后将属于货架图像中的同一商品区域的所有单个商品图像合并为一组，单个商品图像按对应的包围盒重叠大小合并后的结果如图8所示，其中不同商品区域用不同颜色表示。

6)综合同一商品区域的各个单个商品图像的分类结果，获得货架图像该商品区域所对应的商品种类的分类结果。多个单个商品图像的分类结果用投票法进行合并，取非“其他”类出现最多的类别为商品的类别，取与该类别模板图像有效图案区域内容相似度最高的单个商品图像在货架图像上对应的包围盒为商品的包围盒；若所有单个商品图像都分类为“其他”，则商品分类为“其他”，即不属于要识别的商品类别。货架图像的最终商品识别结果如图9所示。