读数表不完整字符识别方法以及读数表字符识别方法

技术领域

本发明涉及图像识别技术领域，尤其涉及一种读数表不完整字符识别方法以及读数表字符识别方法。

背景技术

每一户人家的都安装了各种各样的读数表，例如水表，气表，电表等等，用以统计用水量、气量、电量等等并根据用量来计算收费的多少。抄表是收费的依据，也能帮助用户了解自身的用量。

得益于计算机技术的发展，近年来深度学习技术，由于其高效性和准确性也不断地得到了发展，比如卷积神经网络(CNN)被广泛的应用到了图像处理和数据处理等领域。到目前也有不少利用机器视觉领域的方法通过图像识别表盘上的读数来减轻人工抄表的工作的量的方法，但是这一类方法在自动识别表盘上的数据时，尤其是当读数表有不完整字符时，往往人工智能网络就不能比较准确的识别。

发明内容

针对现有技术中所存在的不足，本发明提供了读数表不完整字符识别方法，以解决相关技术中传统技术中当读数表有不完整字符时，人工智能网络就不能比较准确的识别的问题。

根据本发明的实施例，提供了一种读数表不完整字符识别方法，所述方法包括：

根据迁移学习对CNN算法进行训练，得到目标识别模型；

获取读数图像中的不完整字符区域，所述不完整字符区域包括第一区域和第二区域；

利用所述目标识别模型对所述不完整字符区域进行识别，得到与所述第一区域相匹配的第一识别结果集和与所述第二区域相匹配的第二识别结果集；

根据所述第一识别结果集、所述第二识别结果集和预设读数表字符排布规律，得到所述不完整字符区域的目标数值。

根据本发明的实施例，还提供一种读数表字符识别方法，包括如上所述的读数表不完整字符识别方法，根据所述目标数值与读数表完整字符识别值，得到读数表字符识别结果。

相比于现有技术，本发明具有如下有益效果：

本发明技术中，虽然人工智能技术运用广泛，但是读数读数表字符图像，尤其是不完整字符的图像，使用CNN识别时，发明人创造性的发现了这样的问题，实际运用中有训练样本难以获得，并且通过大量截取的样本为无监督学习样本，学习效率低；导致训练后的目标模型识别效果不高的问题。而如果需要获得监督学习的样本，又需要大量的训练样本复杂的前序处理工作。本发明通过运用迁移学习的方法，并且将迁移学习的方法，运用于解决具体实际的问题，能够有效的获得足够量的训练样本，并有效提高了CNN模型的准确率，并省去了收集、处理训练样本的繁杂步骤，同样能达到较高的识别效果。

再者，通过人工智能识别图像的不完整字符，发明人创造性的发现了这样的问题：某些不完整字符具有极高相似性，人工智能识别不能得出很好的结果，所述第一识别结果集、所述第二识别结果集中可能有多个可能性高的识别值，这时本发明通过再增加符合读数表特征的识别步骤，即根据读数表字符排布规律再次判断第一识别结果集、所述第二识别结果集的取值是否相应的符合读数表字符排布规律，这样，经过进一步筛选过后，就可以得到更加准确的不完整字符区域的目标数值。

当然，如果没有发现，发明人发现的这一问题：某些不完整字符具有极高相似性，人工智能识别不能得出很好的结果，在现有技术中一般会直接输出贝叶斯概率最高的值作为识别结果，而不是输出一个识别结果集，即多个备选结果，进行比对后选出符合规律的结果。因此，为了突出本发明的发明点，虽然将判断第一识别结果集、所述第二识别结果集的取值是否相应的符合读数表字符排布规律的步骤在此单独强调的叙述，但实际上，该步骤与前序通过迁移学习后的CNN对不完整字符的识别是完整的，并且互相影响，不能简单独立的分割的来看。正因为第二网络输出多个供比对确认的输出结果，才有可能提高整个识别网络的精度。当然，在此需要说明的情况是，所谓的识别结果集，并不一定是指同时输出的多个识别结果，也不是每次都必须输出多个结果，能保证精度的提高的前提仅仅是，当比对结果不符合读数表字符排布规律时，能够提供其它的备选值重新比对。

附图说明

图1为本发明一实施例中的读数表不完整字符识别方法的流程示意图；

图2为本发明一实施例中的CNN的结构示意图；

图3为本发明一实施例中流程示意图。

图4为本发明一实施例中的CNN训练和验证精度图像；

图5为本发明一实施例中的CNN训练和损失函数图像；

图6为图2和图3中图像获取时的具体参数设置；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

为了使本发明的目的、技术方案及有益效果更加清楚明白，下面结合附图及实施例对本发明中的技术方案进一步说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明是一种读数表不完整字符识别方法，所述方法包括：

根据迁移学习对CNN算法进行训练，得到目标识别模型；

获取读数图像中的不完整字符区域，所述不完整字符区域包括第一区域和第二区域；

将所述完整字符区域输入到所述目标识别模型进行识别，得到所述第一区域相匹配的第一识别结果集和所述第二区域相匹配的第二识别结果集；

根据所述第一识别结果集、所述第二识别结果集和预设读数表字符排布规律，得到所述不完整字符区域的目标数值。

本发明方法可以单独使用，用于识别不完整的字符，也可以结合使用，根据所述识别不完整字符得到的目标数值与读数表完整字符识别值，得到读数表字符完整的识别结果。本方法可以运用于客户端，终端，也可以运用于服务器端等等，在此对运用本方法的具体端口，机型，配置不做限定，只要本领域技术人员理解可以执行本方法的方案即可。本发明的方法步骤，可以为多个模块，或者多家公司共同完成。比如，根据迁移学习对CNN算法进行训练，得到目标识别模型，可以在一家公司完成，而后续步骤也可以分别在另外的公司完成。在此，因为考虑到发明方案的技术完整性，因此没有将步骤进一步拆分。

但本方法实际上包括，在不同公司完成本方法的一步或几步，分别达到该步骤的小目标，再整合起来达到本发明的目的。

本发明方法可以识别的读数表，特别是字轮表，因为字轮表在转动显示的过程中，有非常明确的逻辑规律，即随着转动递增，但凡是有可获取图片字符，并且字符之间有一定排布规律的读数表，而这些读数表的逻辑规律可以是不像字轮表这样逐一递增的，但只要包含这样两个判定区域或两个区域以上这些区域不完整字符之间拥有逻辑规律的读数表，比如电表，气表，等等，在本领域技术人员不付出创造劳动的情况下，亦也可以通过本发明的方法，即在输出两个在读数表上有预设规律的不完整字符识别结果集时，可以判断该两个结果的取值是否符合读数表上有预设规律来识别在该不完整字符识别结果集的取值，即第一识别结果集、第二识别结果集需要符合该预设规律，才是不完整字符的符合实际情况的取值。

图1为本发明中的读数表不完整字符识别方法的流程示意图；如图1所示，读数表不完整字符识别方法，包括下列步骤：

步骤S101，根据迁移学习对CNN算法进行训练，得到目标识别模型。

在本文中，为了便于说明，将本步骤标为S101，但在本步中，利用迁移学习进行训练，只要在先于用训练好的目标识别模型识别不完整字符之前即可，并不一定是本方法的第一步。

如图2所示，在此提供一个可供实施的迁移学习基于VGG19调整的预训练网络实施例，迁移学习中，冻结最后两层，因为最后一层是全连接层，不能作为特征的输出层。而倒数第二层经过实验证明，冻结了之后识别的效果会比较好。

在其中各层的含义为(注：在附图中使用英文标识，在这里做出解释的原因为，除了卷积层，瓶颈层，池层等，因为深度学习和人工智能网络领域较新，许多英文为本领域技术人员约定熟成的名称，还没有形成对应的中文翻译)：

focus:采用切片操作把高分辨率的图片/特征图拆分成多个低分辨率的图片/特征图将w-h平面上的信息转换到通道维度，再通过卷积的方式提取不同特征。采用这种方式可以减少下采样带来的信息损失。

conv:卷积层。

bottleneckCSP：瓶颈层

SPP:Spatial Pyramid Pooling,在网络输入的时候，会固定输入的大小(fixed-size)。但在现实中，我们的输入的图像尺寸总是不能满足输入时要求的大小。然而通常的手法就是裁剪(crop)和拉伸(warp)。这样做总是不好的：图像的纵横比(ratio aspect)和输入图像的尺寸是被改变的。这样就会扭曲原始的图像。而SPP(Spatial PyramidPooling)层能很好的解决这样的问题层。SPP的特点是：不管输入尺寸是怎样，SPP可以产生固定大小的输出；使用多个窗口(pooling window)；并且SPP可以使用同一图像不同尺寸(scale)作为输入,得到同样长度的池化特征。由于对输入图像的不同纵横比和不同尺寸，SPP同样可以处理，所以提高了图像的尺度不变(scale-invariance)和降低了过拟合(over-fitting)；实验表明训练图像尺寸的多样性比单一尺寸的训练图像更容易使得网络收敛(convergence)；SPP对于特定的CNN网络设计和结构是独立的。

Upsample:上采样

Detect:Detect output layer该层的作用是整合各层的预测结果，过滤置信度太低的预测框。

而利用迁移学习训练目标模型，根据本发明识别的对象，读数表图像的不完整字符，本领域技术人员会遇到的一个技术困难是，并没有直接可以获取配适数据库，包括这样的不完整字符图像，因此需要对一些现有包含字符的图片库，比如MNIST数据集，Streetview House Number(SVHN)数据集等，做一些调整，使得迁移学习能够顺利进行。

因此，可以进一步地通过下列方法生成符合本发明目的读数表图像迁移学习训练库：

从配适数据库图片获得数字区域图片；所述数字区域图片内获取小于所述数字区域图片的部分数字区域图片生成迁移学习训练库；将所述迁移学习训练库对CNN算法进行训练，得到所述目标识别模型。

从配适数据库图片获得数字区域图片时，若使用mnist数据集、Street viewHouse Number(SVHN)数据集，因为在这些数据集中单个数字图片已经截取好，并且正向处理，因此就不需要再截取仅具有数字的部分做正向处理了，而如果使用包含数字字符的数据集，比如以后可能会出现的含数字的数据集等，那么可能就需要先对数字部分做截取并且正向处理。即，通过下列的步骤：

从配适数据库图片获得数字区域图片时，在数字的配适数据库图片定位数字区域，并获取所述数字区域图片，并将所述数字区域图片调整为数字正向。

通过这样的方式，可以将可以使用的训练库范围扩大，不仅仅限于mnist，或者SVHN这样已经处理好数字的数字库，只要包含目标识别对象，比如在本实施例中是读数表上的数字字符，都可以通过这样调整，进而为后续步骤使用。

又因为目标识别对象是不完整的字符，因此将这些字符集内获取大小各异的不完整的字符区域来做迁移训练，能够更好的使得训练库与识别目标更加接近，使得迁移学习的效果和精度提高。

但当不限定的截取不完整字符的区域时，可能会发生这样的问题，即，截取了中断的不完整字符，而通过发明人的研究和观察，在目前市面的字轮读数表上，并不会出现需要识别中断不完整字符的情况，而且根据发明人多次实验发现，若字轮读数表字符区域没有完整字符时，上下两个不完整字符至少大于1/3字符区域，根据这个观察和实验结果，发明人对本技术方案做出了以下进一步的改进：

所述数字区域图片内获取小于所述数字区域图片的部分数字区域图片生成迁移学习训练库时，从所述数字区域图片内获取部分数字区域图片时，将调整后所述数字区域图片从纵向大于等于1/3到纵向小于等于2/3处分割数字区域图片，并将所述一分为二的数字区域图片导入学习训练库。

通过上面一分二的方式，可以迅速快捷的截取到符合发明人研究成果，有更好训练效果的迁移学习库。当然，也可以每一张图片只截取1/3～2/3的区域，这些本领域技术人员容易想到的等同替换，在此并不做出限定。

另外，为了进一步加工训练样本，达到监督学习的效果，需要将获取不完整字符训练图片进行标注和分类，一般而言，训练图片可以通过labelimg工具标注，用标注好的不完整字符训练图片再进行训练。

但利用了迁移学习的方法，比如运用上述mnist数据集、Street view HouseNumber(SVHN)数据集，因为样本在处理前的来源是已经分好类，并带有标记的，也可以沿用原来的标记，比用labelimg等工具标注更加准确。

步骤S102，获取读数图像中的不完整字符区域，所述不完整字符区域包括第一区域和第二区域。

在本文中，为了便于说明，将本步骤标为S102，但在本步中，获取读数图像中的不完整字符区域，不完整字符区域包括第一区域和第二区域。只要在先于用训练好的目标识别模型识别不完整字符之前即可，并不一定是本方法的第二步。

就像上面提到的一样，目前市面上的字轮读数表，在字轮转动时，当没有不能识别的完整字符时，就会出现上下两个不完整字符区域，当然这里采用上下的叙述，只是为了让人能够更加直观理解发明人的理念，而不是做出任何限定。即使不是字轮读数表，如果该读数表也包含而不仅仅包含这样的两个不完整字符区域，而且这两个不完整字符区域之间，有一定客观预设规律和逻辑关系，本领域技术人员能够通过该种客观预设规律和逻辑关系来判断不完整字符的识别值是否符合这种预设规律或者逻辑关系，从而判定该识别值是否符合真实的情况时，应该理解为都符合本发明覆盖的等同替换的范围。

为了使得第一区域和第二区域的不完整字符更易于被训练好的CNN识别，或者说为了提高目标识别模型识别不完整字符的精确度，在将第一区域和第二区域字符识别前，还可以通过下列的方法做预处理，该预处理流程跟后续流程的关系一个实施例如图3所示，只要在不完整字符和完整字符识别之前即可达到预期目的；

通过图像色彩的阈值分割去除与目标字符颜色不同的背景数据干扰；计算读数图像中字符集中区域水平和垂直方向的投影，并根据计算结果调整图像方向，并获取读数图像中字符集中区域；识别所述字符集中区域中不完整字符区域，所述不完整字符区域包括第一区域和第二区域。

所述通过图像色彩的阈值分割去除与目标字符颜色不同的背景数据干扰。可选择通过HSV分割算法去除背景的干扰，然后再通过中值滤波和双边滤波去除噪声的干扰，最后再依据水表数字集中在一个区域内的特点计算水平和垂直方向的投影，并根据投影变化过程计算出水表数字的所在字符集中区域。HSV阈值分割的表达形式如下公式(b)所示，公式(1)中I表示图像，H,S,V分表表示HSV三个颜色空间对应的通道，T1，T2，T3表示对应通道的阈值。根据观测读数表字符颜色数据，本领域技术人员可以根据观测，设置与观测读数表配适的阈值。

I＝I(H>T1)&I(S>T2)&I(V>T3)(b)

识别所述字符集中区域中不完整字符区域，所述不完整字符区域包括第一区域和第二区域。

字符集中区域，如果以显示数字的水表为例，即拥有多个位数的数字，比如123456.7，为了便于分类识别，有时还需要将单个字符切分出来，即把上述123456.7，划分为1，2，3，4，5，6，7。这样的区块，然后识别该区域为完整字符或者不完整字符。

将单个字符切分出来可以运用faster-rcnn算法，该算法分为定位和预测两个阶段，定位阶段用于区分每一个字符所在的区域，预测用于识别每一个独立的字符。

也可以用yolov5算法，yolov5是一种端到端的神经网络算法，相对于faster-rcnn等先定位后识别的算法，可以同时完成定位和识别两项任务，极大的加快算法的运算速度。

判断每一个字符所在区域是完整的字符，还是不完整的字符，可以有多种方式：

关于判断字符是否完整的方法一个具体的实施例的原理是：因为两部分不完整的字符之间存在一定的空白将两个字符分隔开，同时字符的颜色和分隔空白的颜色是不一样的。因此可以根据颜色空间和阈值分割，提取到字符，然后再在统计分割后的结果在横向投影上的梯度变化结果就可以将字符的上下两个部分分开。分开之后对两个字符使用分类识别网络进行识别读取就能得到结果。即：获取读数图像中字符集中区域后，区分横向单个字符或不完整字符所在的单个字符集中区域；区分单个字符集中区域中的数字投影区域和空白区域；所述不完整字符的数字投影区域包括第一区域和第二区域；判断所述空白区域是否位于所述数字投影区域之间，当所述空白区域在所述数字投影区域之间时，获得被所述空白区域分开的第一区域和第二区域。

关于判断字符是否完整的方法，另一个具体的实施例原理是：因为两个不完整字符纵向覆盖的面积小于完整的字符，因此根据纵向覆盖长度大小，也可以判断该字符是否完整，即：获取所述字符集中单位字符所在区域纵向连续覆盖范围最大值Max；计算当前单位字符纵向比例值，所述纵向比例值通过字符纵向连续覆盖范围比所述Max的值计算；当所述比例值小于给定的阈值，则判定为不完整字符区域；根据字符纵向连续覆盖范围获取不完整字符区域的第一区域与第二区域。

这里虽然提到用当前单位字符/MAX，当然如果用MAX/单位字符，再判断是否大于阈值，也是本领域技术人员容易想到的等同替换。

另外，为了更精确的控制对第一区域和第二区域的图像处理，可以通过设置下列损失函数做损失处理：

其中：T是类别的数目，N同样是每一个map中像素的个数，那么输出maps X可以看作一个N、X、T的矩阵。

步骤S103，将所述不完整字符区域输入到所述目标识别模型进行识别，得到所述第一区域相匹配的第一识别结果集和所述第二区域相匹配的第二识别结果集。

用迁移学习的方法训练好的目标模型，来识别不完整字符的第一区域和第二区域，为了做后续的步骤，值得注意的是，第一区域和第二区域的相邻有所标记或记录，以区分为同一个不完整字符的第一区域和第二区域。另外，每个区域，输出多个识别值，形成识别结果集，再根据后续步骤，从每个识别结果集中，选择出符合相邻区域之间的排布规律的识别值对，进行后续的计算或者输出，这样才能通过后续的步骤进一步提高人工智能识别的准确率。

步骤S104，根据所述第一识别结果集、所述第二识别结果集和预设读数表字符排布规律，得到所述不完整字符区域的目标数值。

在不完整字符识别时，尤其字符为阿拉伯数字的情况下，发明人发现了这样的问题，不完整的阿拉伯字符有一些相似性，比如1，4，7的下半部分；5与9的下半部分，8与0的下半部分，2与3的上半部分等等，会影响人工智能网络识别精确度。发明人发现，因为读数表，尤其是字轮水表，两个不完整字符在转轮转动时产生，因此两个不完整字符之间存在既定规律，即如下述递增或递减，根据该规律，可以对分类网络的识别结果集，做出进一步的筛选。

下面以字轮读数表为本发明的一个实施例，具体的说明，如何根据第一识别结果集、所述第二识别结果集和预设读数表字符排布规律，得到所述不完整字符区域的目标数值。

虽然本例主要说明的是字轮读数表的情况，但在读数表显示区域，两个不完整字符区域之间，只要有一定客观预设规律和逻辑关系，本领域技术人员能够通过该种客观预设规律和逻辑关系来判断不完整字符的识别值是否符合这种预设规律或者逻辑关系，从而判定该识别值是否符合真实的情况时，应该理解为都符合本发明覆盖的等同替换的范围。

字轮读数表，因为数字依次递增/递减顺序排布，因此可以通过：判断所述第一识别结果集和第二识别结果集是否符合数字依次递增/递减顺序，获得符合的第一目标识别结果和第二目标识别结果；获取所述第一区域和所述第二区域的相对位置信息数据；根据第一目标识别结果、第二目标识别结果和所述相对位置信息数据运算得到所述目标数值。

为了判断递增、递减，一些的实施方式是，判断第一区域的多个识别值(N

假设：N

判断函数1：f(x)＝(N

判断函数2：f(x)＝|N

判断函数3：f(n

以上并没有列举所有可能的实施方式，本领域技术人员为了判断递增、递减，可以有不同的步骤或者实施方式的调整都包括在内，应视为等同替换。另外，因为迁移学习训练好的模型，对不完整区域图像的识别值，根据该识别值的贝叶斯概率的高低，依次输出，通过输出值的多少和方式，可以有多种实施方式的组合，比如，先根据识别值的贝叶斯概率的高低，在识别结果集中输出2个值，再判断是否符合递增、递减顺序；如果找不到符合递增、递减的结果对，再在结果集中增加1个输出值，再次判断第一区域结果集和第二区域结果集中的值是否有符合递增、递减顺序的相应识别值，以此直到找到合适的第一区域和第二区域的识别值。其中输出个数和方式，本领域技术人员可以有不同的调整，都应视为等同替换。可见，输出识别结果集，而不是单一的结果，正因为发明人创造性发现的问题和解决方案，发现可以对识别结果进行进一步比对的方法，而该方法因为明确，而且极大的缩小了限定范围，因此有效的提高识别精度，而在现有方案中，就算利用人工智能网络进行识别，因为没有意识到发明人创造性发现的比对步骤，最后往往也不会输出识别结果集，而只输出按照贝叶斯概率最高的值，直接就作为识别结果。因此通过人工智能网络输出识别结果集而不是单一的结果和发明人发现的比对步骤，是相互结合的，达到了一加一大于二的效果，而不能单独的拆分为没有关系，毫无影响的两个步骤。

通过上述步骤的判断，可以得到符合规律的识别值对，N

为了得到更精确的结果，发明人发现，可以引入第一区域和所述第二区域的相对位置信息数据。即，在获取第一区域的识别结果集和第二区域的识别结果集的同时，还获取所述第一区域和所述第二区域的相对位置信息数据；比如根据两个区域之间空白区域的中点相对于整个不完整字符区域的位置，计算百分比，再将该相对位置信息数据，与N

就像已经提及的那样，本发明的识别不完整字符的方法，可以运用于识别整体读数表的读数，在识别整体的读数表读数时，根据读数表的性质不同，可以根据字符所在位置不同，选择不同的输出算法，比如，当不完整字符位于中间时，根据读数表自身运转的性质，选择输出N

通过以上的方法，为了测试本方法的机器学习模型是否良好泛化，发明人通过计算机模拟检测了该方法对读数图像的精度和损失图像如图3，图4，所示；其中实线表示训练，而点表示验证。可以看出，点线之间，拟合度很高。

而从图5看出，本方法识别的精确度高达98％。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。