用于确定官方文件的真实性的方法和系统

技术领域

本文一般性地而非唯一地涉及用于确定官方文件(official document)的真实性的方法、系统和设备。

背景技术

“了解你的客户(Know Your Customer，KYC)”是企业在与其客户(customer/client)开展业务之前或期间为了验证其客户的真实性、身份、风险等而进行的尽职调查的一种形式。“电子化了解你的客户(eKYC)”或“数字化KYC”是企业通常通过使用计算机执行的无纸化处理，有时可能由客户启动。在eKYC处理中，典型的步骤包括扫描身份证和检测活脸。在扫描身份证的过程中，通常需要检查身份证的真实性。

一种伪造身份证检测方法涉及使用相似度分数来检测安全特征(例如特征点(landmark)或全息图)，以验证身份证的真实性。尽管此方法对于某些类型的身份证(例如将安全特征集中在一起的身份证)效果很好，但是已经注意到，其他类型的身份证的设计可能具有在数量、大小、分布方面有很大差异的安全特征。

因此，需要提供用于确定官方文件的真实性的替代或改进的方法和设备。

发明内容

一个实施例提供了一种确定官方文件的真实性的方法。该方法包括从官方文件的图像提取官方文件的多个安全特征的图像数据；将经训练的神经网络应用于提取的图像数据，以确定官方文件的图像上的每个安全特征的清晰度；以及基于多个安全特征的清晰度分类确定官方文件是否真实。训练神经网络包括：训练多标签分类模型以对多个感兴趣区域进行分类，其中，所述多个感兴趣区域空间分布在带标签训练用图像上，并且每个标签对应于多个感兴趣区域中相应的一个感兴趣区域；将空间关注模块应用于神经网络的至少一层，以学习每个感兴趣区域的位置和至少一个属性；基于在多个带标签训练用图像上优化多标签分类模型的损失，来优化神经网络的参数。

另一实施例提供了一种用于确定官方文件的真实性的系统。该系统包括处理器和耦接到处理器且其上存储有指令的计算机可读存储器，所述指令可由处理器执行以从官方文件的图像提取官方文件的多个安全特征的图像数据。将经训练的神经网络应用于提取的图像数据，以确定官方文件的图像上的每个安全特征的清晰度；以及基于多个安全特征的清晰度分类确定官方文件是否真实。经训练的神经网络：包括多标签分类模型，被训练以对多个感兴趣区域进行分类，其中，所述多个感兴趣区域空间分布在带标签训练用图像上，并且每个标签对应于多个感兴趣区域中相应的一个感兴趣区域；空间关注模块，应用于神经网络的至少一层，以学习每个感兴趣区域的位置和至少一个属性；以及神经网络参数，基于在多个带标签训练用图像上优化多标签分类模型的损失而被优化。

另一实施例提供了一种包括输入设备和处理设备的装置。输入设备可以接收官方文件的图像。处理设备可以从官方文件的图像提取官方文件的多个安全特征的图像数据，并将提取的图像数据馈送到经训练的神经网络，以：确定图像上的每个安全特征的清晰度；以及基于多个安全特征的清晰度分类确定官方文件的真实性。经训练的神经网络包括：多标签分类模型，被训练以对多个感兴趣区域进行分类，其中，所述多个感兴趣区域空间分布在带标签训练用图像上，并且每个标签对应于多个感兴趣区域中相应的一个感兴趣区域；空间关注模块，应用于神经网络的至少一层，以学习每个感兴趣区域的位置和至少一个属性；以及神经网络参数，基于在多个带标签训练用图像上优化多标签分类模型的损失而被优化。

附图说明

根据以下书面描述，仅以举例的方式并结合附图，将使本领域普通技术人员更好地理解实施例，并使实施例变得更清楚。

图1示出了说明根据实施例的确定官方文件的真实性的方法的流程图。

图2示出了说明图1的方法的详细示例性实施方式的流程图。

图3示出了适于实现图1的方法的设备的示意图。

图4示出了说明适于实现图1的方法的计算机系统的示意图。

技术人员将理解，图中的元件被简单和清楚地示出，并且不一定按比例描绘。例如，相对于其他元件，可能夸大了图示、框图或流程图中的一些元件的尺寸，以帮助提高对本文实施例的理解。

具体实施方式

本文提供了基于官方文件的图像来确定诸如身份证之类的官方文件是否真实的方法、系统和设备。简而言之，通过机器学习，开发了一种基于关注的多标签分类模型，该模型在训练过程中更加注意具有安全特征的图像上的感兴趣区域(ROI)，然后将其部署用于确定官方文件的真实性。将空间关注模块应用于神经网络的至少一层，以学习每个感兴趣区域的位置和至少一个属性。本方法中的基于关注的方法可以忽略其他不相关信息对图像的影响，从而提高准确度。例如，本方法已经在新的身份证设计上得到验证，并在非常具有挑战性的数据集上达到了95％的准确度。换句话说，该方法不仅可以区分真实和伪造的官方文件，而且可以适应官方文件的不同设计或设计迭代。

将仅以举例的方式参照附图描述了实施例。附图中相同的附图标记和字符表示相同的元件或等同物。

以下描述的某些部分是根据对计算机存储器内数据的操作的算法以及功能或符号表示来显式或隐式呈现的。这些算法描述以及功能或符号表示是数据处理领域技术人员用来最有效地向本领域其他技术人员传达其工作实质的手段。这里，算法通常被认为是导致所需结果的一系列自洽的步骤。这些步骤是需要对诸如能够存储、传输、组合、比较和以其他方式操纵的电信号、磁信号或光信号之类的物理量进行物理操纵的步骤。

除非另有特别说明，并且从下文中可以明显看出，否则将理解，在整个本文中，利用诸如“计算”、“确定”、“训练”、“应用”、“提取”、“生成”、“优化”、“输出”等的术语，指的是计算机系统或类似电子设备的动作和处理，所述计算机系统或类似电子设备将计算机系统内的以物理量表示的数据操纵和转换为计算机系统或其他信息存储、传输或显示设备内的类似以物理量表示的其他数据。

本文还公开了用于执行所述方法的操作的装置。这样的装置可以被专门地构造用于所需的目的，或者可以包括计算机或由存储在计算机中的计算机程序选择性地激活或重新配置的其他设备。本文提出的算法和显示与任何特定计算机或其他装置没有固有的关联。根据本文的教导，各种机器可以与程序一起使用。可选地，用于执行所需方法步骤的更专用的装置的构造可能是合适的。常规计算机的结构将从下面的描述中显现。

另外，本文还隐含地公开了一种计算机程序，因为对于本领域技术人员而言清楚的是，本文所述方法的各个步骤可以通过计算机代码来实现。计算机程序不旨在限于任何特定的编程语言及其实现。应当理解，各种编程语言及其代码可以用于实现本文所包含的公开内容的教导。而且，计算机程序不旨在限于任何特定的控制流。在不脱离本文的范围的情况下，计算机程序还有许多其他变体，其可以使用不同的控制流。

此外，计算机程序的一个或多个步骤可以并行而不是顺序地执行。这样的计算机程序可以存储在任何计算机可读介质上。计算机可读介质可以包括诸如磁盘或光盘的存储设备、存储芯片、或适合于与计算机接口的其他存储设备。计算机可读介质还可以包括诸如在互联网系统中例示的硬连线介质，或者诸如在GSM、GPRS、3G、4G或5G移动电话系统中例示的无线介质，以及诸如蓝牙、ZigBee、Wi-Fi的其他无线系统。当在这样的计算机上加载并执行该计算机程序时，该计算机程序有效地产生了实现优选方法的步骤的装置。

本文还可以被实现为硬件元件。更具体地，在硬件意义上，元件是被设计为与其他组件或元件一起使用的功能硬件单元。例如，可以使用分立的电子组件来实现一个元件，或者元件可以形成整个电子电路的一部分，例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)。存在许多其他可能性。本领域技术人员将理解，该系统还可以被实现为硬件和软件元件的组合。

根据各种实施例，“电路”可以被理解为任何种类的逻辑实现实体，其可以是专用电路或执行存储在存储器、固件或其任何组合中的软件的处理器。因此，在实施例中，“电路”可以是硬连接逻辑电路或可编程逻辑电路，例如，如微处理器(例如，复杂指令集计算机(CISC)处理器或精简指令集计算机(RISC)处理器)的可编程处理器。“电路”也可以是处理器，其执行软件，例如任何种类的计算机程序，如使用诸如Java的虚拟机代码的计算机程序。根据可选实施例，可以在本文中更详细描述的各个功能的任何其他种类的实现方式也可以被理解为“电路”。

图1示出了说明根据实施例的用于确定官方文件或正式发行的文件的真实性的方法的流程图100。

在步骤102，从官方文件的图像提取官方文件的多个安全特征的图像数据。例如，可以通过识别安全特征的位置并减去或裁剪掉图像的没有安全特征的部分来执行提取。

官方文件可以是例如身份证，如下面参照图2进一步详细讨论的。适当的官方文件的其他非限制性示例包括护照、驾驶执照、社会保险卡、证书(出生证、结婚证、学历证书等)、支票、银行票据等。这种官方文件通常具有预定义的字段和特征，包括安全特征(例如，全息图、图案、形状等)。一旦知道了官方文件在图像中的位置，就可以确定安全特征的位置。

在步骤104，将经训练的神经网络应用于提取的图像数据，以确定官方文件图像上的每个安全特征的清晰度。

在训练阶段，训练多标签分类模型以对多个感兴趣区域进行分类。多个感兴趣区域空间分布在带标签训练用图像上，并且分类模型的每个标签对应于多个感兴趣区域中相应的一个感兴趣区域。另外，将空间关注模块应用于神经网络的至少一层，以学习每个感兴趣区域的位置和至少一个属性。然后，基于在多个带标签训练用图像上优化多标签分类模型的损失来优化神经网络的参数。

此外，在训练阶段，带标签训练用图像包括官方文件的带标签图像，多个感兴趣区域包括包含这种官方文件上的安全特征的区域，并且至少一个属性包括官方文件的带标签图像上的安全特征的清晰度。

因此，来自步骤104的输出是官方文件图像上的每个安全特征的清晰度分类。

在步骤106，基于多个安全特征的清晰度分类来确定官方文件是否是真实的。例如，如果官方文件是身份证，并且出于安全原因，可以设置阈值，使得仅当身份证图像上的每个安全特征被分类为清晰时，才将身份证确定为真实的。换句话说，如果不存在任何安全特征或任何一个安全特征的位置不正确，或者如果任何一个安全特征有被操纵或篡改的迹象，则该身份证将被认为是不真实的。

图2示出了说明图1的方法的详细实施方式的流程图200。在该实施例中，官方文件是身份证202，但是本领域技术人员将理解，该方法可以类似地应用于其他类型的官方文件。

在步骤204，提供身份证图像I1，该身份证图像I1可以是用户通过使用例如具有相机功能的手机而拍摄的照片。通常，用户仅需要提供以单个角度拍摄的一个身份证图像I1。例如，如果将身份证202放置在桌子上，则身份证图像I1可以包括身份证202和作为背景的桌子表面两者。可选地，在其他实施例中，身份证图像I1可以是从扫描仪获得的扫描件。

为了获得安全特征，对卡图像I1执行一个或多个图像减去或裁剪步骤。在一个实施例中，在步骤206检测身份证202的四个角C1、C2、C3、C4，并且在步骤208通过去除背景来提取与身份证202相对应的图像区域I2。接下来，在步骤210，进一步裁剪所提取的图像区域I2以保留包含多个安全特征的多个感兴趣区域R1、R2、R3、R4。例如，对于8比特图像，可以通过将具有安全特征的区域中的每个像素设置为1到255之间的值，并将不相关(unrelated/irrelevant)区域中的像素设置为0值来进行裁剪。在该实施例中，具有安全特征的感兴趣区域R1、R2、R3、R4分别对应于“透视窗口”、“全息图”、“左边的三角形”和“右边的波浪”特征，其在身份证202正面上的位置是预定义的。

在可选实施例中，应理解，可以使用不同数量的区域，并且身份证的正面和背面的图像都可以用于提取感兴趣区域。

接下来，在步骤212，将所提取的感兴趣区域R1、R2、R3、R4馈送到经训练的神经网络，例如，经训练的卷积神经网络214，以基于多标签分类来确定它们的清晰度。经训练的神经网络214包括经训练以对多个感兴趣区域进行分类的多标签分类模型，其中，多个感兴趣区域空间分布在带标签训练用图像上，并且多标签分类模型的每个标签对应于多个感兴趣区域中相应的一个感兴趣区域。将空间关注模块应用于神经网络的至少一层，以学习每个感兴趣区域的位置和至少一个属性(例如，清晰度)。注意，在裁剪的文件中，学习到的特征的空间位置是不一致的。因此，采用包括通道关注(channel attention)和空间关注(spatial attention)的关注模块，以使神经网络214能够更多地聚焦输入的相关元素而不是无关部分。空间关注聚焦“哪里”是信息部分，其与通道关注互补。例如，将空间关注模块应用于神经网络214的最后的全连接层，使得来自最后的全连接层的特征向量被提取作为感兴趣区域的表示向量，然后采用最大池化和平均池化来输出共享网络。基于在多个带标签训练用图像上优化多标签分类模型的损失来优化神经网络参数。

步骤212的输出为用于每个提取区域的分类值。例如，如果相应区域被认为是清晰的，则分类值被分配1(即，真)。在一个实施例中，如果包含安全特征的区域R1、R2、R4、R4中的每一个被分类为清晰的，则可以将身份证202确定为真实的。这可以帮助确保遵守有关身份证验证的严格协议。在其他实施例中，例如，在可以应用较低阈值的情况下，可以对区域进行排名或加权，使得如果所选区域(例如，更重要的区域)被分类为清晰的，则可以将文件验证为真实的。一种实施方式为计算分类值的加权和，并基于加权和的值进行分类。

在一个实施例中，使用用于快速特征嵌入的卷积架构(CAFFE)框架的元素来执行如上所述的至少一些步骤。应理解，在可选实施例中可以使用其他深度学习框架。

图3示出了适于实现图1的方法的装置300的示意图。装置300包括接收/输入设备302和处理设备304。接收设备302可以接收官方文件的图像。处理设备304可以从官方文件的图像提取官方文件的多个安全特征的图像数据，并将所提取的图像数据馈送到经训练的神经网络306。经训练的神经网络306包括经训练以对多个感兴趣区域进行分类的多标签分类模型308，其中，多个感兴趣区域空间分布在带标签训练用图像上，并且分类模型的每个标签对应于多个感兴趣区域中相应的一个感兴趣区域。空间关注模块310被应用于神经网络306的至少一层，以学习每个感兴趣区域的位置和至少一个属性。基于在多个带标签训练用图像上优化多标签分类模型的损失来优化神经网络参数312。经训练的神经网络306可以确定官方文件图像上的每个安全特征的清晰度，然后可以基于多个安全特征的清晰度分类来验证官方文件的真实性。例如，如果官方文件是身份证，则仅当官方文件图像上的每个安全特征被分类为清晰时，处理设备304才提供肯定验证。

如上所述，所述方法、系统和设备利用空间关注模块来允许神经网络聚焦空间分布在图像上的感兴趣区域。因此，可以提高分类的速度和准确度。另外，本方法可以快速地适用于验证具有不同空间分布的安全特征的官方文件的不同设计的真实性。多标签分类模型还可以适应感兴趣区域数量的变化。此外，可以通过感兴趣区域中真/正分类值的数量来提供最终真实性确定的严谨性和安全性级别。换句话说，与现有方法相比，整体性能得到了改善。

图4描绘了示例性计算设备400，在下文中可互换地称为计算机系统400，其中一个或多个这样的计算设备400可以用于装置300。以下仅以举例的方式提供对计算设备400的描述，而不旨在进行限制。

如图4所示，示例性计算设备400包括用于执行软件例程的处理器404。尽管为了清楚起见示出了单个处理器，但是计算设备400还可以包括多处理器系统。处理器404连接到通信基础设施406，以与计算设备400的其他组件进行通信。通信基础设施406可以包括例如通信总线、交叉开关或网络。

计算设备400还包括诸如随机存取存储器(RAM)之类的主存储器408和辅助存储器410。辅助存储器410可以包括例如硬盘驱动器412和/或可移动存储驱动器414，可移动存储驱动器414可以包括软盘驱动器、磁带驱动器、光盘驱动器等。可移动存储驱动器414以众所周知的方式对可移动存储单元418进行读取和/或写入。可移动存储单元418可以包括由可移动存储驱动器414读取和写入的软盘、磁带、光盘等。如相关领域技术人员将理解的那样，可移动存储单元418包括其中存储有计算机可执行程序代码指令和/或数据的计算机可读存储介质。

在可选实施方式中，辅助存储器410可以附加地或可选地包括用于允许将计算机程序或其他指令加载到计算设备400中的其他类似装置。这样的装置可以包括例如可移动存储单元422和接口420。可移动存储单元422和接口420的示例包括程序盒和盒接口(例如视频游戏机设备中的接口)、可移动存储芯片(例如EPROM或PROM)和相关联的插槽，以及允许软件和数据从可移动存储单元422传输到计算机系统400的其他可移动存储单元422和接口420。

计算设备400还包括至少一个通信接口424。通信接口424允许软件和数据经由通信路径426在计算设备400和外部设备之间传送。在各种实施例中，通信接口424允许在计算设备400和诸如公共数据或私有数据通信网络之类的数据通信网络之间传输数据。通信接口424可以用于在不同的计算设备400之间交换数据，这些计算设备400形成互连的计算机网络的一部分。通信接口424的示例可以包括调制解调器、网络接口(诸如以太网卡)、通信端口、具有相关电路的天线等。通信接口424可以是有线的或者可以是无线的。经由通信接口424传送的软件和数据的形式为信号，该信号可以是能够被通信接口424接收的电、电磁、光或其他信号。这些信号通过通信路径426提供给通信接口。

如图4所示，计算设备400还包括：显示器接口402，其执行用于将图像呈现到相关联的显示器430的操作；以及音频接口432，其执行用于经由相关联的扬声器434播放音频内容的操作。

如本文所使用的，术语“计算机程序产品”可以部分地指代可移动存储单元418、可移动存储单元422、安装在硬盘驱动器412中的硬盘、或承载通过通信路径426(无线链路或电缆)至通信接口424的软件的载波。计算机可读存储介质是指将记录的指令和/或数据提供给计算设备400以执行和/或处理的任何非暂时性有形存储介质。这种存储介质的示例包括软盘、磁带、CD-ROM、DVD、蓝光(Blu-ray

计算机程序(也称为计算机程序代码)存储在主存储器408和/或辅助存储器410中。也可以经由通信接口424接收计算机程序。此类计算机程序在被执行时使计算设备400能够执行本文所讨论的实施例的一个或多个特征。在各种实施例中，计算机程序在被执行时使处理器404能够执行上述实施例的特征。因此，此类计算机程序表示计算机系统400的控制器。

软件可以存储在计算机程序产品中，并可以使用可移动存储驱动器414、硬盘驱动器412或接口420加载到计算设备400中。可选地，可以通过通信路径426将计算机程序产品下载到计算机系统400。该软件在由处理器404执行时使计算设备400执行本文描述的实施例的功能。

应该理解，图4的实施例仅以举例的方式给出。因此，在一些实施例中，可以省略计算设备400的一个或多个特征。而且，在一些实施例中，计算设备400的一个或多个特征可以被组合在一起。另外，在一些实施例中，计算设备400的一个或多个特征可以被分成一个或多个组成部分。

应当理解，图4所示的元件用于提供用以执行如以上实施例中所述的服务器的各种功能和操作的装置。

在实施方式中，服务器通常可以被描述为包括至少一个处理器及包括计算机程序代码的至少一个存储器的物理设备。所述至少一个存储器和计算机程序代码被配置为与所述至少一个处理器一起使所述物理设备执行必要的操作。

本领域技术人员将理解，在不脱离如广泛描述的本文的范围的情况下，可以对本文特定实施例所示的内容进行多种变化和/或修改。例如，多标签分类可以适用于具有不同数量的安全特征的官方文件设计。因此，所述实施例在所有方面都应被认为是说明性的而非限制性的。