人脸识别模型的处理方法、人脸识别方法及装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种人脸识别模型的处理方法、人脸识别方法及装置。

背景技术

随着人工智能的发展，机器学习模型的使用越来越广泛。比如，在用户通过计算机设备进行各种操作之前，往往需要进行人脸识别操作，而人脸识别操作，通常通过人脸识别模型进行数据处理。

目前，对于不同的用户群体，人脸识别模型的识别准确度存在较大偏差，即传统的人脸识别操作存在不准确的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高对各类群体人脸识别准确性的人脸识别模型的处理方法、人脸识别方法及装置。

一种人脸识别模型的处理方法，该方法包括：

获取第一样本集合、第二样本集合和第三样本集合，第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像；

使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型；

迭代地从第一样本集合、第二样本集合和第三样本集合中，获得微调训练所需的样本图像集合，在使用样本图像集合中的样本图像对预训练人脸识别模型进行微调训练的过程中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数，直至停止迭代时，获得用于对多数群体人脸图像及少数群体人脸图像进行人脸识别的人脸识别模型。

一种人脸识别模型的处理装置，该装置包括：

获取模块，用于获取第一样本集合、第二样本集合和第三样本集合，第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像；

预训练模块，用于使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型；

微调训练模块，用于迭代地从第一样本集合、第二样本集合和第三样本集合中，获得微调训练所需的样本图像集合，在使用样本图像集合中的样本图像对预训练人脸识别模型进行微调训练的过程中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数，直至停止迭代时，获得用于对多数群体人脸图像及少数群体人脸图像进行人脸识别的人脸识别模型。

在一个实施例中，预训练模块还用于：从第一样本集合中获取多数群体人脸图像及对应的人脸标签信息；将从第一样本集合中获取的多数群体人脸图像输入初始人脸识别模型，获得人脸识别预测结果；根据人脸标签信息与人脸识别预测结果构建预训练损失函数；将预训练损失函数最小化时的模型参数作为初始人脸识别模型更新的模型参数后，返回从第一样本集合中获取多数群体人脸图像的步骤继续训练，直至满足训练结束条件。

在一个实施例中，预训练模块还用于：通过初始人脸识别模型中的特征提取网络，提取各多数群体人脸图像对应的人脸图像特征；通过初始人脸识别模型中的分类网络，基于人脸图像特征获得各多数群体人脸图像对应的人脸识别预测结果。

在一个实施例中，微调训练模块还用于：获取预设的采样比例；按照采样比例分别对第一样本集合、第二样本集合和第三样本集合进行采样，获得微调训练所需的样本图像集合。

在一个实施例中，微调训练模块还用于：使用样本图像集合中各样本图像对预训练人脸识别模型进行微调训练，在微调训练过程中获取各样本图像对应的梯度；从各样本图像对应的梯度中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数。

在一个实施例中，微调训练模块还用于：将样本图像集合中各样本图像输入预训练人脸识别模型，获得各样本图像对应的人脸识别预测结果；根据各样本图像对应的人脸标签信息及人脸识别预测结果，构建微调训练损失函数；在微调训练损失函数最小化时获得各样本图像对应的梯度。

在一个实施例中，微调训练模块还用于：通过预训练人脸识别模型中的特征提取网络，提取各样本图像对应的人脸图像特征；通过预训练人脸识别模型中的分类网络，基于人脸图像特征获得各样本图像对应的人脸识别预测结果。

在一个实施例中，微调训练模块还用于：根据样本图像集合中属于第一样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第一损失；根据样本图像集合中属于第二样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第二损失；根据样本图像集合中属于第三样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第三损失；获取预设的损失加权系数；按照损失加权系数对第一损失、第二损失和第三损失求和，获得微调训练损失函数。

在一个实施例中，微调训练模块还用于：当样本图像集合中，从第三样本集合中采样得到的样本图像包括少数群体人脸图像时，则使用属于第三样本集合且包括少数群体人脸的样本图像、属于第一样本集合的样本图像和属于第二样本集合的样本图像对应的梯度，更新预训练人脸识别模型的模型参数；当样本图像集合中，从第三样本集合中采样得到的样本图像不包括少数群体人脸图像时，则使用属于第一样本集合的样本图像和属于第二样本集合的样本图像对应的梯度，更新预训练人脸识别模型的模型参数。

在一个实施例中，人脸识别模型的处理装置还包括人脸识别模块，人脸识别模块用于：获取待验证人脸图像及待验证人脸图像对应的待验证身份，待验证人脸图像包括多数群体人脸或少数群体人脸；通过微调训练后得到的人脸识别模型，获取待验证人脸图像对应的待验证图像特征；获取待验证身份对应的参考图像特征；当待验证图像特征与参考图像特征之间的相似度超过阈值时，则确定待验证人脸图像通过身份验证。

在一个实施例中，人脸识别模块还用于：获取待匹配人脸图像，待匹配人脸图像包括多数群体人脸或少数群体人脸；通过微调训练后得到的人脸识别模型，获取待匹配人脸图像对应的待匹配图像特征；将待匹配图像特征与至少一个参考图像特征进行匹配，将匹配度最大的参考图像特征所对应的目标身份，作为待匹配人脸图像中人脸的身份。

一种人脸识别方法，该方法包括：

获取待识别人脸图像，待识别人脸图像中包括多数群体人脸和少数群体人脸中的至少一种；

通过已训练的人脸识别模型对待识别人脸图像进行人脸识别，得到待识别人脸图像对应的人脸识别结果，人脸识别模型是通过使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练获得预训练人脸识别模型后，再使用从第一样本集合、第二样本集合和第三样本集合获得的样本图像集合中的样本图像对预训练人脸识别模型进行微调训练获得的，并且在微调训练过程中排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数；

其中，第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像。

一种人脸识别装置，该装置包括：

获取模块，用于获取待识别人脸图像，待识别人脸图像中包括多数群体人脸和少数群体人脸中的至少一种；

人脸识别模块，用于通过已训练的人脸识别模型对待识别人脸图像进行人脸识别，得到待识别人脸图像对应的人脸识别结果，人脸识别模型是通过使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练获得预训练人脸识别模型后，再使用从第一样本集合、第二样本集合和第三样本集合获得的样本图像集合中的样本图像对预训练人脸识别模型进行微调训练获得的，并且在微调训练过程中排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数；

其中，第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像。

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述人脸识别模型的处理方法和/或人脸识别方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述人脸识别模型的处理方法和/或人脸识别方法的步骤。

一种计算机程序，计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机指令，处理器执行计算机指令，使得计算机设备执行上述人脸识别模型的处理方法和/或人脸识别方法的步骤。

上述人脸识别模型的处理方法、人脸识别方法、装置、计算机设备和存储介质，先使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型，提升人脸识别模型对多数群体人脸图像的识别准确性；接着使用第一样本集合、第二样本集合和第三样本集合中的样本图像对预训练人脸识别模型进行微调，预训练人脸识别模型基于第一样本集合的多数群体人脸图像学习用于区分多数群体的特征，基于第二样本集合的少数群体人脸图像学习用于区分少数群体的特征，基于第三样本集合的多数群体人脸图像和少数群体人脸图像，学习用于区分多数群体和少数群体的特征，且第三样本集合包括的多数群体人脸图像，可用于干预预训练人脸识别模型对少数群体的特征的学习，以扩充少数群体的特征空间，压低人脸识别模型计算得到的少数群体非同人之间的相似度，提升对少数群体人脸图像的识别准确性；这样在提升人脸识别模型对多数群体人脸图像的识别准确性的同时，也大大提升人脸识别模型对少数群体人脸图像的识别准确性。

附图说明

图1为一个实施例中人脸识别模型的处理方法的应用环境图；

图2为一个实施例中人脸识别模型的处理方法的流程示意图；

图3为一个实施例中人脸识别模型的特征空间的示意图；

图4为一个实施例中对初始人脸识别模型进行预训练的示意图；

图5为一个实施例中对预训练人脸识别模型进行微调训练的示意图；

图6为一个实施例中对初始人脸识别模型进行预训练的流程示意图；

图7为一个实施例中对预训练人脸识别模型进行微调训练的流程示意图；

图8为另一个实施例中对预训练模型进行微调训练的示意图；

图9为另一个实施例中人脸识别模型的处理方法的流程示意图；

图10为一个实施例中人脸识别方法的流程示意图；

图11为一个实施例中人脸识别模型的处理装置的结构框图；

图12为一个实施例中人脸识别装置的结构框图；

图13为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的人脸识别模型的处理方法，涉及人工智能(ArtificialIntelligence, AI)技术，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例提供的人脸识别模型的处理方法，主要涉及人工智能的机器学习(Machine Learning, ML)技术。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

例如，在本申请实施例中，计算机设备先获取第一样本集合、第二样本集合和第三样本集合，其中第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像，接着使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型，再利用从第一样本集合、第二样本集合和第三样本集合中获取的样本图像集合对预训练人脸识别模型进行微调训练，在微调训练的过程中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数，最终获得用于对多数群体人脸图像及少数群体人脸图像进行人脸识别的人脸识别模型。

本申请实施例提供的人脸识别模型的处理方法，还涉及区块链技术。例如，在本申请实施例中，服务器可以是区块链网络中的区块链节点，第一样本集合、第二样本集合和第三样本集合可以存储在区块链上，服务器可从区块链的数据区块中获取第一样本集合、第二样本集合和第三样本集合。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链（Blockchain），本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

本申请提供的人脸识别模型的处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102获取第一样本集合、第二样本集合和第三样本集合，第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像，将第一样本集合、第二样本集合和第三样本集合发送至服务器104，服务器104先使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型，接着迭代地从第一样本集合、第二样本集合和第三样本集合中，获得微调训练所需的样本图像集合，在使用样本图像集合中的样本图像对预训练人脸识别模型进行微调训练的过程中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数，直至停止迭代时，获得用于对多数群体人脸图像及少数群体人脸图像进行人脸识别的人脸识别模型。

其中，终端102可以但不限于是各种智能手机、平板电脑、笔记本电脑、台式计算机、便携式可穿戴设备、智能音箱等。服务器104可以是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

本申请实施例提供的人脸识别模型的处理方法，其执行主体可以是本申请实施例提供的人脸识别模型的处理装置，或者集成了该人脸识别模型的处理装置的计算机设备，其中该人脸识别模型的处理装置可以采用硬件或软件的方式实现。计算机设备可以是图1中所示的终端102或服务器104。

本申请实施例提供的人脸识别模型的处理方法，可应用于人脸识别模型的训练场景。例如，计算机设备获取第一样本集合、第二样本集合和第三样本集合，其中第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像；先使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型；接着迭代地从第一样本集合、第二样本集合和第三样本集合中，获得微调训练所需的样本图像集合，在使用样本图像集合中的样本图像对预训练人脸识别模型进行微调训练的过程中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数，直至停止迭代时，获得用于对多数群体人脸图像及少数群体人脸图像进行人脸识别的人脸识别模型。

本申请提供的人脸识别方法，也可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102获取待识别人脸图像，待识别人脸图像中包括多数群体人脸和少数群体人脸中的至少一种，将待识别人脸图像发送至服务器104，服务器104通过本申请实施例提供的方法训练得到的人脸识别模型对待识别人脸图像进行人脸识别，得到待识别人脸图像对应的人脸识别结果，服务器104可将人脸识别结果返回至终端102。

本申请实施例提供的人脸识别方法，其执行主体可以是本申请实施例提供的人脸识别装置，或者集成了该人脸识别装置的计算机设备，其中该人脸识别装置可以采用硬件或软件的方式实现。计算机设备可以是图1中所示的终端102或服务器104。

本申请实施例提供的人脸识别方法，可应用于一对一身份验证场景，且能提高该场景下对各类群体的人脸识别准确性。一对一身份验证场景是在已知待验证身份的情况下，将待验证人脸图像对应的待验证图像特征与待验证身份对应的参考图像特征进行比对，以核实待验证人脸图像中的人脸对应的身份是否为待验证身份。比如移动终端屏幕解锁、社交应用程序中账号登录、银行应用程序中交易支付、罪犯抓捕等等。

例如，为了保障用户数据的安全，电子支付应用、金融服务应用、社交通信应用、政务服务应用、出行服务应用等具有身份核验功能，在用户通过身份核验后，才可以基于该应用办理相关业务。具体地，终端采集用户的人脸图像，该人脸图像中的人脸可以是多数群体人脸，也可以是少数群体人脸，终端通过本申请实施例提供的方法训练得到的可以识别各类群体人脸的人脸识别模型后，通过该人脸识别模型获取人脸图像对应的人脸图像特征，将人脸图像特征与待核验身份对应的参考图像特征进行比对，当人脸图像特征与参考图像特征之间的相似度超过阈值时，确定用户通过身份核验。

例如，在终端屏幕解锁场景中，终端存储有参考图像特征，采集用户的人脸图像，该人脸图像中的人脸可以是多数群体人脸，可以是少数群体人脸，终端通过本申请实施例提供的方法训练得到的可以识别各类群体人脸的人脸识别模型后，通过该人脸识别模型获取人脸图像对应的人脸图像特征，将人脸图像特征与待核验身份对应的参考图像特征进行比对，当人脸图像特征与参考图像特征之间的相似度超过阈值时，终端屏幕解锁。

本申请实施例提供的人脸识别方法，可应用于一对多身份识别场景，且能提高该场景下对各类群体的人脸识别准确性。一对多身份识别场景是将待匹配人脸图像对应的待匹配图像特征与数据库中预存的参考图像特征进行比对，以从数据库中各参考图像特征对应的身份中，确定待匹配人脸图像中的人脸对应的身份。比如人脸考勤机打卡、寻找失踪人员等等。

例如，在人脸支付场景中，终端采集电子支付用户的人脸图像，终端通过本申请实施例提供的方法训练得到的可以识别各类群体人脸的人脸识别模型后，通过该人脸识别模型获取人脸图像对应的人脸图像特征，将人脸图像特征与支付系统中至少一个参考图像特征进行匹配，从匹配度最大的参考图像特征对应的账户中执行扣款操作。尤其在智慧商超、智慧交通、智慧出行等人脸的群体多样的场景下，该人脸识别方法能够为用户及智慧商超提供极大的便利。

例如，在交通安全场景中，采集违规驾驶人员的人脸图像，终端通过本申请实施例提供的方法训练得到的可以识别各类群体人脸的人脸识别模型后，通过该人脸识别模型获取人脸图像对应的人脸图像特征，将人脸图像特征与交通系统中至少一个参考图像特征进行匹配，匹配度最大的参考图像特征对应的身份即为违规驾驶人员的身份。

例如，在工作考勤场景中，采集考勤人员的人脸图像，终端通过本申请实施例提供的方法训练得到的可以识别各类群体人脸的人脸识别模型后，通过该人脸识别模型获取人脸图像对应的人脸图像特征，将人脸图像特征与考勤系统中至少一个参考图像特征进行匹配，对匹配度最大的参考图像特征对应的身份更新考勤记录。

在一个实施例中，如图2所示，提供了一种人脸识别模型的处理方法，本实施例主要以该方法应用于计算机设备（上述图1中的终端102或服务器104）来举例说明，包括以下步骤：

步骤S202，获取第一样本集合、第二样本集合和第三样本集合，第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像。

其中，第一样本集合、第二样本集合和第三样本集合均是用于训练人脸识别模型的图像集合。多数群体人脸图像是指图像中的人脸所属的群体为多数群体，少数群体人脸图像是指图像中的人脸所属的群体为少数群体。

在一个实施例中，计算机设备按照人脸识别模型的训练样本中各群体的样本数量，从人脸识别模型的训练样本中划分出多数群体和少数群体。在人脸识别模型的训练样本中，各群体的样本数量分布不均衡，例如黄种人的样本图像远远多于白种人、黑种人、棕种人的样本图像，且白种人、黑种人、棕种人的人脸特征与黄种人的人脸特征存在较大差异，那么黄种人可作为多数群体，白种人、黑种人和棕种人可作为少数群体；再例如汉族的样本图像远远多于少数民族的样本图像，少数民族的人脸特征与汉族的人脸特征存在一些差异，那么汉族可作为多数群体，少数民族可作为少数群体；再例如少年人、青年人、中年人的样本图像远远多于老年人的样本图像，且老年人的人脸特征与少年人、青年人、中年人的人脸特征存在较大差异，那么少年人、青年人和中年人可作为多数群体，老年人可作为少数群体。也就是说，多数群体可以是人脸识别模型的训练样本中样本数量占据多数的群体，少数群体可以是人脸识别模型的训练样本中样本数量占据少数的群体。

下面对发明人的思路进行介绍：

发明人发现，人脸识别模型对少数群体的人脸识别结果不准确，主要表现在人脸识别模型计算得到的少数群体非同人之间的相似度偏高，易将少数群体非同人误识别为同一个人。发明人分析后发现，人脸识别模型计算得到的少数群体非同人之间的相似度偏高，原因在于：人脸识别模型的训练样本中多数群体的样本数量占据多数，少数群体的样本数量占据少数，导致在人脸识别模型的特征空间中，少数群体的特征空间被多数群体的特征空间压缩，少数群体的特征空间中特征之间的距离过近，导致人脸识别模型计算得到的少数群体非同人之间的相似度偏高。其中，人脸识别模型的特征空间是人脸识别模型学习到的特征所在的空间，少数群体的特征空间是人脸识别模型基于少数群体的样本学习到的特征所在的空间，多数群体的特征空间是人脸识别模型基于多数群体的样本学习到的特征所在的空间。

参照图3，图3为一个实施例中人脸识别模型的特征空间的示意图。假设先用少量少数群体的样本对人脸识别模型进行训练，人脸识别模型通过少数群体的样本学到用于区分少数群体的样本的特征，获得如图3中的(a)所示的少数群体的特征空间302。假设接着用大量多数群体的样本对人脸识别模型进行训练，人脸识别模型通过多数群体的样本学到用于区分多数群体的样本的特征，获得如图3中的(b)所示的多数群体的特征空间304，多数群体的特征空间304会对少数群体的特征空间302进行压缩，拉近少数群体的特征空间302中特征之间的距离。

发明人通过大量的试验发现，在人脸识别模型尝试区分多数群体和少数群体的样本时，在多数群体的样本的干预下，人脸识别模型会学习到与多数群体的特征较为接近的少数群体的特征。故发明人想到，可利用多数群体的样本来干预人脸识别模型对少数群体的特征的学习，以增大少数群体的特征空间中特征之间的距离，达到扩充少数群体的特征空间的目的，获得如图3中的(c)所示的少数群体的特征空间302。由于少数群体的特征空间302中特征之间的距离变大，故能够压低人脸识别模型计算得到的少数群体非同人之间的相似度，提高对少数群体人脸图像的识别准确性。

本申请中，发明人设计第一样本集合、第二样本集合和第三样本集合，第一样本集合中的样本为多数群体人脸图像，其可用于人脸识别模型学习用于区分多数群体的特征；第二样本集合中的样本为少数群体人脸图像，其可用于人脸识别模型学习用于区分少数群体的特征；第三样本集合包括多数群体人脸图像和少数群体人脸图像，其可用于人脸识别模型学习用于区分多数群体和少数群体的特征，且第三样本集合包括的多数群体人脸图像，可用于干预人脸识别模型对少数群体的特征的学习，以扩充少数群体的特征空间。

在一个实施例中，计算机设备获取第一样本集合和第二样本集合，将第一样本集合和第二样本集合的并集作为第三样本集合。在另一些实施例中，第三样本集合中的样本与第一样本集合、第二样本集合中的样本不存在重合或者存在部分重合，且满足第三样本集合包括多数群体人脸图像和少数群体人脸图像。

步骤S204，使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型。

其中，初始人脸识别模型可以是未经第一样本集合、第二样本集合或者第三样本集合中的样本训练过的人脸识别模型。预训练人脸识别模型可以是经第一样本集合中的样本训练过的人脸识别模型。

本申请中，计算机设备获取第一样本集合、第二样本集合和第三样本集合，先使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型。由于第一样本集合仅包括多数群体人脸图像，使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，使得人脸识别模型学习用于区分多数群体的本质特征，从而保证人脸识别模型对多数群体人脸图像的识别准确性。

在一个实施例中，计算机设备对初始人脸识别模型进行预训练，对特征提取网络和分类网络的模型参数进行更新。

其中，特征提取网络是通过样本学习具备人脸图像特征提取能力的模型结构。特征提取网络可以是卷积神经网络结构，其可执行卷积计算、非线性激活函数计算、池化计算等操作。特征提取网络的输入端为人脸图像，输出端为人脸图像特征。人脸图像特征可以是特征图、特征向量等。分类网络是通过样本学习具备分类回归能力的模型结构。分类网络的输入端为人脸图像特征，输出端为人脸识别预测结果。可以理解，通用的具有人脸图像特征提取能力和分类回归能力的网络结构，即可满足本申请实施例中对特征提取网络和分类网络的需求，因此本申请实施例可采用通用的网络结构作为特征提取网络和分类网络。

在一个实施例中，参照图4，图4为一个实施例中对初始人脸识别模型进行预训练的示意图。计算机设备从第一样本集合中获取多于一个多数群体人脸图像，将多于一个多数群体人脸图像输入初始人脸识别模型，通过初始人脸识别模型中的特征提取网络，提取各多数群体人脸图像对应的人脸图像特征，通过初始人脸识别模型中的分类网络，基于人脸图像特征获得各多数群体人脸图像对应的人脸识别预测结果。计算机设备根据各多数群体人脸图像对应的人脸识别预测结果与人脸标签信息构建预训练损失函数，基于预训练损失函数确定本次训练的梯度，按照梯度更新特征提取网络和分类网络的模型参数后，返回从第一样本集合中获取多于一个多数群体人脸图像的步骤继续训练，直至满足训练结束条件。

步骤S206，迭代地从第一样本集合、第二样本集合和第三样本集合中，获得微调训练所需的样本图像集合，在使用样本图像集合中的样本图像对预训练人脸识别模型进行微调训练的过程中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数，直至停止迭代时，获得用于对多数群体人脸图像及少数群体人脸图像进行人脸识别的人脸识别模型。

本申请中，计算机设备获取第一样本集合、第二样本集合和第三样本集合，先使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型，接着迭代地从第一样本集合、第二样本集合和第三样本集合中获得样本图像集合，使用样本图像集合中的样本图像对预训练人脸识别模型进行微调训练。预训练人脸识别模型基于第一样本集合的多数群体人脸图像学习用于区分多数群体的特征，基于第二样本集合的少数群体人脸图像学习用于区分少数群体的特征，基于第三样本集合的多数群体人脸图像和少数群体人脸图像，学习用于区分多数群体和少数群体的特征，且第三样本集合包括的多数群体人脸图像，可用于干预预训练人脸识别模型对少数群体的特征的学习，以扩充少数群体的特征空间。

在一个实施例中，计算机设备对预训练人脸识别模型进行微调训练，对特征提取网络和分类网络的模型参数进行更新。

在一个实施例中，参照图5，图5为一个实施例中对预训练人脸识别模型进行微调训练的示意图。计算机设备对第一样本集合、第二样本集合和第三样本集合进行采样获得样本图像集合，将样本图像集合中的样本图像输入预训练人脸识别模型，通过预训练人脸识别模型中的特征提取网络，提取各样本图像对应的人脸图像特征，通过预训练人脸识别模型中的分类网络，基于人脸图像特征获得各样本图像对应的人脸识别预测结果。计算机设备根据样本图像对应的人脸识别预测结果与人脸标签信息构建微调训练损失函数，基于微调训练损失函数确定本次训练的梯度，从梯度中排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数后，返回对第一样本集合、第二样本集合和第三样本集合进行采样的步骤继续训练，直至满足训练结束条件。由于排除了第三样本集合且包括多数群体人脸的样本图像对应的梯度，使得第三样本集合且包括多数群体人脸的样本图像仅用于扩充少数群体的特征空间，而不对模型参数的更新产生影响。

在一个实施例中，计算机设备基于微调训练损失函数确定本次训练的梯度，对梯度中第三样本集合且包括多数群体人脸的样本图像对应的梯度进行掩膜处理，使得第三样本集合且包括多数群体人脸的样本图像对应的梯度不参与模型参数的更新。

发明人通过试验发现，本申请实施例提供的方法可以在提升人脸识别模型对多数群体人脸图像的识别准确性的同时，也大大提升人脸识别模型对少数群体人脸图像的识别准确性。

上述人脸识别模型的处理方法中，先使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型，提升人脸识别模型对多数群体人脸图像的识别准确性；接着使用第一样本集合、第二样本集合和第三样本集合中的样本图像对预训练人脸识别模型进行微调，预训练人脸识别模型基于第一样本集合的多数群体人脸图像学习用于区分多数群体的特征，基于第二样本集合的少数群体人脸图像学习用于区分少数群体的特征，基于第三样本集合的多数群体人脸图像和少数群体人脸图像，学习用于区分多数群体和少数群体的特征，且第三样本集合包括的多数群体人脸图像，可用于干预预训练人脸识别模型对少数群体的特征的学习，以扩充少数群体的特征空间，压低人脸识别模型计算得到的少数群体非同人之间的相似度，提升对少数群体人脸图像的识别准确性；这样在提升人脸识别模型对多数群体人脸图像的识别准确性的同时，也大大提升人脸识别模型对少数群体人脸图像的识别准确性。

在一个实施例中，参照图6，使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型，包括：

步骤S602，从第一样本集合中获取多数群体人脸图像及对应的人脸标签信息。

其中，人脸标签信息可以是人脸图像中的人脸对应的身份标识。身份标识用于唯一标识用户，可由字母、数字、文字中的至少一种组成。

在一个实施例中，计算机设备从第一样本集合中获取多于一个多数群体人脸图像，将多于一个多数群体人脸图像作为一组，对初始人脸识别模型进行一次预训练。

步骤S604，将从第一样本集合中获取的多数群体人脸图像输入初始人脸识别模型，获得人脸识别预测结果。

在一个实施例中，计算机设备通过初始人脸识别模型中的特征提取网络，提取各多数群体人脸图像对应的人脸图像特征；通过初始人脸识别模型中的分类网络，基于人脸图像特征获得各多数群体人脸图像对应的人脸识别预测结果。

其中，人脸图像特征是用于反映人脸图像中的人脸特征的数据。人脸特征是人脸所固有的生理特征，比如，虹膜形态、面部器官（眼睛、鼻子、嘴、耳朵等）之间的位置关系、面部器官的结构（形状、大小等）、皮肤纹理等等。

在一个实施例中，人脸图像特征具体可以是从人脸图像中提取出的与人脸特征相关的位置信息、纹理信息、形状信息和颜色信息等中的一种或几种的组合。以位置信息为例，位置信息可以是指眼睛、鼻子、嘴、耳朵等各个面部器官之间的距离、角度等。

在一个实施例中，计算机设备通过初始人脸识别模型中的特征提取网络，提取各多数群体人脸图像对应的人脸图像特征，将各人脸图像特征传递给初始人脸识别模型中的分类网络，通过分类网络对各人脸图像特征的分类回归处理，获得各多数群体人脸图像对应的人脸识别预测结果。人脸识别预测结果可以是概率向量，其维度与训练样本中身份标识的数量相匹配，每个维度的值表示人脸图像中的人脸对应其中一个身份标识的概率。

步骤S606，根据人脸标签信息与人脸识别预测结果构建预训练损失函数。

在一个实施例中，计算机设备根据各多数群体人脸图像对应的人脸标签信息与人脸识别预测结果之间的差异，构建预训练损失函数。预训练损失函数可以是Softmax函数、Contrastive Loss函数、Triplet Loss函数、Center Loss函数、Margin函数等。

在一个实施例中，计算机设备先将各多数群体人脸图像对应的人脸标签信息转换为标签向量，标签向量与上述概率向量的维度一致，接着基于各多数群体人脸图像对应的标签向量与概率向量之间的差异，构建预训练损失函数。

步骤S608，将预训练损失函数最小化时的模型参数作为初始人脸识别模型更新的模型参数后，返回从第一样本集合中获取多数群体人脸图像的步骤继续训练，直至满足训练结束条件。

在一个实施例中，计算机设备按照最小化预训练损失函数的方向，基于梯度下降算法获得本次训练对应的梯度，按照梯度更新特征提取网络和分类网络的模型参数。梯度下降算法可以是随机梯度下降算法，或者基于随机梯度下降算法优化的算法，比如带动量项的随机梯度下降算法等。

在一个实施例中，训练结束条件可以是训练次数达到预设次数，或者预训练损失函数计算的损失值小于预设值等。

本实施例中，使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，使得人脸识别模型学习用于区分多数群体的本质特征，从而保证人脸识别模型对多数群体人脸图像的识别准确性。

在一个实施例中，从第一样本集合、第二样本集合和第三样本集合中，获得微调训练所需的样本图像集合，包括：获取预设的采样比例；按照采样比例分别对第一样本集合、第二样本集合和第三样本集合进行采样，获得微调训练所需的样本图像集合。

在一个实施例中，计算机设备按照预设的采样比例对第一样本集合、第二样本集合和第三样本集合进行采样，将从第一样本集合中采样得到的多数群体人脸图像作为第一子集，将从第二样本集合中采样得到的少数群体人脸图像作为第二子集，将从第三样本集合中采样得到的多数群体人脸图像和/或少数群体人脸图像作为第三子集，将第一子集、第二子集和第三子集合并为样本图像集合。计算机设备将样本图像集合中的样本图像输入预训练人脸识别模型，以对预训练人脸识别模型进行多任务微调训练。发明人经过大量的试验发现，当第一子集、第二子集和第三子集中样本图像的比例为2:1:3时，能够取得较好的训练效果。

在一个实施例中，参照图7，在使用样本图像集合中的样本图像对预训练人脸识别模型进行微调训练的过程中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数，包括：

步骤702，使用样本图像集合中各样本图像对预训练人脸识别模型进行微调训练，在微调训练过程中获取各样本图像对应的梯度。

在一个实施例中，使用样本图像集合中各样本图像对预训练人脸识别模型进行微调训练，在微调训练过程中获取各样本图像对应的梯度，包括：将样本图像集合中各样本图像输入预训练人脸识别模型，获得各样本图像对应的人脸识别预测结果；根据各样本图像对应的人脸标签信息及人脸识别预测结果，构建微调训练损失函数；在微调训练损失函数最小化时获得各样本图像对应的梯度。

在一个实施例中，将样本图像集合中各样本图像输入预训练人脸识别模型，获得各样本图像对应的人脸识别预测结果，包括：通过预训练人脸识别模型中的特征提取网络，提取各样本图像对应的人脸图像特征；通过预训练人脸识别模型中的分类网络，基于人脸图像特征获得各样本图像对应的人脸识别预测结果。

在一个实施例中，计算机设备根据各样本图像对应的人脸标签信息及人脸识别预测结果之间的差异，构建微调训练损失函数。微调训练损失函数可以是Softmax函数、Contrastive Loss函数、Triplet Loss函数、Center Loss函数、Margin函数等。

在一个实施例中，根据各样本图像对应的人脸标签信息及人脸识别预测结果，构建微调训练损失函数，包括：根据样本图像集合中属于第一样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第一损失；根据样本图像集合中属于第二样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第二损失；根据样本图像集合中属于第三样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第三损失；获取预设的损失加权系数；按照损失加权系数对第一损失、第二损失和第三损失求和，获得微调训练损失函数。

其中，第一损失、第二损失和第三损失可以是损失函数，比如Softmax函数、Contrastive Loss函数、Triplet Loss函数、Center Loss函数、Margin函数等。

在一个实施例中，样本图像集合中属于第一样本集合的样本图像（简称为第一子集）、样本图像集合中属于第二样本集合的样本图像（简称为第二子集）、样本图像集合中属于第三样本集合的样本图像（简称为第三子集）可分别设置损失加权系数。发明人经过大量的试验发现，当第一子集、第二子集和第三子集的损失加权系数的比例为2:3:1时，能够取得较好的训练效果。

在一个实施例中，微调训练损失函数可通过以下公式进行表示：

其中，

在一个实施例中，计算机设备按照最小化微调训练损失函数的方向，基于梯度下降算法获得本次训练对应的梯度，从梯度中确定各样本图像对应的梯度。梯度下降算法可以是随机梯度下降算法，或者基于随机梯度下降算法优化的算法，比如带动量项的随机梯度下降算法等。

举例说明，假设第

其中，

结合公式（1）和公式（2），微调训练损失函数可通过以下公式进行表示：

对于

由此可见，计算机设备可从本次训练对应的梯度中，确定各样本图像对应的梯度。

步骤704，从各样本图像对应的梯度中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数。

参照图8，图8为一个实施例中对预训练模型进行微调训练的示意图。假设样本图像4和样本图像5为样本图像集合中属于第三样本集合且包括多数群体人脸的样本图像。可以看到，计算机设备提取各样本图像对应的人脸图像特征，基于人脸图像特征获得各样本图像对应的人脸识别预测结果。根据第一子集的样本图像对应的人脸标签信息及人脸识别预测结果，构建第一损失，根据第二子集的样本图像对应的人脸标签信息及人脸识别预测结果，构建第二损失，根据第三子集的样本图像对应的人脸标签信息及人脸识别预测结果，构建第三损失，按照损失加权系数对第一损失、第二损失和第三损失求和，获得微调训练损失函数。按照最小化微调训练损失函数的方向，基于梯度下降算法获得本次训练对应的梯度，从梯度中确定各样本图像对应的梯度。从各样本图像对应的梯度中，排除样本图像4、样本图像5对应的梯度后，使用样本图像1、样本图像2、样本图像3和样本图像6对应的梯度更新预训练人脸识别模型的模型参数。

本实施例中，使用第一样本集合、第二样本集合和第三样本集合中的样本图像对预训练人脸识别模型进行微调，预训练人脸识别模型基于第一样本集合的多数群体人脸图像学习用于区分多数群体的特征，基于第二样本集合的少数群体人脸图像学习用于区分少数群体的特征，基于第三样本集合的多数群体人脸图像和少数群体人脸图像，学习用于区分多数群体和少数群体的特征，且第三样本集合包括的多数群体人脸图像，可用于干预预训练人脸识别模型对少数群体的特征的学习，以扩充少数群体的特征空间，压低人脸识别模型计算得到的少数群体非同人之间的相似度，提升对少数群体人脸图像的识别准确性。

在一个实施例中，该方法还包括：固定预训练人脸识别模型的特征提取网络的模型参数，迭代地从第一样本集合、第二样本集合和第三样本集合中获得微调训练所需的样本图像集合，并使用微调训练所需的样本图像集合中的样本图像对预训练人脸识别模型的分类网络进行微调训练，在微调训练过程中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新分类网络的模型参数；直至停止迭代时，固定预训练人脸识别模型的分类网络的模型参数，迭代地从第一样本集合、第二样本集合和第三样本集合中获得微调训练所需的样本图像集合，并使用微调训练所需的样本图像集合中的样本图像对预训练人脸识别模型的特征提取网络进行微调训练，在微调训练过程中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新特征提取网络的模型参数。

本实施例中，可在分类网络的模型参数更新完成后，再对特征提取网络的模型参数进行更新，以提高训练效果和训练效率。

在一个实施例中，在使用样本图像集合中的样本图像对预训练人脸识别模型进行微调训练的过程中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数，包括：当样本图像集合中，从第三样本集合中采样得到的样本图像包括少数群体人脸图像时，则使用属于第三样本集合且包括少数群体人脸的样本图像、属于第一样本集合的样本图像和属于第二样本集合的样本图像对应的梯度，更新预训练人脸识别模型的模型参数；当样本图像集合中，从第三样本集合中采样得到的样本图像不包括少数群体人脸图像时，则使用属于第一样本集合的样本图像和属于第二样本集合的样本图像对应的梯度，更新预训练人脸识别模型的模型参数。

具体地，计算机设备对第一样本集合、第二样本集合和第三样本集合进行采样时，由于第三样本集合包括多数群体人脸图像和少数群体人脸图像，计算机设备从第三样本集合采样得到的样本图像有以下三种情况：(1)计算机设备从第三样本集合仅采样到多数群体人脸图像。(2)计算机设备从第三样本集合仅采样到少数群体人脸图像。(3)计算机设备从第三样本集合采样到多数群体人脸图像和少数群体人脸图像。针对不同的采样情况，计算机设备采取不同的模型参数更新措施。对于第(1)种情况，计算机设备使用样本图像集合中，属于第一样本集合的样本图像和属于第二样本集合的样本图像对应的梯度，更新预训练人脸识别模型的模型参数。对于第(2)种、第(3)种情况，计算机设备使用样本图像集合中，属于第三样本集合且包括少数群体人脸的样本图像、属于第一样本集合的样本图像和属于第二样本集合的样本图像对应的梯度，更新预训练人脸识别模型的模型参数。这样，第三样本集合且包括多数群体人脸的样本图像仅用于扩充少数群体的特征空间，而不对模型参数的更新产生影响。

在一个实施例中，该方法还包括：获取待验证人脸图像及待验证人脸图像对应的待验证身份，待验证人脸图像包括多数群体人脸或少数群体人脸；通过微调训练后得到的人脸识别模型，获取待验证人脸图像对应的待验证图像特征；获取待验证身份对应的参考图像特征；当待验证图像特征与参考图像特征之间的相似度超过阈值时，则确定待验证人脸图像通过身份验证。

其中，待验证人脸图像是待进行身份验证的图像。身份验证在于核实待验证人脸图像中的人脸是否与待验证身份相匹配。待验证图像特征是用于反映待验证人脸图像中的人脸特征的数据。参考图像特征是用于反映参考人脸图像中的人脸特征的数据，该应用场景下的参考人脸图像是与待验证身份相匹配的预存人脸图像。

通过本申请实施例提供的方法训练得到的人脸识别模型，可应用于一对一身份验证场景。一对一身份验证场景是在已知待验证身份的情况下，将待验证人脸图像对应的待验证图像特征与待验证身份对应的参考图像特征进行比对，以核实待验证人脸图像中的人脸对应的身份是否为待验证身份。比如身份核验场景、终端屏幕解锁场景、罪犯抓捕场景等等。

具体地，计算机设备通过训练后的人脸识别模型，获取待验证人脸图像对应的待验证图像特征，获取待验证身份对应的参考图像特征，当待验证图像特征与参考图像特征之间的相似度超过阈值时，则确定待验证人脸图像通过身份验证。

在一个实施例中，计算机设备可采集现实场景中活体的图像作为待验证人脸图像。计算机设备可先基于待验证人脸图像进行活体识别，以识别该待验证人脸图像对应的采集对象是否为活体，当判定该待验证人脸图像对应的采集对象为活体时，再对该待验证人脸图像进行身份验证。

本实施例可应用于一对一身份验证场景下，提升了一对一身份验证场景下对各类群体的人脸识别准确性。

在一个实施例中，该方法还包括：获取待匹配人脸图像，待匹配人脸图像包括多数群体人脸或少数群体人脸；通过微调训练后得到的人脸识别模型，获取待匹配人脸图像对应的待匹配图像特征；将待匹配图像特征与至少一个参考图像特征进行匹配，将匹配度最大的参考图像特征所对应的目标身份，作为待匹配人脸图像中人脸的身份。

其中，待匹配人脸图像是待进行身份识别的图像。身份识别在于识别待匹配人脸图像中的人脸对应的身份。待匹配图像特征是用于反映待匹配人脸图像中的人脸特征的数据。参考图像特征是用于反映参考人脸图像中的人脸特征的数据，该应用场景下的参考人脸图像是数据库中的预存人脸图像。

通过本申请实施例提供的方法训练得到的人脸识别模型，可应用于一对多身份识别场景。一对多身份识别场景是将待匹配人脸图像对应的待匹配图像特征与数据库中预存的参考图像特征进行比对，以从数据库中各参考图像特征对应的身份中，确定待匹配人脸图像中的人脸对应的身份。比如人脸支付场景、交通安全场景、工作考勤场景、寻找失踪人员场景等等。

具体地，计算机设备通过训练后的人脸识别模型，获取待匹配人脸图像对应的待匹配图像特征，将待匹配图像特征与至少一个参考图像特征进行匹配，将匹配度最大的参考图像特征所对应的目标身份，作为待匹配人脸图像中人脸的身份。

本实施例可应用于一对多身份识别场景下，提升了一对多身份识别场景下，对各类群体的人脸识别准确性。

在一个实施例中，如图9所示，提供了一种人脸识别模型的处理方法，本实施例主要以该方法应用于计算机设备（上述图1中的终端102或服务器104）来举例说明，包括以下步骤：

步骤S902，获取第一样本集合、第二样本集合和第三样本集合，第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像。

步骤S904，从第一样本集合中获取多数群体人脸图像及对应的人脸标签信息，通过初始人脸识别模型中的特征提取网络，提取各多数群体人脸图像对应的人脸图像特征，通过初始人脸识别模型中的分类网络，基于人脸图像特征获得各多数群体人脸图像对应的人脸识别预测结果。

步骤S906，根据人脸标签信息与人脸识别预测结果之间的差异，构建预训练损失函数，将预训练损失函数最小化时的模型参数作为初始人脸识别模型更新的模型参数后，返回从第一样本集合中获取多数群体人脸图像的步骤继续训练，直至满足训练结束条件，获得预训练人脸识别模型。

步骤S908，按照采样比例分别对第一样本集合、第二样本集合和第三样本集合进行采样，获得微调训练所需的样本图像集合。

步骤S910，将样本图像集合中各样本图像输入预训练人脸识别模型，通过预训练人脸识别模型中的特征提取网络，提取各样本图像对应的人脸图像特征，通过预训练人脸识别模型中的分类网络，基于人脸图像特征获得各样本图像对应的人脸识别预测结果。

步骤S912，根据样本图像集合中属于第一样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第一损失，根据样本图像集合中属于第二样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第二损失，根据样本图像集合中属于第三样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第三损失，获取预设的损失加权系数，按照损失加权系数对第一损失、第二损失和第三损失求和，获得微调训练损失函数。

步骤S914，在微调训练损失函数最小化时获得各样本图像对应的梯度，从各样本图像对应的梯度中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数后，返回按照采样比例分别对第一样本集合、第二样本集合和第三样本集合进行采样的步骤继续训练，直至满足训练结束条件，获得用于对多数群体人脸图像及少数群体人脸图像进行人脸识别的人脸识别模型。

本实施例中，由于人脸识别模型的训练样本中多数群体的样本数量占据多数，少数群体的样本数量占据少数，导致人脸识别模型能够基于多数群体的样本学习到用于区分多数群体的大量的本质特征，而只能基于少数群体的样本学习到用于区分少数群体的少量的浅层特征，导致人脸识别模型计算得到的少数群体非同人之间的相似度偏高。而在人脸识别模型尝试区分多数群体和少数群体的样本时，在多数群体的样本的干预下，人脸识别模型能够学习到用于区分少数群体的本质特征。故先使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，使得人脸识别模型学习用于区分多数群体的本质特征，从而保证人脸识别模型对多数群体人脸图像的识别准确性；接着使用第一样本集合、第二样本集合和第三样本集合对预训练人脸识别模型进行微调训练，预训练人脸识别模型基于第一样本集合的多数群体人脸图像学习用于区分多数群体的特征，基于第二样本集合的少数群体人脸图像学习用于区分少数群体的特征，基于第三样本集合的多数群体人脸图像和少数群体人脸图像，学习用于区分多数群体和少数群体的特征，且第三样本集合包括的多数群体人脸图像，可用于干预预训练人脸识别模型对用于区分少数群体的本质特征的学习，从而提升人脸识别模型对少数群体人脸图像的识别准确性。上述人脸识别模型的处理方法，在提升人脸识别模型对多数群体人脸图像的识别准确性的同时，也大大提升人脸识别模型对少数群体人脸图像的识别准确性。

在一个实施例中，如图10所示，提供了一种人脸识别方法，本实施例主要以该方法应用于计算机设备（上述图1中的终端102或服务器104）来举例说明，包括以下步骤：

步骤1002，获取待识别人脸图像，待识别人脸图像中包括多数群体人脸和少数群体人脸中的至少一种。

其中，待识别人脸图像是待进行人脸识别的图像。待识别人脸图像中可包括一个或者至少两个待识别人脸。计算机设备可基于待识别人脸图像，对待识别人脸图像中的一个或者至少两个待识别人脸进行身份识别。

具体地，终端可通过内置的摄像头采集现实场景的图像。终端也可通过外置的、且与终端关联的摄像头采集现实场景的图像。比如，终端可通过连接线或网络与图像采集设备连接，图像采集设备通过摄像头采集现实场景的图像，并将采集到的图像传输至终端。摄像头可以是单目摄像头、双目摄像头、深度摄像头、3D（3 Dimensions，三维）摄像头等。终端可采集现实场景中活体的图像，也可对现实场景中包含人脸的已有图像进行采集，比如身份证件扫描件等。

步骤1004，通过已训练的人脸识别模型对待识别人脸图像进行人脸识别，得到待识别人脸图像对应的人脸识别结果，人脸识别模型是通过使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练获得预训练人脸识别模型后，再使用从第一样本集合、第二样本集合和第三样本集合获得的样本图像集合中的样本图像对预训练人脸识别模型进行微调训练获得的，并且在微调训练过程中排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数；其中，第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像。

在一个实施例中，计算机设备通过已训练的人脸识别模型，获得待识别人脸图像对应的人脸图像特征，基于人脸图像特征获得待识别人脸图像对应的人脸识别结果。

在一个实施例中，人脸识别结果可以是待识别人脸图像中的人脸对应的身份，例如在一对多身份识别场景下，计算机设备通过训练后的人脸识别模型，获取待识别人脸图像对应的人脸图像特征，将该人脸图像特征与至少一个参考图像特征进行匹配，将匹配度最大的参考图像特征所对应的身份，作为待识别人脸图像中人脸的身份。在另一些实施例中，人脸识别结果可以是待识别人脸图像中的人脸对应的身份验证结果。例如在一对一身份验证场景下，计算机设备通过训练后的人脸识别模型，获取待识别人脸图像对应的人脸图像特征，获取待验证身份对应的参考图像特征，当待验证图像特征与参考图像特征之间的相似度超过阈值时，则确定待识别人脸图像通过身份验证。

关于人脸识别模型的训练方法可参照上述实施例，在此不再赘述。

上述人脸识别方法中，通过已训练的人脸识别模型进行人脸识别，能够提高对各类群体的人脸识别准确性。上述人脸识别模型，先使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型，提升人脸识别模型对多数群体人脸图像的识别准确性；接着使用第一样本集合、第二样本集合和第三样本集合中的样本图像对预训练人脸识别模型进行微调，预训练人脸识别模型基于第一样本集合的多数群体人脸图像学习用于区分多数群体的特征，基于第二样本集合的少数群体人脸图像学习用于区分少数群体的特征，基于第三样本集合的多数群体人脸图像和少数群体人脸图像，学习用于区分多数群体和少数群体的特征，且第三样本集合包括的多数群体人脸图像，可用于干预预训练人脸识别模型对少数群体的特征的学习，以扩充少数群体的特征空间，压低人脸识别模型计算得到的少数群体非同人之间的相似度，提升对少数群体人脸图像的识别准确性；这样在提升人脸识别模型对多数群体人脸图像的识别准确性的同时，也大大提升人脸识别模型对少数群体人脸图像的识别准确性。

应该理解的是，虽然图2、6-7、9-10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、6-7、9-10中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图11所示，提供了一种人脸识别模型的处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1102、预训练模块1104和微调训练模块1106，其中：

获取模块1102，用于获取第一样本集合、第二样本集合和第三样本集合，第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像；

预训练模块1104，用于使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型；

微调训练模块1106，用于迭代地从第一样本集合、第二样本集合和第三样本集合中，获得微调训练所需的样本图像集合，在使用样本图像集合中的样本图像对预训练人脸识别模型进行微调训练的过程中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数，直至停止迭代时，获得用于对多数群体人脸图像及少数群体人脸图像进行人脸识别的人脸识别模型。

在一个实施例中，预训练模块1104还用于：从第一样本集合中获取多数群体人脸图像及对应的人脸标签信息；将从第一样本集合中获取的多数群体人脸图像输入初始人脸识别模型，获得人脸识别预测结果；根据人脸标签信息与人脸识别预测结果构建预训练损失函数；将预训练损失函数最小化时的模型参数作为初始人脸识别模型更新的模型参数后，返回从第一样本集合中获取多数群体人脸图像的步骤继续训练，直至满足训练结束条件。

在一个实施例中，预训练模块1104还用于：通过初始人脸识别模型中的特征提取网络，提取各多数群体人脸图像对应的人脸图像特征；通过初始人脸识别模型中的分类网络，基于人脸图像特征获得各多数群体人脸图像对应的人脸识别预测结果。

在一个实施例中，微调训练模块1106还用于：获取预设的采样比例；按照采样比例分别对第一样本集合、第二样本集合和第三样本集合进行采样，获得微调训练所需的样本图像集合。

在一个实施例中，微调训练模块1106还用于：使用样本图像集合中各样本图像对预训练人脸识别模型进行微调训练，在微调训练过程中获取各样本图像对应的梯度；从各样本图像对应的梯度中，排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度后，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数。

在一个实施例中，微调训练模块1106还用于：将样本图像集合中各样本图像输入预训练人脸识别模型，获得各样本图像对应的人脸识别预测结果；根据各样本图像对应的人脸标签信息及人脸识别预测结果，构建微调训练损失函数；在微调训练损失函数最小化时获得各样本图像对应的梯度。

在一个实施例中，微调训练模块1106还用于：通过预训练人脸识别模型中的特征提取网络，提取各样本图像对应的人脸图像特征；通过预训练人脸识别模型中的分类网络，基于人脸图像特征获得各样本图像对应的人脸识别预测结果。

在一个实施例中，微调训练模块1106还用于：根据样本图像集合中属于第一样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第一损失；根据样本图像集合中属于第二样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第二损失；根据样本图像集合中属于第三样本集合的样本图像对应的人脸标签信息及人脸识别预测结果，构建第三损失；获取预设的损失加权系数；按照损失加权系数对第一损失、第二损失和第三损失求和，获得微调训练损失函数。

在一个实施例中，微调训练模块1106还用于：当样本图像集合中，从第三样本集合中采样得到的样本图像包括少数群体人脸图像时，则使用属于第三样本集合且包括少数群体人脸的样本图像、属于第一样本集合的样本图像和属于第二样本集合的样本图像对应的梯度，更新预训练人脸识别模型的模型参数；当样本图像集合中，从第三样本集合中采样得到的样本图像不包括少数群体人脸图像时，则使用属于第一样本集合的样本图像和属于第二样本集合的样本图像对应的梯度，更新预训练人脸识别模型的模型参数。

在一个实施例中，人脸识别模型的处理装置还包括人脸识别模块，人脸识别模块用于：获取待验证人脸图像及待验证人脸图像对应的待验证身份，待验证人脸图像包括多数群体人脸或少数群体人脸；通过微调训练后得到的人脸识别模型，获取待验证人脸图像对应的待验证图像特征；获取待验证身份对应的参考图像特征；当待验证图像特征与参考图像特征之间的相似度超过阈值时，则确定待验证人脸图像通过身份验证。

在一个实施例中，人脸识别模块还用于：获取待匹配人脸图像，待匹配人脸图像包括多数群体人脸或少数群体人脸；通过微调训练后得到的人脸识别模型，获取待匹配人脸图像对应的待匹配图像特征；将待匹配图像特征与至少一个参考图像特征进行匹配，将匹配度最大的参考图像特征所对应的目标身份，作为待匹配人脸图像中人脸的身份。

关于人脸识别模型的处理装置的具体限定可以参见上文中对于人脸识别模型的处理方法的限定，在此不再赘述。上述人脸识别模型的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，如图12所示，提供了一种人脸识别装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1202和人脸识别模块1204，其中：

获取模块1202，用于获取待识别人脸图像，待识别人脸图像中包括多数群体人脸和少数群体人脸中的至少一种；

人脸识别模块1204，用于通过已训练的人脸识别模型对待识别人脸图像进行人脸识别，得到待识别人脸图像对应的人脸识别结果，人脸识别模型是通过使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练获得预训练人脸识别模型后，再使用从第一样本集合、第二样本集合和第三样本集合获得的样本图像集合中的样本图像对预训练人脸识别模型进行微调训练获得的，并且在微调训练过程中排除属于第三样本集合且包括多数群体人脸的样本图像对应的梯度，使用样本图像集合中剩余的样本图像对应的梯度更新预训练人脸识别模型的模型参数；

其中，第一样本集合中的样本为多数群体人脸图像，第二样本集合中的样本为少数群体人脸图像，第三样本集合包括多数群体人脸图像和少数群体人脸图像。

上述人脸识别模型的处理装置及人脸识别装置中，先使用第一样本集合中的多数群体人脸图像对初始人脸识别模型进行预训练，获得预训练人脸识别模型，提升人脸识别模型对多数群体人脸图像的识别准确性；接着使用第一样本集合、第二样本集合和第三样本集合中的样本图像对预训练人脸识别模型进行微调，预训练人脸识别模型基于第一样本集合的多数群体人脸图像学习用于区分多数群体的特征，基于第二样本集合的少数群体人脸图像学习用于区分少数群体的特征，基于第三样本集合的多数群体人脸图像和少数群体人脸图像，学习用于区分多数群体和少数群体的特征，且第三样本集合包括的多数群体人脸图像，可用于干预预训练人脸识别模型对少数群体的特征的学习，以扩充少数群体的特征空间，压低人脸识别模型计算得到的少数群体非同人之间的相似度，提升对少数群体人脸图像的识别准确性；这样在提升人脸识别模型对多数群体人脸图像的识别准确性的同时，也大大提升人脸识别模型对少数群体人脸图像的识别准确性。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储人脸识别模型的处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸识别模型的处理方法。

本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。