基于域对抗训练的自动谎言检测方法及系统

技术领域

本发明涉及谎言分析技术领域，尤其是涉及了一种通过编码视频信息来自动地预测个体的谎言水平的方法及系统。

背景技术

“说谎”指的是说话人在知道事实的前提下，通过刻意隐瞒并提供与事实不符的语言信息的行为。自动谎言检测指的是，基于被试者的心理反映和行为反映，提出相应的模型和方法来建立起机器在捕获谎言线索方面的能力。自动谎言检测在刑事侦查领域具有广泛的前景，能够帮助刑侦人员加快审讯速度，提升审讯效率。

尽管自动谎言检测具有很重要的现实意义，但仍然存在着诸多难点。首先，谎言数据标注困难，如何利用较少的样本数据，就能取得不错的自动谎言检测能力，是一个较为困难的问题；其次，在说谎时，不同说话人具有不同的行为反应，如果学习到说话人无关的谎言特征，将有助于提升自动谎言检测系统对说话人的鲁棒性；最后，对话中的上下文信息和多模态信息对谎言的理解至关重要，如何有效利用这些信息进行谎言检测，也是一个值得探讨的问题。

首先，为了能在低资源情况下取得不错的检测效果，研究者往往采用无监督学习方法，通过从极少数据中学习到捕获数据本身内在结构的能力。例如自编码器、对抗自编码器、降噪自编码器等等。但是，这些无监督学习方法容易造成谎言信息的丢失，从而影响谎言检测的精度。

其次，如何学习到说话人无关的谎言特征表示，也是一个很重要的研究点。传统方法是在数据库划分过程中，确保训练集和测试集之间没有说话人重叠。但是上述方法也无法保证模型一定能够学习到说话人无关的谎言特征。

最后，上下文信息和多模态信息对于谎言检测至关重要。例如，在说谎时，到被测者往往存在前后矛盾的表述，这就需要综合考虑对话中的上下文信息，用于判断当前时刻被测者的谎言状态。除此之外，在谎言分析过程中，多模态信息至关重要，常用的模态包括语音、文本和面部等。对于语音而言，说谎时常常伴随着语速加快、声音颤抖、言语停顿更多、音调增高等现象，这些可以通过语音的韵律特征、频谱特征和音质特征反映出来；对于文本而言，说谎时常常伴随着言语错乱增多、内容更空洞、叹词较多、人称代词较少、用词重复频率降低等现象，这些可以通过文本的词向量反映出来；对于面部而言，说谎时常常伴随着眼神回避、快速眨眼、眼神躲闪、唇角翘起、脑袋低垂等现象，这些可以通过面部的外观特征和形状特征反映出来。

发明内容

为解决现有技术的不足，实现提高谎言检测的准确率目的，本发明采用如下的技术方案：

基于域对抗训练的自动谎言检测方法，包括如下步骤：

S1，多模态特征提取，抽取文本特性表示、音频特征表示和面部特征表示；

S2，多模态特征融合，利用自适应注意力机制获得多模态特征表示；

S3，时序建模，利用双向循环神经网络捕获对话中的上下文信息，用于辅助当前句子的谎言检测；

S4，域对抗训练，利用域对抗网络抽取说话人无关的谎言特征表示，减少由于说话人差异对自动谎言检测性能的影响；

S5，谎言水平预测，将待测数据输入到经过域对抗训练后的谎言分类器中，用于预测个体的谎言水平。

所述步骤S1，通过视频段切分对语音时域波形、视频、文本进行切分，提取切分得到的各个模态数据的特征表示。

所述步骤S2，包括如下步骤：

S21，G

G

其中，W

S22，计算每个模态的注意力权重，依据该注意力权重融合多模态特征：

F＝G

其中，W

所述步骤S3，包括如下步骤：

S31，对话信息U＝[u

S32，将每句话的多模态特征输入到双向循环神经网络中，用于捕获对话中的上下文信息，辅助当前句子的谎言检测：

其中

S33，将正向循环神经网络的输出

从而增强了谎言检测的效果。

所述步骤S4，包括如下步骤：

S41，当对话数据库中存在M个有谎言标签对话和N个无谎言标签对话，并且所有对话的说话人信息已知，对话i包含L

S42，域对抗训练中包括谎言分类器和领域分类器，都是基于特征r

其中P(e

领域分类器旨在剔除说话人的影响，其损失函数定义为：

其中P(s

S43，将谎言分类器损失函数和领域分类器损失函数加权融合，用于域对抗训练：

L＝L

其中，λ是权重系统，在领域分类器损失函数L

所述步骤S5，谎言检测水平使用准确率、召回率、F值进行度量，用于判断预测的谎言状态和真实谎言状态之间的相关性，从而有效地提高了自动谎言检测的预测精度。

基于域对抗训练的自动谎言检测系统，包括自上而下依次连接的多模态特征提取模块、多模态特征融合模块、时序建模模块、域对抗训练模块和谎言水平预测模块，多模态特征提取模块，用于抽取文本特性表示、音频特征表示和面部特征表示；多模态特征融合模块利用自适应注意力机制获得多模态特征表示；时序建模模块利用双向循环神经网络捕获对话中的上下文信息，用于辅助当前句子的谎言检测；域对抗训练模块利用域对抗网络抽取说话人无关的谎言特征表示，减少由于说话人差异对自动谎言检测性能的影响；谎言水平预测模块将待测数据输入到经过域对抗训练后的谎言分类器中，用于预测个体的谎言水平。

所述多模态特征提取模块包括视频段切分模块和特征提取模块，视频段切分模块对语音时域波形、视频、文本进行切分，然后将切分得到的各个模态数据，输入到特征提取模块中提取各个模态的特征表示。

本发明的优势和有益效果在于：

本发明围绕自动谎言检测展开，通过自适应注意力机制获得多模态特征表示，相比于之前的特征更有助于提取具有区分性的特征；利用双向循环神经网络捕获对话中的上下文信息，从而增强了谎言检测的效果；通过域对抗网络抽取说话人无关的谎言特征表示，减少由于说话人差异对自动谎言检测性能的影响，提高了自动谎言检测的鲁棒性和准确性。

附图说明

图1是本发明的系统结构示意图。

图2是本发明中多模态特征提取模块的结构示意图。

图3是本发明中多模态特征融合模块的结构示意图。

图4是本发明中时序建模模块的结构示意图。

图5是本发明中域对抗训练模块的结构示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，基于域对抗训练的自动谎言检测系统，包括多模态特征提取模块、多模态特征融合模块、时序建模模块、域对抗训练模块和谎言水平预测模块，多模态特征提取模块，用于抽取文本特性表示、音频特征表示和面部特征表示；多模态特征融合模块与多模态特征提取模块相连，利用自适应注意力机制获得多模态特征表示；时序建模模块与多模态特征融合模块相连，利用双向循环神经网络捕获对话中的上下文信息，用于辅助当前句子的谎言检测；域对抗训练模块与时序建模模块相连，利用域对抗网络抽取说话人无关的谎言特征表示，减少由于说话人差异对自动谎言检测性能的影响；谎言水平预测模块与域对抗训练模块相连，将待测数据输入到经过域对抗训练后的谎言分类器中，用于预测个体的谎言水平，谎言检测水平使用准确率、召回率、F值进行度量，用于判断预测的谎言状态和真实谎言状态之间的相关性，从而有效地提高了自动谎言检测的预测精度。

如图2所示，视频段切分模块，对语音时域波形、视频、文本进行切分，然后将切分得到的各个模态数据，输入到特征提取模块中提取各个模态的特征表示。具体而言，抽取文本特性表示、音频特征表示和面部特征表示，将句子中所有词的词向量及其统计量作为文本特征；将语音中的韵律特征、音质特征和谱参数特征及其统计量作为音频特征；将人脸中的形状特征、外观特征及其统计量作为面部特征。

如图3所示，利用自适应注意力机制模块获得多模态特征表示，具体流程如下：

1、G

G

其中，W

2、计算每个模态的注意力权重，依据该注意力权重融合多模态特征：

F＝G

其中，W

如图4所示，利用双向循环神经网络捕获对话中的上下文信息，具体流程如下：

1、对话信息U＝[u

2、将这些特征输入到双向循环神经网络中，用于捕获对话中的上下文信息，辅助当前句子的谎言检测：

其中

3、将正向循环神经网络的输出

如图5所示，利用域对抗网络抽取说话人无关的谎言特征表示，减少由于说话人差异对自动谎言检测性能的影响，具体流程如下：

1、当对话数据库中存在M个有谎言标签对话和N个无谎言标签对话，并且所有对话的说话人信息已知。对话i包含L

2、域对抗训练模块中包括两个分类器：谎言分类器和领域分类器。所有分类器都是基于特征r

其中P(e

领域分类器旨在剔除说话人的影响，其损失函数定义为：

其中P(s

3、将领域分类器损失函数和谎言分类器损失函数加权融合，用于域对抗训练：

L＝L

其中，λ是权重系统。在领域分类器损失函数L

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。