一种基于迁移学习和深度学习融合的半监督图表示学习方法及装置

技术领域

本发明属于信息技术领域，具体涉及一种基于迁移学习和深度学习融合的半监督图表示学习方法及装置。

背景技术

随着互联网技术的发展，社交网络、论文引用网络、交通网络等各领域大型复杂网络已经以图数据的形式渗透到现实生活的方方面面，与此同时也出现了各种各样繁杂的图挖掘任务，如节点分类、异常检测、链路预测、标签推荐等等。然而，依赖于启发式模型提取图结构信息的传统机器学习特征编码方式，在应对这些复杂场景数据分析时面临了前所未有的挑战。近年来，使用基于深度学习的图表示学习方法得到了广泛关注，其基本思想是将图结构数据编码为低维嵌入，将节点映射到一个稠密而低维的向量空间中，并在映射过程中尽量保留网络信息和节点间的相似性特征，以解决复杂图数据的高维度、稀疏性等问题。

目前，常用的图表示学习方法主要包括：1)基于谱方法的图表示学习，例如非线性降维算法、基于流形假设的拉普拉斯特征映射算法等。然而该类方法只利用了图的网络信息，学习到的图表示质量不高；2)基于最优化的图表示学习，即通过优化一个明确的目标函数从而学到图的低维表示，这类方法通常都是基于领域相关的方法，可扩展性差，需要为不同的图挖掘任务单独设计目标函数；3)基于深度学习的图表示学习方法，如DeepWalk算法、Node2vec算法等，在许多图表示学习任务中表现出了显著效果，然而却需要大量的人工标注数据。

发明内容

本发明针对上述问题，提供一种基于迁移学习和深度学习融合的半监督图表示学习方法及装置。

本发明采用的技术方案如下：

一种基于迁移学习和深度学习融合的半监督图表示学习方法，包括以下步骤：

通过全局层面和局部层面的两个子任务预训练图神经网络模型，以从未标注的数据中学习输入数据的通用表征；

将预训练的图神经网络模型迁移到目标任务的训练过程中，在预训练的图神经网络模型之后添加一个与目标任务相关的输出层，并利用有标签数据对预训练的图神经网络模型的参数进行微调，得到最终的图神经网络模型。

进一步地，所述全局层面和局部层面的两个子任务，包括：

中心性评估子任务，用以获得反映各节点在全局中重要性的图节点嵌入表示；

上下文预测子任务，用以将具有相似邻域的节点映射到相近的嵌入表示空间中，使学习到的节点嵌入表示能够捕获其邻域信息。

进一步地，所述中心性评估子任务对输入的原始图中每个节点从不同粒度评估每个节点的中心性得分，构成输入节点的本地特征向量，并训练图自编码器模型，根据节点位于图中的结构角色来衡量节点在全局网络中的重要性，以学习到图中每个节点在全局中起到的作用，获得图节点嵌入表示提供给下游目标任务。

进一步地，所述中心性评估子任务对输入的原始图中每个节点计算特征向量中心性、介数中心性、紧密中心性和度中心性，从四个不同粒度评估每个节点的中心性得分。

进一步地，所述上下文预测子任务在全局网络图中使用上下文子图来预测各节点为中心的局部图结构，并利用图自编码器进行预训练，分别采用节点的k-hop子结构和对应的上下文子特征对节点编码，将出现在相似结构上下文中的节点映射到邻近的嵌入，将上下文编码成固定向量。

进一步地，所述在预训练的图神经网络模型之后添加一个与目标任务相关的输出层，包括：去掉预训练的图神经网络模型的输出层，在保留学习到的图嵌入表示和参数矩阵的基础上添加一个与目标任务关联的输出层，并随机初始化该输出层的模型参数。

进一步地，所述利用有标签数据对预训练的图神经网络模型的参数进行微调，得到最终的图神经网络模型，包括：利用有标签数据经过梯度下降算法对预训练的图神经网络模型的参数进行微调，得到目标图神经网络模型，训练过程中除输出层以外其它层的参数都是基于预训练的图神经网络模型的参数微调得到的。

一种采用本发明方法的基于迁移学习和深度学习融合的半监督图表示学习装置，其包括：

图数据预处理模块，负责对原始图数据进行清洗，过滤掉无效数据；

预训练模块，负责通过全局层面和局部层面的两个子任务预训练图神经网络模型，以从未标注的数据中学习输入数据的通用表征；

目标任务微调模块，负责将预训练的图神经网络模型迁移到目标任务的训练过程中，在预训练的图神经网络模型之后添加一个与目标任务相关的输出层，并利用有标签数据对预训练的图神经网络模型的参数进行微调，得到最终的图神经网络模型。

本发明的优点和有益效果如下：

1)通过一种基于半监督学习的预训练机制，设计全局层面和局部层面两种不同的子任务，预训练图自编码器模型，从未标注的数据中学习输入数据的通用表征，为目标模型提供更合理有效的初始化参数，下游目标任务只需重新训练输出层利用标签数据对模型进行微调，在节省人工标记成本的基础上，有效结合无标签数据和有标签数据，提升了模型的泛化能力，简化目标任务的训练过程，达到更快收敛的目的。

2)通过一种基于迁移学习与深度学习融合的方法，充分利用迁移学习的思想，将通过深度学习方法得到的预训练模型迁移到目标任务的训练过程中，在预训练模型之后添加一个与目标任务相关的输出层，利用有标签数据经过梯度下降算法对预训练模型参数进行微调，得到最终的图神经网络模型，节省大量的计算资源和计算时间，提高计算效率。

附图说明

图1是本发明的模块组成示意图。

图2是本发明方法的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明的主要内容和目的包括：

1)通过一种半监督的图表示学习方法，捕获未标注图数据中的通用结构信息以提供有用的表征信息或者参数给下游目标任务并利用有标签数据对模型进行微调，解决原始数据中标签较少的问题，节省人工标记成本，同时有效结合无标签数据和有标签数据，提升模型泛化性能，提高下游目标任务的性能。

2)通过一种预训练机制，设计两种不同层面的子任务分别从全局和局部预训练图自编码器模型，从未标注的数据中学习输入数据的通用表征，为目标模型提供更合理的初始化参数，以简化下游目标任务的训练过程，同时提升准确率。

3)通过一种迁移学习与深度学习融合的方法，将迁移学习的思想用于图的表示学习上，结合深度学习方法在预训练模型之后添加一个与目标任务相关的输出层，与图节点本地特征一同迁移到目标任务的模型训练中，利用有标签数据对预训练模型参数进行微调得到最终的图神经网络模型，增强模型的学习能力，同时节省大量的计算资源和计算时间，提高计算效率，提升模型收敛速度。

本发明提出的一种基于迁移学习和深度学习融合的半监督图表示学习装置，如图1所示，包括以下模块或子系统：图数据预处理模块、预训练模块、目标任务微调模块。其中图数据预处理模块不是必需的模块，即也可以没有该模块。

1)图数据预处理模块，负责对原始图数据进行清洗，过滤掉无效数据。其中原始图数据可以是社交网络、论文引用网络、交通网络等各领域大型复杂网络的图数据。

2)预训练模块，负责通过两个子任务(中心性评估子任务和上下文预测子任务)构建图神经网络学习框架，分别从全局层面和局部层面捕获图节点网络结构信息，通过训练图自编码器和解码器并利用反向传播机制学习到图嵌入表示和参数矩阵。

两个子任务设计如下：

(1)中心性评估子任务：输入图数据，通过对每个节点计算不同粒度的中心性得分(包括特征向量中心性、介数中心性、紧密中心性和度中心性)，将其作为节点的输入特征向量，利用无监督学习的方式训练图自编码器模型，通过编码器学习节点深度特征表示，并通过解码器得到各节点特征解码后的特征向量，将其与输入特征向量进行损失函数计算，通过梯度下降方法不断将参数调优，最终得到反映各节点在全局中重要性的图节点嵌入表示。

(2)上下文预测子任务：在全局网络图中使用上下文子图来预测各节点为中心的局部图结构，利用图自编码器进行预训练，分别采用节点的k-hop(k-跳)子结构和对应的上下文子特征对节点编码，使得相同节点在两个维度的特征尽可能相似，将出现在相似结构上下文中的节点映射到邻近的嵌入，将上下文编码成固定向量。

3)目标任务微调模块，负责对预训练的图神经网络模型进行微调以适应目标图神经网络模型的需求，针对预训练的图神经网络模型在去掉输出层保留学习到的图嵌入表示和参数矩阵的基础上，添加一个与目标任务关联的输出层(比如分类任务，可添加一个输出大小为目标数据集类别个数的输出层)，并随机初始化该输出层的模型参数，在目标数据集上训练目标图神经网络模型，训练过程中除输出层以外其它层的参数都是基于预训练的图神经网络模型的参数微调得到的。

本发明一个实施例的基于迁移学习和深度学习融合的半监督图表示学习方法，整体流程的具体步骤描述如下：

1)搭建服务器集群(服务器分为1台主服务器和若干子服务器)，包括图数据预处理模块、预训练模块、目标任务微调模块三部分。集群中，主服务器负责任务调度，子服务器负责数据预处理和模型训练，预处理模块可以部署在每台服务器上，预训练模块和目标任务微调模块一般分别部署在一台服务器即可。

2)图数据预处理模块，对原始图数据进行清洗，过滤无效数据和异常数据。

3)预训练模块，聚焦图网络结构信息设计两个子任务如下：

(1)中心性评估子任务：对输入的原始图中每个节点计算特征向量中心性、介数中心性、紧密中心性和度中心性，从四个不同粒度评估每个节点的中心性得分，构成输入节点的本地特征向量，训练图自编码器模型，根据节点位于图中的结构角色来衡量节点在全局网络中的重要性，以学习到图中每个节点在全局中起到的作用，获得图节点嵌入表示提供给下游目标任务。

(2)上下文预测子任务：在全局网络图中使用上下文子图来预测各节点为中心的局部图结构，利用图自编码器进行预训练，采用节点的k-hop子结构和对应的上下文子图对节点信息聚合，使其将出现在相似结构上下文中的节点映射到邻近的嵌入，将上下文编码成固定向量。

4)目标任务微调模块，负责对预训练的图神经网络模型进行微调以适应目标图神经网络模型的需求，针对预训练的图神经网络模型在去掉输出层保留学习到的图嵌入表示和参数矩阵的基础上添加一个与目标任务关联的输出层(比如分类任务，可添加一个输出大小为目标数据集类别个数的输出层)，并随机初始化该输出层的模型参数，利用有标签数据经过梯度下降算法对预训练的图神经网络模型的参数进行微调，得到目标图神经网络模型，训练过程中除输出层以外其它层的参数都是基于预训练的图神经网络模型的参数微调得到的。

下面提供本发明的一个具体实现过程示例，仅以AS(Autonomous System，自治系统)级网络拓扑图举例说明过程，并非用以限定本发明，核心流程如图2所示：

(1)选取公开数据源的BGP数据集并提取AS_PATH字段的ASN(Autonomous SystemNumber，自治系统号码)相关数据，构建反映AS连接关系的网络拓扑图(节点总数为N)。

(2)中心性评估子任务：将输入AS拓扑图数据中每个节点分别计算其特征向量中心性、介数中心性、紧密中心性和度中心性，构成图输入特征矩阵X(维度为N*4)与邻接矩阵A一同输入图自编码器神经网络，通过编码学习得到反映图全局特征的嵌入表示。以V、E分别表示图中的节点集合、边集合，对于图G＝(V,E)中节点对(u,v)和中心性得分s，它们间的相对次序记作

并优化每一个中心性得分s的编码器和解码器，损失函数计算如下：

(3)上下文预测子任务：在AS拓扑网络图中采用节点的k-hop邻居子图结构的聚合信息对节点进行编码获得节点嵌入表示h

(4)将中心性评估子任务和上下文预测子任务得到的图嵌入表示进行合并，将预训练的图神经网络模型的输出层替换为目标任务相关的输出层，并随机初始化该层的参数，通过有标签数据经过梯度下降算法计算损失函数，优化模型参数，同时对预训练的图神经网络模型参数进行微调(除输出层以外其它层即图2中的第1层～第n-1层的参数都是基于预训练的图神经网络模型的参数微调得到的)，得到最终目标结果，即得到目标图神经网络模型。

本发明的关键点是：

1)基于迁移学习和深度学习融合的半监督图表示学习方法，通过设定两个不同层次的子任务使用无监督学习的方法利用无标签数据训练图自编码器模型，得到有效的图结构特征信息，并将其迁移到目标任务的训练过程中，再利用标签数据有监督地微调预训练模型，得到最终的图嵌入表示及标签，有效结合有标签数据和无标签数据，利用半监督学习机制充分融合迁移学习与深度学习方法，提高模型泛化能力，降低过拟合风险。

2)基于迁移学习和深度学习融合的半监督图表示学习装置的实现，将基于迁移学习和深度学习融合的半监督图表示学习方法设计为有效的系统装置，能通过输入任意关注空间结构信息的网络图数据(有无节点本地属性特征均可，有少量标签数据)，通过图自编码器预训练输入数据中的无标签数据得到图各节点基于全局和局部结构信息的图嵌入表示和参数矩阵，然后自动迁移至下游目标任务中，通过添加新的与目标任务关联的输出层训练目标模型根据有标签数据微调参数矩阵，得到最终的图表示。此装置中涉及所有算法对用户均为黑盒模式，用户只需输入原始网络图即可得到期望的图嵌入表示结果，并可根据目标任务定制输出层应用于链路预测、图生成等任务中，直接得到相应标签，提升目标任务的准确率。

基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。