一种文本关系的分析方法及装置、文本关系网络的构建方法

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种文本关系的分析方法及 装置、文本关系网络的构建方法。

背景技术

目前在自然语言处理领域，对于文本间关系的量化评估主要是基于文本间 词汇、词频和词汇组织方式的相似度来进行的。然而单纯基于词汇相似度来分 析文本关系常常会导致用词不同但主题相同的文本间关系被错误的评估，同时 这一缺陷也使得难以衡量多个文本之间的复杂内容之间的关系。

由此可知，现有技术中的方法存在分析结果不够准确的技术问题。

发明内容

有鉴于此，本发明提供了一种文本关系的分析方法及装置、文本关系网络 的构建方法，用以解决或者至少部分解决现有技术中的方法存在的结果不够准 确的技术问题。

为了解决上述技术问题，本发明第一方面提供了一种文本关系的分析方法， 包括：

对包含m篇独立文本的文本集合中包含的每篇文本进行预处理，获得m篇 独立文本构成的语料的所有句子和词汇，其中，m为正整数；

分别以语料的每一个词汇为概念主题词，遍历所有句子和词汇，将与概念 主题词在同一个句子中共同出现的词汇，纳入概念主题词对应的词汇集合，其 中，词汇集合包括概念主题词和词汇元素；

对每个词汇集合进行词汇元素筛选，构建概念；

根据文本集合中的不同文本是否包含相同的概念，确定文本之间的关系。

在一种实施方式中，对包含m篇独立文本的文本集合中包含的每篇文本进 行预处理，包括：

对包含m篇独立文本的文本集合中包含的每篇文本进行分句、分词以及去 除停用词。

在一种实施方式中，对每个词汇集合进行词汇元素筛选，构建概念，包括：

统计词汇集合中的每个词汇元素x

判断文本数量z是否大于或等于第一阈值，如果是，则将词汇元素作为词 汇集合的有效词汇，保留在词汇集合中，否则，将词汇元素从词汇集合中去除。

在一种实施方式中，根据文本集合中的不同文本是否包含相同的概念，确 定文本之间的关系，包括：

根据概念中的概念主题词或者词汇元素在文本中的出现情况，判断文本是 否包含该概念；

对文本集合中每两篇文本包含的概念进行比较，如果两篇文本包含相同的 概念，则两篇文本具有关联。

在一种实施方式中，根据概念中的概念主题词或者词汇元素在文本中的出 现情况，判断文本是否包含该概念，包括：

当一个概念X

当一个概念X

当一个概念X

在一种实施方式中，根据X

当一个概念X

当一个概念X

基于同样的发明构思，本发明第二方面提供了一种文本关系的分析装置， 包括：

预处理模块，对包含m篇独立文本的文本集合中包含的每篇文本进行预处 理，获得m篇独立文本构成的语料的所有句子和词汇，其中，m为正整数；

词汇集合构建模块，用于分别以语料的每一个词汇为概念主题词，遍历所 有句子和词汇，将与概念主题词在同一个句子中共同出现的词汇，纳入概念主 题词对应的词汇集合，其中，词汇集合包括概念主题词和词汇元素；

概念构建模块，用于对每个词汇集合进行词汇元素筛选，构建概念；

文本关系确定模块，用于根据文本集合中的不同文本是否包含相同的概念， 确定文本之间的关系。

基于同样的发明构思，本发明第三方面提供了一种文本关系网络的构建方 法，基于第一方面所述的文本关系分析方法实现，构建方法包括：

根据文本之间的关系，构建文本关系网络。

在一种实施方式中，根据文本之间的关系，构建文本关系网络，包括：

将文本作为节点、文本具有相同的概念作为边、两个文本具有相同概念的 数量为边的权重构建加权无环无向网络，作为文本关系网络。

基于同样的发明构思，本发明第四方面提供了一种计算机可读存储介质， 其上存储有计算机程序，该程序被执行时实现第一方面所述的方法。，包括：

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技 术效果：

本发明提供的文本关系的分析方法，首先对包含m篇独立文本的文本集合 中包含的每篇文本进行预处理；然后分别以语料的每一个词汇为概念主题词， 遍历预处理后得到的所有句子和词汇，将与概念主题词在同一个句子中共同出 现的词汇，纳入概念主题词对应的词汇集合，接着对每个词汇集合进行词汇元 素筛选，构建概念，最后根据文本集合中的不同文本是否包含相同的概念，确 定文本之间的关系。

由于本发明提供的方法，通过文本共现规则构建以单个词汇(概念主题词) 为中心的词汇集合，并对每个词汇集合进行词汇元素筛选，构建概念，再根据 文本集合中的不同文本是否包含相同的概念，确定文本之间的关系，通过提供 一种新的构建概念的方法，计算文本中包含的概念，再利用概念来计算文本之 间的关系，可以更全面地分析不同文本之间的关系，提高了分析的准确性，解 决了现有技术中的方法存在分析结果不够准确的技术问题。

进一步地，基于对不同文本关系的分析，本发明还提供了一种文本关系网 络的构建方法，可以对不同文本之间的关系通过网络进行展示，有利于了解多 个文本间的内容层次结构，拓展了基于文本间关系的应用场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创 造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种文本关系的分析方法的流程示意图；

图2为一种实施方式中本发明构建的文本关系网络的示意图；

图3为另一种实施方式中本发明构建的文本关系网络的示意图；

图4为本发明实施例中一种文本关系的分析装置的结构框图；

图5为本发明实施例中一种计算机可读存储介质的结构框图。

具体实施方式

本发明的目的在于针对现有技术中的方法存在分析结果不够准确的技术问 题，提供一种文本关系的分析方法及装置、文本关系网络的构建方法，从而达 到提高分析的全面性和准确性的目的。

为了达到上述目的，本发明的主要构思如下：

通过文本共现规则构建以单个词汇为中心的词汇集合，并构建概念，然后 根据文本集合中的不同文本是否包含相同的概念，确定文本之间的关系，可以 利用与某个词汇经常共现的词汇的集合来表征该词汇所指向的概念，并根据不 同文本是否包含同一概念来确定对不同文本之间的关系。基于此，还提供了一 种文本关系网络的构建方法，并依据是否存在相同的概念将文本间建立联系并 构建由文本组成的网络。

通过词汇集合的方式构建概念，再利用概念来计算文本之间的关系，可以 更全面地分析不同文本之间的关系，提高了分析的准确性，此外，通过构建的 文本关系网络，可以了解多个文本间的内容层次结构，拓展了基于文本间关系 的应用场景。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中 的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其 他实施例，都属于本发明保护的范围。

实施例一

本实施例提供了一种文本关系的分析方法，请参见图1，该方法包括：

步骤S1：对包含m篇独立文本的文本集合中包含的每篇文本进行预处理， 获得m篇独立文本构成的语料的所有句子和词汇，其中，m为正整数。

具体来说，m篇独立文本即为待分析文本，m的数量可以根据实际情况确 定。预处理包括分句、分词、去除停用词等步骤。

步骤S2：分别以语料的每一个词汇为概念主题词，遍历所有句子和词汇， 将与概念主题词在同一个句子中共同出现的词汇，纳入概念主题词对应的词汇 集合，其中，词汇集合包括概念主题词和词汇元素。

具体来说，步骤S1可以得到语料的所有词汇，本步骤则以每一个词汇为基 准，查找与该词汇出现在同一个句子中的词汇，将与其共同出现的词汇构建一 个词汇集合，与概念主题词共同出现，则表示两个词汇具有关联，其中，该词 汇集合中包括两种词汇，一种是概念主题词，另一种是词汇元素。

步骤S3：对每个词汇集合进行词汇元素筛选，构建概念。

具体来说，为了提高概念的准确性，本步骤进一步对词汇元素进行筛选， 例如，通过判断词汇元素是否经常与概念主题词共同出现在一个文本中，来确 定是否保留该词汇元素，其中，是否经常出现可以根据设置的阈值来确定。

步骤S4：根据文本集合中的不同文本是否包含相同的概念，确定文本之间 的关系。

具体来说，在构建文本语料的概念后，则根据文本是否包含相同的概念来 确定文本之间的关系。需要确定某个文本是否包含某一概念，在具体实施过程 中，可以根据概念(概念主题词或者词汇元素)是否在文本中出现以及在文本 中出现的数量来决定。

在一种实施方式中，步骤S1包括：

对包含m篇独立文本的文本集合中包含的每篇文本进行分句、分词以及去 除停用词。

举例来说，对包含m篇独立文本的文本资料集合W＝{w

在一种实施方式中，步骤S3包括：

步骤S3.1：统计词汇集合中的每个词汇元素x

步骤S3.2：判断文本数量z是否大于或等于第一阈值，如果是，则将词汇 元素作为词汇集合的有效词汇，保留在词汇集合中，否则，将词汇元素从词汇 集合中去除。

具体来说，第一阈值可以根据实际情况设置，例如可以为3、5、6等等。 通过词汇元素筛选，可以将与概念主题词经常出现在同一文本中的词汇选出来， 将其作为有效词汇，从而提高概念的准确性。

在一种实施方式中，步骤S4包括：

步骤S4.1：根据概念中的概念主题词或者词汇元素在文本中的出现情况， 判断文本是否包含该概念；

步骤S4.2：对文本集合中每两篇文本包含的概念进行比较，如果两篇文本 包含相同的概念，则两篇文本具有关联。

具体来说，概念中的概念主题词或者词汇元素在文本中的出现情况包括是 否出现以及出现的数量等。

在一种实施方式中，步骤S4.1包括：

步骤S4.1.1：当一个概念X

步骤S4.1.2：当一个概念X

步骤S4.1.3：当一个概念X

具体来说，如果一个概念的词汇元素数量为0，则根据概念主题词是否出 现在文本中(步骤S4.1.1)来确定，其中，概念主题词是否出现在文本中，可 以根据概念主题词是否出现文本w

如果词汇元素数量大于0，则根据步骤S4.1.2和S4.1.2来进行判断，第二 阈值可以根据实际情况确定，例如为3、4、5等等。

其中，必要词汇的是对词汇集合中保留下来的有效词汇进行进一步处理， 下面说明必要词汇与有效词汇之间的关系，必要词汇一定是先作为有效词汇存 在的，但有效词汇不一定为必要词汇。必要词汇获取步骤可以是：

(1)统计概念主题词x

(2)计算词汇元素x

其中，词向量可以通过word embedding训练初始词向量的方式得到， 词向量的获取方式如下：

首先，对包含m篇独立文本的文本资料集合W＝{w

然后，通过word2vec方法进行word embedding，得到n个词汇的词向 量，词向量的维度为200维。

词汇元素x

两个词汇的距离D

(3)对于集合中的每一个词汇元素x

(4)如果词汇元素x

在一种实施方式中，步骤S4.1.3包括：

步骤S4.1.3.1：当一个概念X

步骤S4.1.3.2：当一个概念X

具体来说，第三阈值可以根据实际情况确定，例如为5、6、8等等，预设 比例可以根据实际情况确定，例如60％、65％、70％等等。

以第三阈值为5、预设比例为60％为例，如果一个概念中的必要词汇数量 大于等于5，则以必要词汇出现的比例来衡量文本是否包含某一概念。

如果一个概念中的必要词汇数量小于5，说明不足以用必要词汇出现的数 目来判断文本中是否含有这一概念。所以需要根据全部的词汇元素来计算，如 果一个概念中有60％以上的词汇元素出现在文本中，则判定文本中含有该概念。

为了更清楚地说明本发明的方法的具体实现过程，下面通过具体示例来进 行介绍：

实施例二

基于同样的发明构思，本实施例提供了一种文本关系的分析装置，请参见 图4，包括：

预处理模块201，对包含m篇独立文本的文本集合中包含的每篇文本进行 预处理，获得m篇独立文本构成的语料的所有句子和词汇，其中，m为正整数；

词汇集合构建模块202，用于分别以语料的每一个词汇为概念主题词，遍 历所有句子和词汇，将与概念主题词在同一个句子中共同出现的词汇，纳入概 念主题词对应的词汇集合，其中，词汇集合包括概念主题词和词汇元素；

概念构建模块203，用于对每个词汇集合进行词汇元素筛选，构建概念；

文本关系确定模块204，用于根据文本集合中的不同文本是否包含相同的 概念，确定文本之间的关系。

在一种实施方式中，预处理模块201具体用于：

对包含m篇独立文本的文本集合中包含的每篇文本进行分句、分词以及去 除停用词。

在一种实施方式中，概念构建模块203具体用于：

统计词汇集合中的每个词汇元素x

判断文本数量z是否大于或等于第一阈值，如果是，则将词汇元素作为词 汇集合的有效词汇，保留在词汇集合中，否则，将词汇元素从词汇集合中去除。

在一种实施方式中，文本关系确定模块204具体用于：

根据概念中的概念主题词或者词汇元素在文本中的出现情况，判断文本是 否包含该概念；

对文本集合中每两篇文本包含的概念进行比较，如果两篇文本包含相同的 概念，则两篇文本具有关联。

在一种实施方式中，文本关系确定模块204还用于：

当一个概念X

当一个概念X

当一个概念X

在一种实施方式中，文本关系确定模块204还用于：

当一个概念X

当一个概念X

由于本发明实施例二所介绍的装置，为实施本发明实施例一中文本关系的 分析方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属 人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施 例一的方法所采用的装置都属于本发明所欲保护的范围。

实施例三

基于同一发明构思，本申请还提供了一种文本关系网络的构建方法，基于 实施例一所述的文本关系分析方法实现，构建方法包括：

根据文本之间的关系，构建文本关系网络。

其中，根据文本之间的关系，构建文本关系网络，包括：

将文本作为节点、文本具有相同的概念作为边、两个文本具有相同概念的 数量为边的权重构建加权无环无向网络，作为文本关系网络。

具体来说，对于含有n篇独立文本的文本集合W＝{w

下面通过具体示例对本发明提供的方法所构建的文本关系网络的几个步骤 进行说明。

1、概念库的构建示例，所有的概念构成概念库。

概念主题词为“砧木”，该词汇在语料库的51篇文章中出现过。下表中的所 有词汇元素均是曾与“砧木”一词共现于同一句子中的词汇(节选)

距离可以通过计算词汇元素x

2、基于已有概念库，判断文本包含哪些概念

从已有文献《基于问题的相关研究》中概念的匹配情况(节选)获得

3、文本网络构建与绘制。

在文本网络中，节点表示文本，边表示文本之间的关系，边的权重表示了 文本之间关系的强弱。

其中，图2是一个包含了42篇文本的文本关系网络图示例，(节点数量： 42，边数量：47)。

对m篇文本绘制的文本间关系的网络如图3所示，其中边越密集，表示对 应的文本的关联越强，越稀疏表示关联越弱。

本发明提供的方法，通过文本共现规则构建以单个词汇(概念主题词)为 中心的词汇集合，并对每个词汇集合进行词汇元素筛选，构建概念，再根据文 本集合中的不同文本是否包含相同的概念，确定文本之间的关系，通过提供一 种新的构建概念的方法，计算文本中包含的概念，再利用概念来计算文本之间 的关系，可以更全面地分析不同文本之间的关系，提高了分析的准确性。

进一步地，基于对不同文本关系的分析，本发明还提供了一种文本关系网 络的构建方法，可以对不同文本之间的关系通过网络进行展示，有利于了解多 个文本间的内容层次结构，拓展了基于文本间关系的应用场景。

实施例四

请参见图5，基于同一发明构思，本申请还提供了一种计算机可读存储介 质300，其上存储有计算机程序311，该程序被执行时实现如实施例一中所述的 方法。

由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一 中文本关系的分析方法所采用的计算机设备，故而基于本发明实施例一所介绍 的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形， 故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机可读存储介质 都属于本发明所欲保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计 算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结 合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品 的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/ 或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或 方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式 处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机 或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流 程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基 本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要 求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱 离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属 于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和 变型在内。