基于远程监督的新闻情感实体抽取方法

技术领域

本发明属于计算机人工智能领域，具体为一种基于远程监督的新闻情感实体 抽取方法。

背景技术

面向新闻领域的命名实体识别由于独特的应用背景和文本表达方式，研究 者们对其开展了探索。冯蕴天等提出了人员、军衔、军职、军用机构、设施等实 体分类原则，基于战斗文书、执勤文书、军用文书等规范的文本构建语料库。其 使用少量的人工标注训练语料对CRF模型进行训练，训练的模型对未标注的测试 语料进行实体识别，模型在测试语料上得到F值为90.9％的识别效果。游飞等针 对武器命名实体进行识别，建立了基于DNN的武器实体识别模型，模型以固定维 度的词向量和词性向量作为输入，通过非线性变换学习得到上下文特征。模型在 来自环球网、中华网等7500篇新闻建立的语料上训练，F值达到91.02％。王学 峰等将命名实体划分为部队、地名、机构、武器、设施、时间、环境与数量8 种类别，提出一种基于字级别表征、结合BiLSTM和CRF的实体识别模型 (character-BiLSTM-CRF)，模型基于未公开的30余份联合作战演习想定文档与 指挥所演练想定文档构建的语料集进行训练，F值达到98％。此外，研究人员们 也探索了应用卷积神经网络生成字向量，并结合BiLSTM和CRF建立新闻领域命 名实体的方法。面向非公开的作战文书中的命名实体识别，基于嵌套分类原则将 命名实体分为位置、部队、人员、物品、数字5大类以及地名、编制等13个小 类，采用上述CNN-BiLSTM-CRF模型，在100篇未公开的作战文书构建的语料集上的实验得到了较高的召回率和F值。

基于规则、字典以及统计学习模型的传统情感实体识别方法依赖于规则设计 和特征工程，虽然取得了较高的召回率，但是规则的制定和特征的抽取需要丰富 的领域知识以及大量的人工成本，且很难针对所有问题制定统一的模板和规则。 近年来，在计算能力和文本分布式表示技术支持下，基于深度神经网络(deep neural network，DNN)的情感实体识别方法在通用领域以及法律、医学、生物化 学、金融等特定领域取得了突破性的进展。相比较于其他领域的情感实体识别研 究，新闻领域情感实体识别面临以下问题和挑战：

实体识别任务中往往存在实体边界难以界定的问题。例如在保险领域，可以 将“中国人寿保险”当作一个实体，也可以认为是“中国”和“人寿保险”2个 实体。然而领域的专业性使得实体间的界限更加难以确定，例如，“英国皇家海 军”可以认为是组织实体，同样也可以认为“英国”是地名实体，“皇家海军” 是组织实体；“俄军图-160战略轰炸机”可以认为是武器装备实体，同样也可以 认为“俄军”是组织实体，“图-160战略轰炸机”是武器装备实体。

实体识别任务中同样存在实体简化表达的现象。相较于其他领域，新闻领域 因领域的独特性、专业性，其情感实体简化表达后晦涩难懂，没有一定的规律性。

基于CRF等统计模型的命名实体识别技术依赖于领域专家完成大量的人工 特征选取工作；基于长短时记忆神经网络等模型的领域命名实体方法，需要在模 型训练的过程中依靠庞大的语料库构建词向量。

医学领域的电子病历、法律领域的判决书与起诉书都具有严格的格式和表达 规范，基于规则的识别方法就可以获得优秀的识别效果。以微博为代表的社交媒 体数据表达不规范，存在大量的口语表达，没有特定的规则，识别实体难度较大。

目前没有面向新闻领域的公开语料数据集和实体分类标准，阻碍了开源情报 的研究工作。

发明内容

本发明的目的在于提供了一种基于远程监督的新闻情感实体抽取方法。

实现本发明目的的技术方案为：一种基于远程监督的新闻情感实体抽取方法， 包括以下步骤：

步骤1：采用爬虫技术，爬取官方新闻网站新闻预料并缓存至本地仓库；

步骤2：对爬取的新闻语料进行预处理，获得切分成句的新闻预料；

步骤3：构建关键实体知识库，根据知识库对切分成句的新闻预料进行自动 标注；

步骤4：利用标注了的新闻预料对情感句抽取模型进行训练使其具备对输入 句子进行自动情感判断的能力；

步骤5：利用步骤4抽取出情感句，将情感句作为情感实体抽取模型的训练 集进行训练，使其具备抽取句中情感的持有者、表达对象、事件的能力；

步骤6:采用步骤1、步骤2的方法爬取新闻语料并切分成句，将切分成句的 新闻语料输入训练好的情感句抽取模型抽取情感句，并将抽取的情感句输入训练 好的情感实体抽取模型，获得情感实体。

优选地，爬取官方新闻网站相关新闻的具体方法为：

通过解析官方网站带关键字的搜索结果，获取与事件相关的新闻网址；

根据新闻网址解析新闻内容，获取新闻的标题、时间、具体内容并缓存至本 地仓库。

优选地，对爬取的新闻语料进行预处理包括：

将爬取的新闻语料从进行数据清洗，去除冗余以及与主题无关的脏数据；

以标点符号作为标志对本地仓库中的新闻语料进行句子划分。

优选地，构建的关键实体知识库为人物、组织、国家、事件实体知识库。

优选地，根据知识库对切分成句的新闻预料进行自动标注的原则为：当句子 中出现超过n个知识库实体时标注为带情感句，n为设定的自然数。

优选地，所述情感句抽取模型包括字向量表达层、SoftMax分类层，分别具 体为：

所述字向量表达层采用BERT预训练模型，用于对切分成句的新闻文本数据 中的每个字进行特征提取得到字特征；

所述SoftMax分类层用于预测输出类别上的概率分布并解码标签，通过预测 结果判断输入句子是否为情感句。

优选地，所述情感实体抽取模型包括字向量层、编码器、解码器，分别具体 为：

所述字向量层采用BERT预训练模型，用于获得情感句的子特征；

所述编码器采用双向的长短时记忆神经网络，用于提取输入文本的语义特征；

所述解码器采用条件随机场，用于将语义特征解码成对应的标签，根据预测 的标签值，获取对应的实体位置与实体类别

本发明与现有技术相比，其显著优点为：

本发明在有大量无标记样本的情况下，采用远程监督的方式为大量样本生成 带噪声的数据集供模型训练，大大减少的了人工标注的成本，提高了模型训练的 效率；

本发明面向新闻领域，针对特别新闻领域带来的难题和挑战，设计了基于 BERT字向量的情感句抽取技术，将实体抽取的目标集中在更有意义的范围中， 大大提高了实体抽取的效率；

本发明基于多模型融合的实体抽取网络，结合专家知识库，抽取情感句中的 情感持有者、情感表达对象、相关事件信息，为新闻领域的情感分析、舆情分析 奠定了前置任务的基础。

附图说明

图1本发明流程图。

图2情感句抽取模型训练测试流程。

图3情感实体抽取模型训练测试流程。

图4LSTM结构图。

图5CRF结构图。

具体实施方式：

一种基于远程监督的新闻情感实体抽取方法，如图1所示，包括以下步骤：

步骤1：采用爬虫技术，爬取官方新闻网站新闻预料并缓存至本地仓库；

采用爬虫技术，针对热点新闻事件，爬取环球网、网易新闻、新华日报等官 方新闻网站的相关新闻预料。具体方法为：通过解析官方网站带关键字的搜索结 果，获取与事件相关的新闻网址、根据新闻网址解析新闻内容，获取新闻的标题、 时间、具体内容等数据缓存至本地仓库。

步骤2：对爬取的新闻语料进行预处理，获得切分成句的新闻预料；

将爬取的新闻语料从本地仓库中读出进行数据清洗，去除冗余以及与主题无 关的脏数据。将新闻中无用重复的语句删除。将清洗后的数据结构化存储以便算 法模型的训练。

以标点符号“。”、“？”、“！”、“……”，“”作为标志对数据库中 的数据进行句子划分。

步骤3:构建关键实体知识库，根据知识库对切分成句的新闻预料进行自动 标注；

根据本地仓库中的数据，建立人物、组织、国家、事件等关键实体知识库。 根据关键实体知识库对切分成句的新闻进行自动的标注。标注原则为：当句子中 出现超过n个知识库实体时标注为带情感句。n为可调整的参数，通过这种远程 监督的方式，可以获取大量带噪声的训练数据。

步骤4：利用标注了的新闻预料对情感句抽取模型进行训练使其具备对输入 句子进行自动情感判断的能力；

如图2所示，将切分成句的新闻文本数据按照二八原则分为训练集和测试集， 利用训练集训练情感句抽取模型，使用测试集对训练好的模型进行准确率与性能 分析。

进一步的实施例中，所述情感句抽取模型包括字向量表达层、SoftMax分类 层。

具体地，所述字向量表达层采用BERT预训练模型，所述BERT预训练模型利 用Transformer编码器作为语言模型，采用“遮蔽语言模型”和下一句预测机制 用以克服当前大多数词向量生成模型单向性的问题。利用BERT预训练模型对切 分成句的新闻文本数据S

具体地，SoftMax分类层作为情感句分类的分类器，将网络的输出归一化为 预测输出类别上的概率分布，将输出的结果映射到(0，1)的值，表示为：

其中

通过情感句抽取模型从长文本的新闻中，抽取出带有情感倾向的句子。

步骤5：利用步骤4抽取出情感句，将情感句作为情感实体抽取模型的训练 集进行训练，使其具备抽取句中情感的持有者、表达对象、事件的能力；

情感实体抽取模型训练测试流程如图3所示，基于抽取出的情感句，抽取句 中情感的持有者、表达对象、情感句相关的事件。基于深度学习算法采用序列到 序列的模型识别情感句中的重要实体。

进一步的实施例中，所述情感实体抽取模型由三个部分组成：字向量层、编 码器、解码器；

具体地，所述字向量层同样采用BERT预训练模型。输入情感句抽取模型抽 取出的情感句，输出情感句的字向量表示。

具体地，所述编码器采用双向的长短时记忆神经网络(LSTM)，用于提取输 入文本的语义特征。LSTM也是一种循环神经网络(RNN)的特殊类型，可以学习 长久依赖信息，所有RNN都具有一种重复神经网络模块的链式形式。在标准的 RNN中，该重复模块只有一个非常简单的结构，例如一个Tanh层，而LSTM的“记 忆细胞”通过刻意设计避免了长期依赖问题。LSTM通过一种精心设计称为门的 结构控制细胞状态，直接在整个并向中删减或增加信息。采用Bi-LSTM能够通过 两个不同方向的特征提取器获取整个文本的全局特征信息从而提高enconder对 全文的特征提取能力。LSTM模型计算方式如下：

i

f

c

o

h

式中，i、f、c、o分别为输入门、遗忘门、细胞状态和输出门；W和b分别 为对应的权重系数矩阵和偏置项；σ和tanh分别为sigmoid函数和双曲正切激活 函数。

LSTM模型训练过程大致可以分为四个步骤：①按照上述五式(前向计算方 法)计算LSTM细胞的输出值；②反向计算每个LSTM细胞的误差项，包括按时间 和模型层级2个反向传播方向；③根据相应的误差项，计算每个权重的梯度；④ 应用基于梯度的优化算法更新权重。LSTM结构图如图4所示。

具体地，所述解码器采用条件随机场(CRF)。编码器将数据进行特征提取 与编码，解码器将特征解码成对应的标签，根据预测的标签值，获取对应的实体 位置与实体类别。CRF里的条件指的是在给定随机变量X的条件下，随机变量Y 的马尔科夫随机场。通常情况，只使用线性链条件随机场，将其用于标注问题， 条件概率为P(Y|X)。其中X是给定的观测序列，Y是需要标注的标注序列(状态 序列)。对于任意节点v成立，则称条件概率分布P(Y|X)为条件随机场，其一般 形式如下。

P(Y

通过解码器可以获取每个词的对应标签，根据标签类别判别实体的类型和位 置从而实现情感句中情感持有者、表达对象、事件的识别与抽取，经过测试该模 型可以达到65％的准确率。CRF结构图如图5所示。

步骤6:采用步骤1、步骤2的方法爬取新闻语料并切分成句，将切分成句的 新闻语料输入训练好的情感句抽取模型抽取情感句，并将抽取的情感句输入训练 好的情感实体抽取模型，获得情感实体。

经过上述的步骤1至步骤5，训练了情感句抽取模型与情感实体抽取模型， 在实际应用中，通过步骤1的方式爬取新的新闻语料，通过步骤2对语料进行预 处理，将处理好的长文本切分成句输入情感句抽取模型，模型判断输入句子是否 为情感句。将情感句抽取模型判断为是情感句的句子存储成情感句库。读取情感 句库中的情感句作为情感实体抽取模型的输入，经过情感句抽取模型，可以获取 输入情感句中各类别情感实体的位置。根据位置可以抽取出情感句中包含的情感 持有者，情感表达对象，相关事件。

本发明基于远程监督学习训练深度学习模型抽取新闻中的情感实体，包括情 感持有者、情感表达对象、事件；针对新闻领域实体抽取的挑战，设计了基于 BERT字向量的深度学习模型，同时结合专家知识库，自动标注的方式极大程度 的缓解了人工标注的成本，具有重大意义。