基于主题聚类的无监督作文跑题检测方法及系统

技术领域

本发明涉及文字处理技术领域，尤其是基于主题聚类的无监督作文跑题检测方法及系统。

背景技术

无监督学习是指根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，由于在现实生活中常常因为缺乏足够的先验知识，而以人工标注类别或进行人工类别标注的成本太高，因此提出了无监督学习技术来通过计算机完成这些工作。

现有的无监督作文跑题检测研究将每篇待测作文看成一个样本，通过计算每篇待测作文与题目的主题相关度分值，并找出合适的切分阈值最终识别离题作文和切题作文。由于跑题作文的主题可能多种多样，因此跑题作文的主题发散度通常很大。而切题作文之间虽然因为语法错误或语句衔接等差异使得作文之间的分数有所不同，但他们与作文题目的主题一致性通常较高。因此，如果等同看待和处理每一篇作文，将会忽略切题作文之间主题更为一致而跑题作文之间主题更为发散这一事实。

另外，现有的无监督作文跑题检测方法通过计算每一篇待测作文与作文题目的主题一致性，然后根据一定的阈值检测该待测作文是否为跑题作文，这种方法为了尽可能的让切题作文划分出来，可能会将边界周围的离题作文也划分到切题作文上，不够准确。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种准确度高的基于主题聚类的无监督作文跑题检测方法及系统。

本发明一方面所采取的技术方案为：

基于主题聚类的无监督作文跑题检测方法，包括以下步骤：

对待测作文进行关键词提取，生成第一关键词集合；

对作文题目进行关键词提取，生成第二关键词集合；

根据第一关键词集合和第二关键词集合，计算待测作文与作文题目之间的主题相关度；

根据计算得到的主题相关度，对待测作文进行聚类处理，生成多个聚类簇；

根据生成的多个聚类簇生成切分阈值；

根据切分阈值将多个聚类簇切分为切题簇和跑题簇；

根据切题簇和跑题簇确认切题作文和跑题作文。

进一步，所述对待测作文进行关键词提取，生成第一关键词集合这一步骤，其具体为：通过TextRank关键词提取算法对待测作文进行关键词提取，生成第一关键词集合。

进一步，所述对作文题目进行关键词提取，生成第二关键词集合这一步骤，包括以下步骤：

通过TextRank关键词提取算法对作文题目进行关键词提取；

采用基于词向量模型的余弦相似度计算方法，对提取到的关键词进行扩充，生成第二关键词集合。

进一步，所述根据第一关键词集合和第二关键词集合，计算待测作文与作文题目之间的主题相关度这一步骤，包括以下步骤：

逐一选取第一关键词集合中的作文关键词；

分别计算选取的作文关键词与第二关键词集合中每一题目关键词之间的语义相似度，并将计算得到的最高语义相似度作为该作文关键词与作文题目之间的主题相似度；

计算第一关键词集合中所有作文关键词的主题相似度的平均值，并将所述平均值作为待测作文与作文题目之间的主题相关度。

进一步，所述根据计算得到的主题相关度，对待测作文进行聚类处理，生成多个聚类簇这一步骤，包括以下步骤：

计算任意两个待测作文之间的主题相关度，得到主题相关度集合；

计算所述主题相关度集合中所有主题相关度的截断均值，并将所述截断均值作为第一阈值；

选取任一待测作文作为初始作文，并根据所述初始作文对聚类簇进行初始化，生成初始聚类簇；

选取初始作文之外的待测作文作为当前作文，计算当前作文与初始聚类簇之间的主题相关度，并判断该主题相关度是否大于或等于第一阈值，若是，则将当前作文加入初始聚类簇，并更新初始聚类簇的质心；反之，则根据当前作文生成新的聚类簇；

判断所有待测作文是否均完成聚类处理，若是，则输出所有聚类簇；反之，则返回执行选取初始作文之外的待测作文作为当前作文，计算当前作文与初始聚类簇之间的主题相关度，并判断该主题相关度是否大于或等于第一阈值这一步骤，直至所有待测作文均完成聚类处理。

进一步，所述根据生成的多个聚类簇生成切分阈值这一步骤，包括以下步骤：

计算聚类簇的质心与作文题目之间的主题相关度；

根据质心与作文题目之间的主题相关度，计算质心的分布密度；

对质心的分布密度进行排序；

根据质心的分布密度的排序结果，计算聚类簇的权重；

根据聚类簇的权重，计算质心的加权密度；

选取加权密度最大的两个质心，分别将所述两个质心与作文题目之间的主题相关度作为切题簇的平均切题度和跑题簇的平均切题度；

计算切题簇的平均切题度与跑题簇的平均切题度的平均值，并将所述平均值作为切分阈值。

进一步，还包括以下步骤：

获取同一聚类簇中的所有待测作文的作文关键词；

根据作文关键词的出现词频，对作文关键词进行排序；

根据排序结果，选取预定个数的作文关键词作为所述聚类簇的质心；

根据质心计算待测作文与聚类簇之间的主题相关度。

本发明另一方面所采取的技术方案是：

基于主题聚类的无监督作文跑题检测系统，包括：

第一生成模块，用于对待测作文进行关键词提取，生成第一关键词集合；

第二生成模块，用于对作文题目进行关键词提取，生成第二关键词集合；

计算模块，用于根据第一关键词集合和第二关键词集合，计算待测作文与作文题目之间的主题相关度；

聚类模块，用于根据计算得到的主题相关度，对待测作文进行聚类处理，生成多个聚类簇；

第三生成模块，用于根据生成的多个聚类簇生成切分阈值；

切分模块，用于根据切分阈值将多个聚类簇切分为切题簇和跑题簇；

确认模块，用于根据切题簇和跑题簇确认切题作文和跑题作文。

本发明另一方面所采取的技术方案是：

基于主题聚类的无监督作文跑题检测系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的基于主题聚类的无监督作文跑题检测方法。

本发明的有益效果是：本发明基于关键词提取技术和主题相关度的计算方法，对待测作文进行聚类处理，并根据聚类处理的结果最终确认切题作文和跑题作文，相较于现有技术单独处理每一篇作文的方法，本发明大大提高了作文跑题检测的准确性。

附图说明

图1为本发明实施例的步骤流程图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明实施例提供了一种基于主题聚类的无监督作文跑题检测方法，包括以下步骤：

对待测作文进行关键词提取，生成第一关键词集合；

对作文题目进行关键词提取，生成第二关键词集合；

根据第一关键词集合和第二关键词集合，计算待测作文与作文题目之间的主题相关度；

根据计算得到的主题相关度，对待测作文进行聚类处理，生成多个聚类簇；

根据生成的多个聚类簇生成切分阈值；

根据切分阈值将多个聚类簇切分为切题簇和跑题簇；

根据切题簇和跑题簇确认切题作文和跑题作文。

进一步作为优选的实施方式，所述对待测作文进行关键词提取，生成第一关键词集合这一步骤，其具体为：通过TextRank关键词提取算法对待测作文进行关键词提取，生成第一关键词集合。

进一步作为优选的实施方式，所述对作文题目进行关键词提取，生成第二关键词集合这一步骤，包括以下步骤：

通过TextRank关键词提取算法对作文题目进行关键词提取；

采用基于词向量模型的余弦相似度计算方法，对提取到的关键词进行扩充，生成第二关键词集合。

进一步作为优选的实施方式，所述根据第一关键词集合和第二关键词集合，计算待测作文与作文题目之间的主题相关度这一步骤，包括以下步骤：

逐一选取第一关键词集合中的作文关键词；

分别计算选取的作文关键词与第二关键词集合中每一题目关键词之间的语义相似度，并将计算得到的最高语义相似度作为该作文关键词与作文题目之间的主题相似度；

计算第一关键词集合中所有作文关键词的主题相似度的平均值，并将所述平均值作为待测作文与作文题目之间的主题相关度。

进一步作为优选的实施方式，所述根据计算得到的主题相关度，对待测作文进行聚类处理，生成多个聚类簇这一步骤，包括以下步骤：

计算任意两个待测作文之间的主题相关度，得到主题相关度集合；

计算所述主题相关度集合中所有主题相关度的截断均值，并将所述截断均值作为第一阈值；

选取任一待测作文作为初始作文，并根据所述初始作文对聚类簇进行初始化，生成初始聚类簇；

选取初始作文之外的待测作文作为当前作文，计算当前作文与初始聚类簇之间的主题相关度，并判断该主题相关度是否大于或等于第一阈值，若是，则将当前作文加入初始聚类簇，并更新初始聚类簇的质心；反之，则根据当前作文生成新的聚类簇；

判断所有待测作文是否均完成聚类处理，若是，则输出所有聚类簇；反之，则返回执行选取初始作文之外的待测作文作为当前作文，计算当前作文与初始聚类簇之间的主题相关度，并判断该主题相关度是否大于或等于第一阈值这一步骤，直至所有待测作文均完成聚类处理。

进一步作为优选的实施方式，所述根据生成的多个聚类簇生成切分阈值这一步骤，包括以下步骤：

计算聚类簇的质心与作文题目之间的主题相关度；

根据质心与作文题目之间的主题相关度，计算质心的分布密度；

对质心的分布密度进行排序；

根据质心的分布密度的排序结果，计算聚类簇的权重；

根据聚类簇的权重，计算质心的加权密度；

选取加权密度最大的两个质心，分别将所述两个质心与作文题目之间的主题相关度作为切题簇的平均切题度和跑题簇的平均切题度；

计算切题簇的平均切题度与跑题簇的平均切题度的平均值，并将所述平均值作为切分阈值。

进一步作为优选的实施方式，还包括以下步骤：

获取同一聚类簇中的所有待测作文的作文关键词；

根据作文关键词的出现词频，对作文关键词进行排序；

根据排序结果，选取预定个数的作文关键词作为所述聚类簇的质心；

根据质心计算待测作文与聚类簇之间的主题相关度。

与图1的方法相对应，本发明实施例还提供了一种基于主题聚类的无监督作文跑题检测系统，包括：

第一生成模块，用于对待测作文进行关键词提取，生成第一关键词集合；

第二生成模块，用于对作文题目进行关键词提取，生成第二关键词集合；

计算模块，用于根据第一关键词集合和第二关键词集合，计算待测作文与作文题目之间的主题相关度；

聚类模块，用于根据计算得到的主题相关度，对待测作文进行聚类处理，生成多个聚类簇；

第三生成模块，用于根据生成的多个聚类簇生成切分阈值；

切分模块，用于根据切分阈值将多个聚类簇切分为切题簇和跑题簇；

确认模块，用于根据切题簇和跑题簇确认切题作文和跑题作文。

与图1的方法相对应，本发明实施例还提供了一种基于主题聚类的无监督作文跑题检测系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的基于主题聚类的无监督作文跑题检测方法。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

下面详细描述本发明基于主题聚类的无监督作文跑题检测方法的具体实施步骤：

S1、对待测作文进行关键词提取，生成第一关键词集合；

传统作文跑题检测任务中，将作文文本表示为一个空间向量模型，并使用词语的TF*IDF值作为词的特征权重，若取作文的全部单词作为向量特征，在计算作文和题目之间的主题相关度时，会因为作文中的无关词所带来的噪音导致计算得到的作文与主题之间的主题相关度不够准确。为此，本实施例将每篇作文表示为该篇作文的关键词列表，去除那些与主题无关的词语。

具体地，本发明使用TextRank关键词提取算法对待测作文进行关键词提取，使用所抽取的关键词来表示作文的主题内容。

TextRank算法是一种用于文本的排序算法，其思想是认为文本中词汇的重要度取决于其邻接词的数量以及这些邻接词汇的重要度。对给定的一篇文本，通过给定的上下文窗口大小绘制出以单词为节点、是否邻接为边的词汇链接图和初始链接矩阵H，并构建H的平稳矩阵I并迭代至收敛，最后根据平稳矩阵I计算出文本中各词汇的重要程度，通常选取前n个词汇作为文本的关键词。本实施例将窗口大小设置为2，每篇作文选取分值最高的30个关键词来表示作文的主题内容，当所设定的阈值使得抽取的参数不足30个时则取出全部关键词。表1展示了使用TextRank用于作文内容词抽取的过程。

表1

如表1所示，本实施例从Prompt#6和Prompt#1中任意选取1篇作文分别使用TextRank抽取得到的作文关键词列表。从表1可以看出，所抽取的关键词较好的表达了作文的内容信息，去除了不相关或不重要的噪音信息，因此使得作文的主题相关度计算以及簇质心的主题相关度计算分值更为精准。

S2、对作文题目进行关键词提取，生成第二关键词集合；

作文跑题检测任务的核心是判断一篇作文是否在与题目给定的主题信息一致，因此需要计算作文与题目之间的主题相关度。本实施例采用如步骤S1所述的TextRank关键词提取算法将所抽取的关键词集合来表示作文的主题信息。对于作文而言，作文词数一般在150～500之间，足够抽取相应的关键词；但是，对于作文的题目来说，由于所描述的题目文字信息有限，于是，本实施例对作文的关键词使用基于词向量模型的余弦相似度值最高的近义词进行了扩充，在本实施例中，题目中每个单词使用了10个扩展词对其进行扩充

S3、根据第一关键词集合和第二关键词集合，计算待测作文与作文题目之间的主题相关度；

具体地，任意一篇作文和题目之间的主题相关度被定义为作文中所包含的关键词与题目中的原始及扩展词集合的相似度。对于任意一篇作文的第一关键词集合e_i＝{w_i1,w_i2,…,w_im}和扩展后的题目的第二关键词集合title＝{w_t1,w_t2,…,w_tn},其中w_i1,w_i2,…,w_im表示待测作文e_i的m个关键词、w_t1,w_t2,…,w_tn表示作文题目title扩展后的n个关键词。

具体的计算方法是：对于e_i中的关键词w_i1，首先分别计算关键词w_i1与题目中每个关键词的语义相似度，然后取最大相似度值作为单词w_i1与题目之间的主题相似度；采用同样的方法计算第2个单词w_i2与题目之间的主题相似度；

最后取e_i中所有单词与题目之间的主题相似度的均值作为作文e_i和题目之间的主题相关度值sim(e_i,title)，所述主题相关度sim(e_i,title)的计算公式为：

另外，本实施例还能计算任意两个待测作文之间的主题相关度，仅需将上述相关度sim(e_i,title)中的title换成另外一篇作文e_j＝{w_j1,w_j2,…,w_jn}，即，两个待测作文e_i,e_j之间的主题相关度sim(e_i,e_j)的计算公式为：

S4、根据计算得到的主题相关度，对待测作文进行聚类处理，生成多个聚类簇；

本实施例将作文依据其主题相关程度聚类成不同的聚类簇，具体地，对某个簇Ci＝{e₁,e₂,…,e_n1}，其表示为作文e₁,e₂,…,e_n1被聚类到同一个簇Ci中，这表明作文e₁,e₂,…,e_n1的内容主题更为接近。在簇质心的表示上，本实施例并没有使用传统聚类算法中基于向量均值的方法，这是因为聚类簇中的每篇作文是由关键词来表示的，将聚类簇中所有作文的关键词全部打开就组合成了该聚类簇的关键词列表。由于同一个簇中的不同作文可能包含相同的关键词，这些关键词被认为是权重最高的关键词，在剩下的关键词中依据关键词的词频进行排序，最后抽取簇中前有限个关键词作为该簇的质心，优选地，本实施例抽取了前50个关键词作为簇的质心。表示方法上，定义簇Ci的质心为：

Ci_center＝{w_ci1,w_ci2,…,w_ci50}。

另外，在本实施例中，待测作文e_i＝{w_i1,w_i2,…,w_im}和聚类簇Ci＝{e₁,e₂,…,e_n1}之间的主题相关度被定义为作文e_i和聚类簇Ci质心Ci_center＝{w_ci1,w_ci2,…,w_ci50}之间的主题相关度，其计算公式为：

在实际应用中，由于跑题作文往往与切题作文的主题差异较大，而不同的跑题作文之间的主题发散性也很大，单独对作文进行分析处理，无法很好的避免主题发散度高的问题。为此，本发明提出了基于聚类的思想，将每篇作文表示为作文的关键词，聚类时依据作文之间的主题相关度对那些主题相近的作文进行聚类，而那些主题不相关的作文自动聚类到其他单独簇中。将每个聚类簇中的作文关键词展开汇集，则每个聚类簇可以看成是“一篇更大一些的主题作文”，这样的聚类结果使得那些原始发散度高的作文转为了更为集中的主题聚类簇，进而提升跑题检测的最终结果。详细聚类算法实现过程如下：

(1)随机抽取2篇待测作文e_i和e_j，并计算这两篇作文的主题相关度，其中，所述两篇作文之间的主题相关度的计算公式为：

(2)循环执行步骤(1)一定次数后，取所有结果的截断均值作为聚类算法的阈值r；

(3)从所有待测作文集合中读入第1篇作文e₁，并以该作文初始化簇C₁，即：C₁＝{e₁}；

(4)循环执行以下步骤：

1)、选取初始作文之外的待测作文作为当前作文，计算当前作文与初始聚类簇之间的主题相关度，并判断该主题相关度是否大于或等于第一阈值，若是，则将当前作文加入初始聚类簇，并更新初始聚类簇的质心；反之，则根据当前作文生成新的聚类簇；

2)、判断所有待测作文是否均完成聚类处理，若是，则输出所有聚类簇；反之，则返回执行步骤1)，直至所有待测作文均完成聚类处理。

上述循环执行的步骤1)和2)用伪代码表示如下：

Fori＝2to N1:

读入作文e_i，计算作文e_i与已有聚类簇的主题相关度，假定最大主题相关度为r_max，

对应的簇为C_max；

Ifr_max≥r:

将作文e_i归类为簇C_max，并更新簇C_max的质心；

Else:

以该作文e_i生成一个新的聚类簇；

(5)最后输出聚类得到簇列表C＝{C₁,C₂,C₃,...,C_N2}。

综上，本发明的聚类算法通过输入待测作文集合E＝{e₁,e₂,...,e_N1},其中，e_i为第i篇作文，N1为待测作文的总数；最终输出聚类得到的簇列表C＝{C₁,C₂,C₃,...,C_N2}。

S5、根据生成的多个聚类簇生成切分阈值；根据切分阈值将多个聚类簇切分为切题簇和跑题簇；根据切题簇和跑题簇确认切题作文和跑题作文。

具体地，在跑题检测任务中，理论上切题簇与题目之间的内容相关度会大于跑题簇与题目之间的内容相关度，本发明将该相关度定义为作文的切题度。若能找出切题簇和跑题簇的边界阈值，则可以划分各个簇为切题簇或跑题簇。基于这个想法，本发明提出在切题度这一维度上将作文簇的各个质心划分成跑题质心集合和切题质心集合，进而将每个质心对应的簇划分为切题簇和跑题簇，将那些落在跑题簇中的作文判定为跑题作文。

本实施例的基本思路是定义簇质心的分布密度，并找出那些密度排序靠前的2个簇，然后将切分阈值r设定为这两个簇的均值位置。当定义好切分阈值r后，剩余的簇的类别定义规则为：若聚类后的簇质心切题度大于r，则该簇被划分为切题簇，簇中作文被划分为切题作文；否则，该簇被划分为跑题簇，簇中作文为跑题作文。详细的切分算法实现过程如下：

(1)计算各个簇的质心与题目之间的切题度，即sim(c_i,title),其中title为题目扩展后的题目的关键词集合；待测作文的聚类簇的质心集合为C＝{c₁,c₂,c₃,...,c_k},c_i代表第i个簇的质心，k代表聚类个数；

(2)计算各个簇Ci的密度δ_i如下：

其中，sim(c_i)表示簇C_i质心与题目的主题相关度分值；

(3)依据各个簇的密度值进行排序；

(4)计算各个簇Ci的权重w_i如下：

w_i＝|sim(c_i)-sim(c_j)|

其中，若簇Ci的密度最大，则c_j为排序后密度最小的簇的质心；否则，c_j为密度大于Ci并且密度最接近的簇Cj的质心。

(5)计算各个质心的加权密度γ_i＝ω_i×δ_i；

(6)选择加权密度最大的两个质心的切题度sim(c_x)和sim(c_y)分别代表切题簇和跑题簇的平均切题度；

(7)计算两个切题度的均值(sim(c_x)+sim(c_y))/2；并将计算得到的均值作为切分阈值r。

下面通过具体实验来分析本发明基于主题聚类的无监督作文跑题检测方法及系统的优点。

实验过程如下：

本实施例分别选取了以英语为母语的学习者和以英语为二语的中国英语学习者所写的两个不同类型作文语料库下的9个主题作文进行测试，文中将这9个作文题目分别标号Prompt#1～Prompt#9，其中Prompt#1～Prompt#4来自kaggle的作文评分比赛数据集，Prompt#5～Prompt#8来自中国英语学习者语料库CLEC作文数据集，CLEC(Chinese LearnerEnglish Corpus)语料库包含了大学英语四级和大学英语六级考试作文，Prompt#9来自2005年广东省高考英语作文考试作文数据，该作文数据集的主题为看图写作题，题目为描述“守株待兔”的故事或寓意，由于原始作文的题目为中文题目，为此本实施例对该作文题目分别设定了详细和简略两个版本的英文题目描述，其中简略题目为“The story andmoral of idioms"sit back and wait"”，详细解释守株待兔成语的题目为“Farmer waitevery day under the tree,in the hope that a hare would kill itself bycrashing into a trunk.wait for gains without pains”，并分别定义为Prompt#9-A和Prompt#9-B。以上所有9个主题作文中的离题作文均来自该主题以外三个主题作文中随机抽取过来的作文以及当前主题作文中低分作文人工识别出来的离题作文。该9个数据集的详细数据分布情况如表2所示。

表2

本实施例采用信息检索中常用的检测正确率(P)、检测召回率(R)和F1度量值作为评测指标。同时本实施例也采用了FP(False Positive)和FN(False Negative)两个指标作为辅助评价指标，相应的5个指标公式描述如下：

本实施例采用了两个基准比较算法，即传统基于作文内容向量表示的方法(以tf*idf方法来命名)，另一个是现有的基于局部密度选择的跑题检测方法。本实施例中使用的词向量是在维基百科数据上训练得到的词向量模型，词向量维度为50维；使用TextRank抽取作文的关键词时抽取的数量为30，窗口设置为2；聚类算法中对所有主题作文均为随机计算10,000次任意两个作文之间相关度的截断均值作为最终的聚类相似度阈值，截断均值使用了10％。

首先，本实施例分别使用2个baseline方法以及本发明方法在9个作文数据集上进行跑题检测，实验结果如表3所示。

表3

表3的实验结果表明，相比于传统的基于tf*idf权重向量的文本表示模式和基于局部密度的方法，本发明提出的基于主题聚类的无监督作文跑题检测方法在不同数据集上均取得相近似或更好的跑题检测结果。例如在Prompt#1作文数据上，本发明基于聚类的方法取得了73.10％的F1度量值，分别比传统方法提升了16.66个百分点和8.19个百分点。例如在Prompt#7作文数据上，本发明提出的基于聚类的方法取得了88.89％的F1度量值，相比传统方法分别提升了19.33个百分点和16.17个百分点。

总体而言，在9个作文数据集上本发明所提出的基于聚类的无监督跑题检测方法相比传统方法和基于局部密度的方法均有较好的提升。实验中，Prompt#9-A题目的结果显著好于Prompt#9-B题目的结果，说明对于看图作文，如何取作文题目对于跑题检测结果具有一定的影响。例如，Prompt#9-A的题目更为详细，提供了更加丰富的语义信息，因此使得本发明算法在跑题检测上提升较为显著，在Prompt#9-A上，本发明方法分别比前两个基准方法提升了41.02和42.6个百分点。而Prompt#9-B的题目相对简短，提供的语义信息相对较少，因此尽管本发明方法相比两个基准方法提升显著，但总体检测的F度量值不是太高。

实验结果还表明，使用聚类方法后，可以更好的将离题作文划分开来，因而总体上可以取得更好的检测效果。在一共9个数据集上的平均F1值上，本发明方法为73.74％，相比两个基准方法的61.79％和66.87％，本发明方法分别提升了11.95和6.87个百分点。

另外，本实施例也同时对两个指标FN(False Negative)和FP(False Positive)值进行了实验对比，并且分别和两个基准算法进行了比较分析，结果如表4所示。

表4

从表4可以看出，在所有9个作文数据集上，本发明方法相比针对作文单独计算主题相关度分值来识别离题作文的方法均有一定的提升，例如使用拼写纠错前，在9个作文数据集上，本发明方法相比两个基准方法的F1值分别提升了11.95和6.87个百分点。

同时为了便于更好的发现母语学习者作文和以英语为第二语言的中国英语学习者作文在跑题检测结果上的差异，本实施例将两部分作文数据集进行了分开统计，结果如表5所示。

表5

从表5可以看出，本发明提出的基于聚类的跑题检测方法相比传统的tf*idf方法在平均F1值和平均FN值以及平均FP值上均有较大的提升，而相比于基于局部密度的方法，本发明方法在以汉语为母语的学习者的作文数据上表现更为明显，平均F1值高出14.44和6.15个百分点。

综上所述，本发明提出了一种基于主题聚类的无监督作文跑题检测方法及系统，与单独处理每篇作文的方法不同，本发明将作文聚类成簇，并将作文和簇质心使用内容关键词来表示，从而方便计算簇与簇、簇与题目之间的主题一致性。由于主题相关的作文被聚类为一个簇，而簇作为一个整体其与题目的主题相关度分值将提升，从而更好的划分出离题簇和切题簇，最后将那些离题簇中的作文识别为离题作文，切题簇中的作文识别为切题作文。本发明在9个主题作文数据集上进行了实验，并与传统基于单篇作文检测的方法进行了对比，结果表明，本发明方法相比基准方法具有较好的提升，尤其在经过拼写纠错后的母语为汉语的作文数据集上检测结果提升明显。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。