一种自动检测学术不端文献的方法及系统

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述：

实施例1

本实施例提供了一种自动检测学术不端文献的方法如图2所示，该方法包括：

步骤101将待检测文献的层级内容及文献内表格数据创建特征。

步骤102对所存有的文献层级内容及文献内的表格数据创建特征；

上述待检测文献与所存有的文献是指任意文献，对其文献进行分层处理，按照篇章、段落、句子等层级分别创建唯一特征。

步骤103将待检测文献的层级内容特征和待检测文献内的表格数据特征与所存有文献的层级内容特征及所存有文献内的表格特征进行匹配；

首先是进行篇章级别的特征匹配，如果整个篇章级别匹配成功，则不再对其段落级别进行匹配，如果整个篇章级别匹配不成功的话，则继续对其段落级别进行匹配。如果整个段落级别匹配成功，则不再对其句子级别进行匹配；如果整个段落匹配不成功的话，则继续对其句子级别进行匹配，总之，各层如果匹配成功，则不再进行该特征下更小粒度层的匹配。其对待测文献特征与所存有文献特征库的匹配方法如图3所示，待测文献多层特征库中的特征所存有全部文献特征库集成倒排索引中的特征ID进行相匹配，如果匹配成功则判断出所述文献的ID、特征匹配的数量及特征原始文本的长度。

步骤104判定学术不端文献及类型；

不端文献的类型为抄袭与剽窃、或者篡改、或者一稿多投等学术不端文献类型。

如图4所示，为全文特征、章节特征、段落特征及句子特征的生成方法结构图，其中全文特征提取方法、章节特征提取方法是利用关键词词典对全文分词(对表征文献主题内容具有实质意义的词)，只保留关键词词典中的词，全部词排序并统计词频，照词频比例排序，得到词序列表，依据该列表生成全文级别的一个特征，或按照词拼写排序得到一个词序列表，依据该列表生成全文级别的一个特征。段落特征生成方法，利用单元词词典对段落分词，(从文献内容中抽出的最基本的、字面上不能再分的词。如“经济、美国、鲁迅”等无定语的词都是单元词，单元词不包括虚词、介词、连词、助词等无实质表征的词汇)只保留单元词词典中的词，并统计频率，按照词频比例排序，依据该列表生成段落级别的一个特征。句子特征生成方法，利用单元词词典对句子分词，(从文献内容中抽出的最基本的、字面上不能再分的代表实质意义的词。如“经济、美国、鲁迅”等无定语的词都是单元词。单元词不包括虚词、介词、连词、助词等无实质表征的词汇)只保留单元词词典中的词，利用同义词词典更新该列表中词，例如“电脑”一词全部替换为“计算机”“ontology”全部替换为“本体”，针对替换之后的列表按照词形排序。依据排序好的列表生成句子级别的一个特征。

如图5所示，文献内表格数据生成方法结构图，首先是根据文献表格内容提取表格的属性信息，特征库根据表格内容中的标题信息、行数据信息、列数据信息、多行组合信息及多列组合信息来提取表格特征的特征。在提取时，其全部表格内容作为文字处理，数字如果有小数点则循环乘10至转化为整数为止。根据表格列数、行数及列数的多少分别组合多行、多列表格，参见表1和表2。

             表1

           表2

上述检测学术不端的方法适用于任何语言文献，在检测其它语言特征库时，其特征库的生成方法过程与所用词词典内容有所区别。

实施例2

如图6所示，为检测学术不端文献系统结构图，包括待检测文献特征区、待测文献比对资源区、分层特征匹配区及不端学术文献及类型判定区，其中待测文献特征区，对接收到的待检测文献的层级内容及文献内表格数据创建特征；待测文献比对资源区，用于对所存有的文献层级内容及文献内的表格数据创建特征；要检测的文献来源可以是用户自由指定，实时生成文献多层内容特征加入到文献特征库中；待测文献比对资源区的文献可以是中国学术文献网络出版总库中的文献，也可以来源用户自由指定的文献。分层特征匹配区，用于接收待检测文献特征区创建的文献的层级内容特征及文献内的表格数据特征，并将所述待检测文献的层级内容特征和文献内的表格数据特征与待测文献比对资源区所存有的文献的层级内容特征及文献内的表格特征进行匹配；不端学术文献及类型判定区，用于判断待检测文献中是否含有学术不端内容、不端表格数据及不端学术内容的类型。

所述待检测文献层级内容与所存有文献层级内容创建的特征为唯一特征，其文献层级是按照文献篇幅、段落、句子进行划分，这种分层多阶特征结构，不仅可以满足对超长文献的快速检测，而且也满足了对文献的最小特征粒度的短句。上述文献内表格特征的生成方法是在特征库中通过提取表格的属性信息，即文献的标题信息、行数据信息、列数据信息、多行组合信息及多列组合信息进行提取表格特征。

上述不端学术文献及类型判定区的判断是根据待检测文献与所存有文献中的相似阈值、文献时间属性及文献作者属性，其不端内容的类型包括抄袭与剽窃、篡改及一稿多投。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。