试题新颖度评估方法、装置、电子设备和存储介质

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种试题新颖度评估方法、装置、电子设备和存储介质。

背景技术

随着人工智能技术的发展和成熟，涉及到自然语言理解的个性化的试题推荐得到了广泛的应用。而推荐试题的资源质量、新颖度在个性化的试题推荐中起着至关重要的作用。

目前，试题的新颖度主要基于试题的年份标签评估的，年份越新则新颖度越高，年份越早则新颖度越低。一则年份标签本身不一定准确，二则光凭年份标签进行新颖度评估过于片面，准确性差。而如果新颖度评估不准确，则后直接导致在试题推荐环节将旧题、考察方式过期的试题或者重复题推荐给学生，影响个性化学习效果。

发明内容

本发明提供一种试题新颖度评估方法、装置、电子设备和存储介质，用以解决现有技术中试题新颖度评估准确性差的缺陷。

本发明提供一种试题新颖度评估方法，包括：

确定待评估试题；

基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；

和/或，基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；

基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度。

根据本发明提供一种的试题新颖度评估方法，所述基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度，包括：

基于所述待评估试题的考察属性与所述目标考察方式的考察属性之间的匹配度，和/或所述待评估试题的试题文本与所述目标考察方式下的样本试题文本，确定所述考察方式新颖度；

所述考察属性包括考核知识点和/试题形式。

根据本发明提供一种的试题新颖度评估方法，所述基于所述待评估试题的考察属性与所述目标考察方式的考察属性之间的匹配度，和/或所述待评估试题的试题文本与所述目标考察方式下的样本试题文本，确定所述考察方式新颖度，包括：

若存在所述待评估试题的考察属性，则基于所述评估试题的考察属性，以及包含所述目标考察方式的考察属性的知识图谱，确定所述考察方式新颖度；

否则，将所述待评估试题的试题文本输入考察方式分类模型，得到所述考察方式分类模型输出的考察方式新颖度；所述考察方式分类模型是基于样本试题文本及其样本考察方式新颖度训练得到的。

根据本发明提供一种的试题新颖度评估方法，所述将所述待评估试题的试题文本输入考察方式分类模型，得到所述考察方式分类模型输出的考察方式新颖度，包括：

将所述试题文本中的题面文本、答案文本和解析文本输入至所述考察方式分类模型的文本编码层，得到所述文本编码层输出的题目答案特征和题面解析特征；

将所述题目答案特征和题面解析特征输入至所述考察方式分类模型的注意力交互层，得到所述注意力交互层输出的试题交互特征；

将所述试题交互特征输入至所述考察方式分类模型的分类层，得到所述分类层输出的考察方式新颖度。

根据本发明提供一种的试题新颖度评估方法，所述待评估试题的内容热度是基于如下步骤确定的：

基于所述待评估试题的试题文本的语义，提取所述试题文本中的各关键词；

基于所述各关键词在各历史时段内的出现频次，确定所述待评估试题的内容热度。

根据本发明提供一种的试题新颖度评估方法，所述基于所述待评估试题的试题文本的语义，提取所述试题文本中的各关键词，包括：

将所述试题文本输入关键词提取模型，得到所述关键词提取模型输出的各关键词；

所述关键词提取模型用于基于提取所述试题文本的摘要语句，并从各摘要语句中提取关键词；所述关键词提取模型是基于样本试题文本及其样本摘要语句，以及所述样本摘要语句中的样本关键词训练得到的。

根据本发明提供一种的试题新颖度评估方法，所述将所述试题文本输入关键词提取模型，得到所述关键词提取模型输出的各关键词，包括：

将所述试题文本输入关键词提取模型的摘要提取层，得到所述摘要提取层输出的所述摘要语句；

将所述摘要语句的句向量，以及所述摘要语句中各分词的词向量输入所述关键词提取模型的关键词提取层，得到所述关键词提取层输出的各关键词。

本发明还提供一种试题新颖度评估装置，包括：

试题确定单元，用于确定待评估试题；

考察方式评估单元，用于基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；

和/或，内容评估单元，用于基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；

新颖度评估单元，用于基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述试题新颖度评估方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述试题新颖度评估方法的步骤。

本发明提供的试题新颖度评估方法、装置、电子设备和存储介质，结合目标考察方式，从考察方式的层面对待评估试题进行新颖度评估，从而确保新颖度评估能够符合当前阶段的考核需求；结合待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，从试题内容的层面上对待评估试题进行新颖度评估，从而避免内容老旧的试题、重复题和相似题被推荐给用户；将考察方式和试题内容两个层面相结合进行新颖度评估，保证了新颖度评估的全面性，从而提高新颖度评估的可靠性和准确性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的试题新颖度评估方法的流程示意图之一；

图2是本发明提供的部分知识图谱的示意图；

图3是本发明提供的基于考察方式分类模型的考察方式新颖性评估方法的流程示意图；

图4是本发明提供的考察方式分类模型的结构示意图；

图5是本发明提供的待评估试题的内容热度的确定方法的流程示意图；

图6是本发明提供的待评估试题的内容热度的确定方法中步骤510的实施方式的流程示意图；

图7是本发明提供的关键词提取模型的结构示意图；

图8是本发明提供的试题新颖度评估方法的流程示意图之二；

图9是本发明提供的试题新颖度评估装置的结构示意图；

图10是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

试题的新颖度主要基于试题的年份标签评估的，年份越新则新颖度越高，年份越早则新颖度越低。一则年份标签多来源于题库或者各大题库资源网站的标注、或者来源于老师上传试题资源的日期，再或者由专业人员进行手动标记，如此得来的年份标签可能存在错误，直接影响新颖性评估的准确性，且部分试题本身可能没有年份标签，导致新颖度评估无法实施；二则光凭年份标签进行新颖度评估，完全不考虑试题本身是否符合当前的考察方式，也不关注试题本身所涉及的内容，过于片面，导致新颖性评估的可靠性差。

考虑到上述问题，本发明实施例提供一种试题新颖度评估方法。图1是本发明提供的试题新颖度评估方法的流程示意图之一，如图1所示，该方法包括：

步骤110，确定待评估试题。

具体地，待评估试题即需要进行新颖度评估的试题，待评估试题可以体现为文本的形式，进一步地，待评估试题可以是相关人员直接输入的文本，也可以是通过从电子版试卷中提取的，还可以是通过光学字符识别OCR技术从纸质版试卷所对应的图像中提取的，本发明实施例对此不作具体限定。

步骤120，基于目标考察方式对待评估试题进行考察方式分类，得到待评估试题的考察方式新颖度。

具体地，目标考察方式即目前阶段期望的试题考察方式。考虑到不同时期的教学目标和考核方式均可能发生变动，可以根据教师在教研过程中结合教学改革总结得到的最新的试题形式、考核知识点等因素，实时更新最新的考察方式作为目标考察方式。需要说明的是，不同时期不同地区针对不同年级段学生的目标考察方式均可能是不同的。

在确定目标考察方式的基础上，即可对待评估试题进行考察方式分类，从而确定待评估试题自身的考察方式与目标考察方式是否一致，进而得到待评估试题的考察方式新颖度，此处考察方式新颖度即对于待评估试题的考察方式是否新颖的判断结果。

其中，对待评估试题进行考察方式分类所得的分类结果可以是目标考察方式或者非目标考察方式，相应地分类结果为目标考察方式时的考察方式新颖度可以设置为1，分类结果为非目标考察方式时的考察方式新颖度可以设置为0。

而针对考察方式的分类还可以进一步根据新颖度评估的场景进行设置，例如新高考改革前后考察方式发生了变化，将改革后的考察方式作为目标考察方式，对待评估试题进行考察方式分类所得的分类结果可以是新高考考察方式、旧高考考察方式或者两者兼备，其中两者兼备是指待评估试题自身涉及到的试题形式和考察知识点在新旧高考中未发生变化的情况。相应地，针对三种不同的分类结果，可以设置对应的考察方式新颖度。

和/或，步骤130，基于待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定待评估试题的内容新颖度。

具体地，待评估试题的内容新颖度是指从待评估试题的内容维度上判断待评估试题的新颖度，其判断依据可以是待评估试题的内容热度、调用频次和与其他试题的相似度中的任意一种或者多种的组合。

待评估试题的内容热度是指待评估试题所包含的内容在当前阶段的热度，具体可以通过分析待评估试题中是否包含当前阶段的热点、是否包含当前阶段的热词等确定。通常待评估试题的内容热度越高，则待评估试题的内容新颖度越高。

待评估试题的调用频次是指待评估试题和/或待评估试题的同类型试题在当前阶段被用户调用的频率或者次数等信息，调用频次反映的是待评估试题或者其同类型试题是否已经频繁出现。通常待评估试题的调用频次越高，则说明待评估试题或者其类型试题出现的越频繁，待评估试题的内容新颖度越低。

待评估试题与其他试题的相似度是指待评估试题与题库中的其他试题在内容上是否相似或者重复，相似度越高，则待评估试题相对于其他试题的鉴别性越低，待评估试题的内容新颖度越低。

需要说明的是，步骤120和步骤130可以择一执行，也可以均执行，在两者均执行的情况下，步骤120可以在步骤130之前或者之后执行，也可以与步骤130同步执行，本发明实施例对此不作具体限定。

步骤140，基于考察方式新颖度和/或内容新颖度，确定待评估试题的试题新颖度。

具体地，当仅执行步骤120不执行步骤130时，可直接将考察方式新颖度作为试题新颖度；当仅执行步骤130不执行步骤120时，可直接将内容新颖度作为试题新颖度；当既执行步骤130也执行步骤120时，可以将考察方式新颖度和内容新颖度合并作为待评估试题的试题新颖度，也可以对考察方式新颖度和内容新颖度进行加权得到试题新颖度，本发明实施例对此不作具体限定。

本发明实施例提供的方法，结合目标考察方式，从考察方式的层面对待评估试题进行新颖度评估，从而确保新颖度评估能够符合当前阶段的考核需求；结合待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，从试题内容的层面上对待评估试题进行新颖度评估，从而避免内容老旧的试题、重复题和相似题被推荐给用户；将考察方式和试题内容两个层面相结合进行新颖度评估，保证了新颖度评估的全面性，从而提高新颖度评估的可靠性和准确性。

基于上述实施例，步骤120包括：

基于待评估试题的考察属性与目标考察方式的考察属性之间的匹配度，和/或待评估试题的试题文本与目标考察方式下的样本试题文本，确定考察方式新颖度；考察属性包括考核知识点和/试题形式。

此处，试题形式即试题在考察形式上的属性信息，可以包括试题类型，以及试题类型下的试题字数、小题数、选项数等。目标考察方式通常具有固定的考察属性，在确定待评估试题的考察属性后，即可对待评估试题的考察属性和目标考察方式的考察属性进行横向比较，例如判断待评估试题的考核知识点是否在目标考察方式的考核知识点内，判断待评估试题的试题形式是否符合目标考察方式的试题形式要求，从而得到基于考察属性的考察方式新颖度。

此外，还可以基于目标考察方式下的样本试题文本分析学习目标考察方式下试题文本的特征，从而判断待评估试题的试题文本的特征是否与学习目标考察方式下试题文本的特征相符合，进而得到基于试题文本的考察方式新颖度。

需要说明的是，上述两种方式可以择一执行，也可以同步执行并将两者分别得到的考察方式新颖度进行汇总，本发明实施例对此不作具体限定。

基于上述任一实施例，步骤120包括：

若存在待评估试题的考察属性，则基于评估试题的考察属性，以及包含目标考察方式的考察属性的知识图谱，确定考察方式新颖度；

否则，将待评估试题的试题文本输入考察方式分类模型，得到考察方式分类模型输出的考察方式新颖度；考察方式分类模型是基于样本试题文本及其样本考察方式新颖度训练得到的。

具体地，在执行考察方式新颖度的评估时，可以基于考察属性进行评估，也可以基于试题文本进行评估，而具体执行何种评估方式的依据为是否存在待评估试题的考察属性。

存在待评估试题的考察属性的情况是指待评估试题携带有其自身的考察属性，因此可以直接利用待评估试题的考察属性和目标考察方式的考察属性进行比较，从而确定考察方式新颖度。具体在比较时，可以通过知识图谱规则检测的方式实现，此处所指的知识图谱即包含有目标考察方式的所有考察属性的知识图谱。图2是本发明提供的部分知识图谱的示意图，如图2所示，知识图谱中可以包含目标考察方式下的各个考核知识点，例如“相似三角形的性质”、“相似的定义”等。此外，知识图谱中还可以包含目标考察方式下的试题形式，例如是否包含短文改错类型的试题，阅读理解类型试题的小题数为15等。

通过将待评估试题的考察属性与知识图谱进行规则检测，判断待评估试题的考察属性是否符合知识图谱中包含的目标考察方式的考察属性设置规则，进而确定考察方式新颖度。例如，课程改革之前数学必修第二册的知识点中包含了立体几何初步的全部考核知识点，而课程改革之后的则删除了立体几何初步中的“三视图”和“平行投影与中心投影”两个考核知识点，假设课程改革后的考察方式为目标考察方式，而待评估试题的考核知识点为“三视图”，则根据课程改革后的知识谱图可以确定“三视图”不在考核知识点的范畴内，可以确定考察方式新颖度为0。

而不存在待评估试题的考察属性的情况是指未能从待评估试题的相关信息中查找到其考察属性，无法根据目标考察方式的考察属性进行考察方式新颖度评估。此时可以将待评估试题的试题文本输入到预先训练好的考察方式分类模型，由考察方式分类模型根据输入的试题文本，以及预先训练到的目标考察方式下的样本试题文本的特征，分析待评估试题的考察方式类型，进而判断待评估试题是否属于目标考察方式，从而输出待评估试题的考察方式新颖度。

在此之前，可以预先训练得到考察方式分类模型，其训练步骤具体可以是：收集大量样本试题，此处的样本试题包括符合目标考察方式的样本试题，以及不符合目标考察方式的样本试题，可以根据样本试题是否符合目标考察方式为对应的样本试题文本设置样本考察方式新颖度作为训练标签。进而基于样本试题文本及其样本考察方式新颖度，对初始分类器模型进行训练，从而得到考察方式分类模型。

本发明实施例提供的方法，通过判断是否存在待评估试题的考察属性，选择基于考察属性还是基于试题文本进行考察方式新颖度评估。在存在待评估试题的考察属性的情况下，选择基于考察属性进行评估，能够有效降低考察方式新颖度评估的计算量，提高评估效率；在不存在待评估试题的考察属性的情况下，选择基于试题文本进行评估，避免了由于信息缺失导致无法评估的情况，保证了评估的可实现性，降低了新颖性评估的信息标注需求。

基于上述任一实施例，图3是本发明提供的基于考察方式分类模型的考察方式新颖性评估方法的流程示意图，如图3所示，步骤120中，将待评估试题的试题文本输入考察方式分类模型，得到考察方式分类模型输出的考察方式新颖度，包括：

步骤121，将试题文本中的题面文本、答案文本和解析文本输入至考察方式分类模型的文本编码层，得到文本编码层输出的题目答案特征和题面解析特征；

步骤122，将题目答案特征和题面解析特征输入至考察方式分类模型的注意力交互层，得到注意力交互层输出的试题交互特征；

步骤123，将试题交互特征输入至考察方式分类模型的分类层，得到分类层输出的考察方式新颖度。

具体地，图4是本发明提供的考察方式分类模型的结构示意图，如图4所示，考察方式分类模型包括文本编码层、注意力交互层和分类层：

其中，文本编码层用于实现试题文本的文本编码，进一步地，文本编码层在进行文本编码时，可以对试题文本中各个部分进行组合编码，针对试题文本中存在多个候选的答案文本的情况，可以将题目文本分别与各个答案文本进行组合编码，从而得到题目文本与各个答案文本的编码特征，即各个题目答案特征，此外，还将题目文本与解析文本进行组合编码，从而得到题目解析特征。此处的文本编码可以通过Bert编码实现，也可以通过其他编码方式实现。

注意力交互层用于对输入的题目答案特征和题面解析特征进行注意力交互，从而输出基于注意力机制融合后的试题交互特征。进一步地，注意力交互层可以对各个题目答案特征与题目解析特征进行注意力交互，从而得到各个题目答案特征与题目解析特征的注意力权重，接着对各个题目答案特征与题目解析特征进行加权求和，从而得到试题交互特征。

分类层用于对输入的试题交互特征进行考察方式分类，从而输出分类结果所对应的考察方式新颖度。

本发明实施例提供的方法，考察方式分类模型结合了试题文本本身的结构化特点，基于注意力机制，对试题文本中的题面文本、答案文本和解析文本进行交互，并在此基础上进行考察方式分类，有助于提高考察方式新颖度评估的准确性和可靠性。

基于上述任一实施例，步骤130包括：

基于如下公式确定待评估试题的内容新颖度：

由上式可知，待评估试题的内容热度与内容新颖度成正比，待评估试题的调用频次以及与其他试题的相似度与内容新颖度成反比，从内容层面上的三个维度进行内容新颖性的评估，能够有效保证内容新颖性评估的全面性和可靠性。

基于上述任一实施例，图5是本发明提供的待评估试题的内容热度的确定方法的流程示意图，如图5所示，待评估试题的内容热度是基于如下步骤确定的：

步骤510，基于待评估试题的试题文本的语义，提取试题文本中的各关键词。

具体地，目前常规的关键词提取都是直接通过TF-IDF(term frequency–inversedocument frequency)方法进行提取，提取时并不考虑文本本身反映的内容，所得的关键词并不具备内容上的代表性。考虑到这一问题，本发明实施例结合待评估试题的试题文本本身的语义，在进行关键词提取时考虑分词本身与试题文本语义的契合度，由此得到更能够代表待评估试题内容的关键词。

步骤520，基于各关键词在各历史时段内的出现频次，确定待评估试题的内容热度。

具体地，历史时段可以是以年份为单位设定的，也可以是以季度或者其他时间单位设置的。在得到各关键词后，可以根据预先统计得到的各关键词在各历史时段中的试题资源中出现的频次，以及各历史时段与当前时段之间的时差，评估各关键词的热度，进而综合各关键词的热度，得到待评估试题的内容热度。

其中，任一关键词的热度P可以表示为如下公式：

式中，t为任一历史时段，T为当前时段，α为可调的超权重，u(t)为t时段关键词的出现频次，1/[1+(T-t)]表示为历史时段t与当前时时段T之间的时差引入的时差权重，

例如，预先统计了近10年的所有关键词的出现频次，如下表所示：

假设待评估试题中的关键词包含Word1和Word2，当前年份为2020，可以分别基于上表中的数据计算两者的流行度，例如：

基于上述任一实施例，步骤510包括：

将试题文本输入关键词提取模型，得到关键词提取模型输出的各关键词；关键词提取模型用于基于提取试题文本的摘要语句，并从各摘要语句中提取关键词；关键词提取模型是基于样本试题文本及其样本摘要语句，以及样本摘要语句中的样本关键词训练得到的。

具体地，关键词提取模型可以在基于试题文本的语义提取得到的摘要语句的基础上，进一步从摘要语句中提取关键词并输出，对应在关键词提取模型的构建训练时，可以在基于bert的摘要提取模型的基础上连接用于从摘要语句中提取关键词的网络结构，从而实现关键词提取。关键词提取模型从摘要语句中提取关键词，充分考虑了试题文本本身的语义信息，有助于提高关键词与试题文本语义的契合度。

在执行步骤510之前，还可以预先训练关键词提取模型，关键词提取模型的训练可以通过如下步骤实现：收集大量样本试题文本，并对样本试题文本进行摘要标注，从而得到样本试题文本中的样本摘要语句，在此基础上，在样本摘要语句中标注关键词，从而得到样本摘要语句中的样本关键词。随即，基于样本试题文本及其样本摘要语句，以及样本摘要语句中的样本关键词对基于摘要提取模型构建的初始模型进行训练，从而得到关键词提取模型。

基于上述任一实施例，图6是本发明提供的待评估试题的内容热度的确定方法中步骤510的实施方式的流程示意图，如图6所示，步骤510包括：

步骤511，将试题文本输入关键词提取模型的摘要提取层，得到摘要提取层输出的摘要语句；

步骤512，将摘要语句的句向量，以及摘要语句中各分词的词向量输入关键词提取模型的关键词提取层，得到关键词提取层输出的各关键词。

具体地，图7是本发明提供的关键词提取模型的结构示意图，如图7所示，摘要提取层用于对输入的试题文本进行语义分词，从而判断试题文本中的各个分句是否为摘要语句，并输出判断结果。假设试题文本d可以表示为多个分句的集合[sent

关键词提取层用于结合摘要语句的句向量，以及摘要语句中各分词的词向量分析各分词为关键词的概率，由于摘要语句的句向量涵盖了语句自身的语义，因此在关键词提取的过程中可以结合语句自身语义进行考虑，得到并输出摘要语句中的关键词。进一步地，关键词提取层可以通过如下公式判断各个分词是否为关键词：

Q

式中，Q

基于上述任一实施例，步骤130中，待评估试题的调用频次是基于如下步骤确定的：

基于用户画像获取待评估试题在各历史时段的用户使用情况；

基于各历史时段的用户使用情况，以及各历史时段的权重，确定待评估试题的调用频次。

此处，各历史时段的用户使用情况具体可以是对应时段内用户的调用次数、调用频率等。各历史时段的权重可以根据各历史时段在时间上的先后确定，例如可以通过如下公式确定各历史时段的权重：

式中，P

基于上述任一实施例，步骤130中，待评估试题与其他试题的相似度可以通过如下步骤确定：

将待评估试题与题库中各候选试题进行题面特征匹配，得到各候选试题的匹配度；

基于预设数量个最高的匹配度，确定待评估试题与其他试题的相似度。

此处的题面特征可以是通过BERT提取的试题文本中题面文本的特征。题面特征匹配可以通过计算待评估试题的题面特征以及各候选试题的题面特征之间的匹配度实现，例如可以通过余弦相似度计算匹配度。在此基础上，可以基于计算所得的所有匹配度中按照从高到低的顺序排列的前预设数量个匹配度，确定待评估试题与其他试题的相似度，例如可以将前预设数量个匹配度的总和作为待评估试题与其他试题的相似度，具体可以表示为如下公式：

式中，N即预设数量，Cos(A,Ui)为待评估试题的题面特征A与第i个候选试题的题面特征Ui之间的余弦相似度，Top

基于上述任一实施例，图8是本发明提供的试题新颖度评估方法的流程示意图之二，如图8所示，该方法包括：

首先，确定待评估试题。

其次，分别从考察方式和内容两个层面进行待评估试题的新颖度评估：

针对于考察方式层面，获取待评估试题的考察属性。若能够获取得到其考察属性，且考察属性完整可进行规则匹配，则基于知识图谱规则检测的方式，判断待评估试题的考察属性是否符合知识图谱中包含的目标考察方式的考察属性设置规则，进而确定考察方式新颖度。否则，将待评估试题的试题文本输入到预先训练好的考察方式分类模型，由考察方式分类模型根据输入的试题文本分析待评估试题的考察方式类型，进而判断待评估试题是否属于目标考察方式，从而输出待评估试题的考察方式新颖度。

针对内容层面，可以分别获取待评估试题的内容热度、调用频次和与其他试题的相似度。其中，内容热度可以依据试题文本的语义，提取试题文本中的各关键词，并基于各关键词的热度确定。调用频次可以通过用户画像提供的信息确定。与其他试题的相似度可以通过将待评估试题与题库内其他试题进行题面特征匹配确定。在得到待评估试题的内容热度、调用频次和与其他试题的相似度后，可以结合此三种确定待评估试题的内容新颖度。

下面对本发明提供的试题新颖度评估装置进行描述，下文描述的试题新颖度评估装置与上文描述的试题新颖度评估方法可相互对应参照。

图9是本发明提供的试题新颖度评估装置的结构示意图，如图9所示，该装置包括试题确定单元910和新颖度评估单元940，还包括考察方式评估单元920和/或内容评估单元930；

其中，试题确定单元910用于确定待评估试题；

考察方式评估单元920用于基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；

和/或，内容评估单元930用于基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；

新颖度评估单元940用于基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度

本发明实施例提供的装置，结合目标考察方式，从考察方式的层面对待评估试题进行新颖度评估，从而确保新颖度评估能够符合当前阶段的考核需求；结合待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，从试题内容的层面上对待评估试题进行新颖度评估，从而避免内容老旧的试题、重复题和相似题被推荐给用户；将考察方式和试题内容两个层面相结合进行新颖度评估，保证了新颖度评估的全面性，从而提高新颖度评估的可靠性和准确性。

基于上述任一实施例，考察方式评估单元920用于：

基于所述待评估试题的考察属性与所述目标考察方式的考察属性之间的匹配度，和/或所述待评估试题的试题文本与所述目标考察方式下的样本试题文本，确定所述考察方式新颖度；

所述考察属性包括考核知识点和/试题形式。

基于上述任一实施例，考察方式评估单元920包括：

图谱评估子单元，用于若存在所述待评估试题的考察属性，则基于所述评估试题的考察属性，以及包含所述目标考察方式的考察属性的知识图谱，确定所述考察方式新颖度；

文本分类子单元，用于否则，将所述待评估试题的试题文本输入考察方式分类模型，得到所述考察方式分类模型输出的考察方式新颖度；所述考察方式分类模型是基于样本试题文本及其样本考察方式新颖度训练得到的。

基于上述任一实施例，文本分类子单元用于：

将所述试题文本中的题面文本、答案文本和解析文本输入至所述考察方式分类模型的文本编码层，得到所述文本编码层输出的题目答案特征和题面解析特征；

将所述题目答案特征和题面解析特征输入至所述考察方式分类模型的注意力交互层，得到所述注意力交互层输出的试题交互特征；

将所述试题交互特征输入至所述考察方式分类模型的分类层，得到所述分类层输出的考察方式新颖度。

基于上述任一实施例，该装置还包括：

关键词确定单元，用于基于所述待评估试题的试题文本的语义，提取所述试题文本中的各关键词；

内容热度确定单元，用于基于所述各关键词在各历史时段内的出现频次，确定所述待评估试题的内容热度。

基于上述任一实施例，关键词确定单元用于：

将所述试题文本输入关键词提取模型，得到所述关键词提取模型输出的各关键词；

所述关键词提取模型用于基于提取所述试题文本的摘要语句，并从各摘要语句中提取关键词；所述关键词提取模型是基于样本试题文本及其样本摘要语句，以及所述样本摘要语句中的样本关键词训练得到的。

基于上述任一实施例，关键词确定单元用于：

将所述试题文本输入关键词提取模型的摘要提取层，得到所述摘要提取层输出的所述摘要语句；

将所述摘要语句的句向量，以及所述摘要语句中各分词的词向量输入所述关键词提取模型的关键词提取层，得到所述关键词提取层输出的各关键词。

图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行试题新颖度评估方法，该方法包括：确定待评估试题；基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；和/或，基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度。

此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的试题新颖度评估方法，该方法包括：确定待评估试题；基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；和/或，基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的试题新颖度评估方法，该方法包括：确定待评估试题；基于目标考察方式对所述待评估试题进行考察方式分类，得到所述待评估试题的考察方式新颖度；和/或，基于所述待评估试题的内容热度、调用频次和与其他试题的相似度中的至少一种，确定所述待评估试题的内容新颖度；基于所述考察方式新颖度和/或所述内容新颖度，确定所述待评估试题的试题新颖度。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。