一种联合试题分类与评分学习的主观题自动评阅深度学习方法

技术领域

本发明涉及人工智能与智慧教育的交叉领域，尤其是一种联合试题分类与评分学习的主观题自动评阅深度学习方法，可广泛应用于各个学科的主观题计算机自动阅卷系统中。

背景技术

考试试卷中的试题从答案组成的形式上，被普遍分为客观题与主观题两大类。答案以选项编号表示的单选题、多选题、判断题等试题被称为客观题，而答案采用自然语言表示的简答题、名词解释和论述题等试题被称为主观题。由于单选题、多选题、判断题等客观题目的答案都是以选项编号表示，目前计算机对于此类题型进行自动阅卷时，只需将标准答案的选项编号与学生答案的选项编号进行简单的匹配运算，匹配成功则答案正确，该处理技术已经取得较好的成果。但对于答案采用自然语言表示的主观题自动阅卷技术,如：对简答题、名词解释和论述题等自动评卷，由于其受到自然语言理解、人工智能等理论与技术瓶颈影响,效果不是很理想。

随着人工神经网络技术的不断发展，许多深度学习模型如基于LSTM的模型、基于CNN&LSTM的模型和基于Transformer的模型被应用于主观题评卷。这些深度学习模型利用不同的神经网络从答案文本中自动提取语义特征，从而提供一种无需任何人工特征工程的端到端方法。然而，主观题自动评卷的深度学习方法仍然具有诸多挑战性。其中，一个重要的挑战是：有的题型的主观题答案具有顺序性，而有的题型的主观题答案没有顺序性，例如对于试题“请按从小到大的顺序依次写出存储容量的单位”，答案要点“B、KB、MB、GB”具有顺序性；但对于试题“简述双绞线的优点”，答案要点“高柔性、耐油、防水、耐磨、耐酸、耐寒、耐弯曲”却没有顺序性，即学生答案“防水、耐寒、耐弯曲、耐油、耐磨、耐酸、高柔性”也是完全正确的。因此，如何针对不同的题型，自动学习不同的评阅方法是主观题自动评阅深度学习方法需要解决的难题之一。

发明内容

本发明公开了一种联合试题分类与评分学习的主观题自动评阅深度学习方法，通过联合试题分类与评分学习，使得主观题自动评阅的深度学习方法能够学习到针对不同的题型采用不同的评阅方法，从而以更有效的方法解决主观题自动评阅问题。

为实现上述目的，本发明的技术方案为：

一种联合试题分类与评分学习的主观题自动评阅深度学习方法，其特征在于包括以下步骤：

S1.通过一个带有残差连接的CNN试题分类子模型对待评阅的主观题进行试题分类，得到待评阅的主观题试题类型；

S2.将待评阅的主观题的试题类型嵌入和学生答案输入序列及标准答案输入序列的每一个字嵌入相连接，得到试题类型感知的学生答案感知输入和标准答案感知输入，然后将它们送入一个由CNN和Bi-LSTM组成的主观题试卷评分子模型进行评分，得到学生答案的评分等级；

S3.通过联合计算步骤S1和步骤S2的损失函数，训练一个联合试题分类与评分学习的主观题自动评阅神经网络模型；

S4.使用步骤S3训练成型的主观题自动评阅神经网络模型，对任意的学生答案进行评阅；

所述CNN是英文Convolutional Neural Networks的缩写，表示卷积神经网络，由文献“Lawrence S,Giles CL,Tsoi AC et al.Face recognition:A convolutionalneural-network approach.Neural Networks,IEEE Transactions on 1997；8(1):98-113”所提出；

所述Bi-LSTM是英文Didirectional Long Short-Term Memory的缩写，表示双向长短期记忆神经网络，其中LSTM神经网络是由文献“Sepp Hochreiter and JurgenSchmidhuber.1997.Long short-term memory.¨Neural computation,9(8):1735–1780”所提出；

所述主观题试题类型包括“定义类主观题试题”、“顺序类主观题试题”和“一般类主观题试题”，所述“定义类主观题试题”是指要求学生对某个概念的定义作出解释的主观题，“顺序类主观题试题”是指答案包括多个按顺序依次给出的要点的主观题，所述“一般类主观题试题”是指除定义类和顺序类之外的其他主观题。

进一步的，所述步骤S1具体包括：

S1.1将待分类试题的字序列

其中，n表示待分类的试题的句子长度，OneHot(T)表示将试题字序列T转换为独热矩阵，T

S1.2将待分类试题的字嵌入序列T

其中，PCNN(·)表示一个采取零填充的卷积神经网络，(T

S1.3待分类试题的浅层语义表示T

其中，

S1.4将待分类试题的浅层语义表示T

其中，LayerNorm(·)表示层归一化处理；

S1.5对待分类试题的深层语义表示T

其中，maxPooling(·)表示最大池化操作；

S1.6对待分类试题的分类向量Z

o＝M

其中，

进一步的，所述步骤S2具体包括：

S2.1将学生答案字序列、标准答案字序列按照步骤S1.1进行查表操作，分别得到学生答案字嵌入序列

其中，“：”表示序列的首尾拼接运算，n1为学生答案的句子长度，n2为标准答案的句子长度长度，m1为学生答案输入序列A

S2.2将步骤S1所获得的试题类型y*通过查表操作转换为所对应的试题类型嵌入

其中，

S2.3将学生答案感知输入A

其中，sharedPCNN1(·)、sharedPCNN2表示两个采取零填充且共享参数的卷积神经网络，d

S2.4将学生答案浅层语义表示A

其中，Interactive(·)表示一个由Bi-LSTM组成的交互网络，d

S2.5对学生答案的评分向量Z

x＝M

其中，

更进一步的，所述步骤S2.4具体包括：

S2.4.1分别使用两个共享参数的Bi-LSTM对学生答案浅层语义表示A

其中，sharedBiLSTM1(·)、sharedBiLSTM2(·)表示两个共享参数的Bi-LSTM，

S2.4.2通过注意力机制对学生答案上下文表示A

其中，

S2.4.3分别将

其中，

S2.4.4分别使用两个共享参数的Bi-LSTM对学生答案融合表示A

其中，

S2.4.5分别对学生答案深层语义表示A

其中，maxPooling(·)表示最大池化操作，avePooling(·)表示平均池化操作，

进一步的，所述步骤S3具体包括：

S3.1分别使用交叉熵损失误差计算试题分类子模型的损失函数和主观题自动评分子模型的损失函数，计算过程如下:

其中，Ω是联合试题分类与评分学习的主观题自动评阅任务的训练集，|Ω|表示训练集Ω的大小，

S3.2使用如下的公式计算联合试题分类与评分学习的主观题自动评阅神经网络模型的联合损失函数

其中，λ和β是两个权重参数；

S3.3联合试题分类与评分学习的主观题自动评阅神经网络模型的训练目标是最小化公式(40)的联合损失误差。

更进一步的，所述步骤S2.2中的查表操作具体包括：

其中，OneHot(y

本发明针对不同类型的主观题具有不同的评阅方式的特点，提出了一种联合试题分类与评分学习的主观题自动评阅深度学习方法，通过联合试题分类与评分学习，使得主观题自动评阅神经网络模型能够掌握不同类型试题的评卷方法，以更有效的方法解决主观题自动评阅问题。首先，通过一个带有残差连接的CNN试题分类子模型对待评阅的主观题进行试题分类，得到待评阅的主观题试题类型。然后，将待评阅的主观题的试题类型嵌入和学生答案输入序列及标准答案输入序列的每一个字嵌入相连接，得到试题类型感知的学生答案感知输入和标准答案感知输入，并在此基础之上进行评卷。

本发明具有以下优点：

(1)通过一个带有残差连接的CNN试题分类子模型对待评阅的主观题进行试题分类，使得模型能够掌握试题的类型；

(2)将待评阅的主观题的试题类型嵌入和学生答案输入序列及标准答案输入序列的每一个字嵌入相连接，使得评分子模能够感知到试题类型；

(3)联合学习试题分类与试题评分，可进一步提高试题分类的精度和试题评分的自适应性；

(4)通过一个由卷积神经网络与双向长短期记忆神经网络组成的杂合神经网络进行评分，可大幅提高评分的精度。

附图说明

图1是本发明的方法流程示意图。

图2是本发明的Bi-LSTM交互网络示意图。

具体实施方式

以下结合具体实施例对本发明作进一步说明，但本发明的保护范围不限于以下实施例。

按照图1所示的本发明方法流程图，通过以下步骤实现一种联合试题分类与评分学习的主观题自动评阅深度学习方法：

S1.通过一个带有残差连接的CNN试题分类子模型对待评阅的主观题进行试题分类，得到待评阅的主观题试题类型；

S2.将待评阅的主观题的试题类型嵌入和学生答案输入序列及标准答案输入序列的每一个字嵌入相连接，得到试题类型感知的学生答案感知输入和标准答案感知输入，然后将它们送入一个由CNN和Bi-LSTM组成的主观题试卷评分子模型进行评分，得到学生答案的评分等级；

S3.通过联合计算步骤S1和步骤S2的损失函数，训练一个联合试题分类与评分学习的主观题自动评阅神经网络模型；

S4.使用步骤S3训练成型的主观题自动评阅神经网络模型，对任意的学生答案进行评阅；

所述CNN是英文Convolutional Neural Networks的缩写，表示卷积神经网络，由文献“Lawrence S,Giles CL,Tsoi AC et al.Face recognition:A convolutionalneural-network approach.Neural Networks,IEEE Transactions on 1997；8(1):98-113”所提出；

所述Bi-LSTM是英文Didirectional Long Short-Term Memory的缩写，表示双向长短期记忆神经网络，其中LSTM神经网络是由文献“Sepp Hochreiter and JurgenSchmidhuber.1997.Long short-term memory.¨Neural computation,9(8):1735–1780”所提出；

所述主观题试题类型包括“定义类主观题试题”、“顺序类主观题试题”和“一般类主观题试题”，所述“定义类主观题试题”是指要求学生对某个概念的定义作出解释的主观题，“顺序类主观题试题”是指答案包括多个按顺序依次给出的要点的主观题，所述“一般类主观题试题”是指除定义类和顺序类之外的其他主观题。

进一步的，所述步骤S1具体包括：

S1.1将待分类试题的字序列

其中，n表示待分类的试题的句子长度，OneHot(T)表示将试题字序列T转换为独热矩阵，T

S1.2将待分类试题的字嵌入序列T

其中，PCNN(·)表示一个采取零填充的卷积神经网络，(T

S1.3待分类试题的浅层语义表示T

其中，

S1.4将待分类试题的浅层语义表示T

其中，LayerNorm(·)表示层归一化处理；

S1.5对待分类试题的深层语义表示T

其中，maxPooling(·)表示最大池化操作；

S1.6对待分类试题的分类向量Z

o＝M

其中，

进一步的，所述步骤S2具体包括：

S2.1将学生答案字序列、标准答案字序列按照步骤S1.1进行查表操作，分别得到学生答案字嵌入序列

其中，“：”表示序列的首尾拼接运算，n1为学生答案的句子长度，n2为标准答案的句子长度长度，m1为学生答案输入序列A

S2.2将步骤S1所获得的试题类型y*通过查表操作转换为所对应的试题类型嵌入

其中，

S2.3将学生答案感知输入A

其中，sharedPCNN1(·)、sharedPCNN2表示两个采取零填充且共享参数的卷积神经网络，d

S2.4将学生答案浅层语义表示A

其中，Interactive(·)表示一个由Bi-LSTM组成的交互网络，d

S2.5对学生答案的评分向量Z

x＝M

其中，

更进一步的，所述步骤S2.4具体包括：

S2.4.1分别使用两个共享参数的Bi-LSTM对学生答案浅层语义表示A

其中， sharedBiLSTM1(·)、sharedBiLSTM2(·)表示两个共享参数的Bi-LSTM，

S2.4.2通过注意力机制对学生答案上下文表示A

其中，

S2.4.3分别将

其中，

S2.4.4分别使用两个共享参数的Bi-LSTM对学生答案融合表示A

其中，

S2.4.5分别对学生答案深层语义表示A

其中，maxPooling(·)表示最大池化操作，avePooling(·)表示平均池化操作，

进一步的，所述步骤S3具体包括：

S3.1分别使用交叉熵损失误差计算试题分类子模型的损失函数和主观题自动评分子模型的损失函数，计算过程如下:

其中，Ω是联合试题分类与评分学习的主观题自动评阅任务的训练集，|Ω|表示训练集Ω的大小，

S3.2使用如下的公式计算联合试题分类与评分学习的主观题自动评阅神经网络模型的联合损失函数

其中，λ和β是两个权重参数；

S3.3联合试题分类与评分学习的主观题自动评阅神经网络模型的训练目标是最小化公式(40)的联合损失误差。

更进一步的，所述步骤S2.2中的查表操作具体包括：

其中，OneHot(y

应用实例

1.实例超参数

表1实例模型超参数设置

2.数据集

本实例的数据来源于某大学软件工程专业本科生历年《计算机网络》期末考试试题，共得到3948条中文主观题问句，每个问句都设有1个标准答案和4个学生答案，最终得到包含有3948条中文主观题问句的问句分类数据集和15792条学生答案的中文主观题自动评分数据集，如表2、表3所示：

表2问句分类数据集

表3自动评分数据集划分

3.实例对比结果

表4给出了各种模型的试题类型的分类结果对比结果，表5给出了各种模型的学生答案评分区间的分类对比结果：

表4各种模型的试题类型的分类结果对比结果

表5各种模型的学生答案评分区间的分类对比结果

表4和表5的实验结果表明，本发明提出的一种联合试题分类与评分学习的主观题自动评阅深度学习方法，显著优于独立评阅模型及独立试题分类模型，且显著优于无CNN层的评阅模型及无Bi-LSTM交互层的阅模型，这充分说明了本发明方法是可行和优秀的。

4.示例

表6给出了各种试题类型的学生答案评分示例：

表6各种试题类型的学生答案评分示例