一种基于多层LSTM的深度学生表现预测方法

技术领域

本发明涉及自然语言处理情感分析的研究领域，特别涉及一种基于多层LSTM的深度学生表现预测方法。

背景技术

得益于互联网技术的发展，人们能够轻易接触到数倍于之前的信息量，眼界和视野获得了极大的拓展。在互联网时代，人们不仅能在传统的课堂上面对面地听取老师授课，而且能足不出户就获取来自世界各地的优秀的课堂视频及教学资源，这无疑为学生们的自主学习提供了极大的便利，同时也带来了许多新的问题和挑战。此次受疫情的影响，全世界的学校将线下课程改成了线上进行教学，大量的学生开始利用在线教育平台进行课程学习，这意味着我们对在线教育平台的要求提高了不少。大量的学生涌入在线教育平台，如何保证在线学习的质量是教育工作者们需要考虑的重点问题之一。通过在线教育平台，我们可以获取每位学生的人口统计学数据，如学生的性别、年龄、最高教育水平等，还可以获得学生与在线课程的交互数据，其中最重要的就是学生的点击流数据，它反映了学生与课程不同内容的交互情况，可以帮助教育工作者们实时追踪学生的学习进度，使教育工作者们能够及时调整课程进度及教学方式，以求让更多的学生能够真正掌握该门课程的内容。

以往的学生表现预测模型大多是使用机器学习模型对学生的期末表现情况进行预测，这些模型多数考虑的是学生的人口统计学数据对学生期末表现的影响，虽然能取得一定的成果，但摒弃了学生的点击流数据这一时间序列数据，使每个学生的期末表现预测脱离了学生对于不同课程的实际学习情况，存在一定的局限性。对于少数使用神经网络进行学生表现预测的模型而言，也只是简单的使用了ANN网络或LSTM网络作为模型，模型的结构比较简单，仅使用了学生的点击流数据这一项时间序列数据，而忽略了学生的人口统计学数据这一背景数据，虽然相较于机器学习模型的结果有所提升，但仍是没有充分利用所有的学生数据，且存在冷启动和课程迁移这两项问题，即由于LSTM神经网络的局限性，基于LSTM的模型仅能对时间序列数据进行处理，而不能对类别数据进行处理，从而浪费了学生数据中的人口统计学数据，也不能对冷启动情况进行预测。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于多层LSTM的深度学生表现预测方法，以LSTM网络结构作为基础架构，从根本上解决了以往的学生表现预测模型存在的数据利用不完全、预测效果较差的问题，还解决了学生表现预测任务中的冷启动和课程迁移这两项问题。本发明在基础模型上做了较大的改善，使得模型能够同时接收学生的人口统计学数据和点击流数据这两项输入，充分利用了在线教育平台接收的所有学生数据，还在LSTM结构的基础上引入了注意力机制，使得模型能够为不同的输入项分配不同的注意力，从而提高模型的预测效果。

本发明的目的通过以下的技术方案实现：

一种基于多层LSTM的深度学生表现预测方法，包括以下步骤：

获取数据，并对数据预处理：所述预处理是对给定的学生人口统计学数据进行划分数据，得到人口统计学序列，并进行One-Hot编码，对给定的学生点击流数据按类别进行处理，拼接处理后的学生人口统计学数据与学生点击流数据得到预处理数据；

建立多层LSTM结构层：所述多层LSTM结构层是由三层LSTM结构网络与一层注意力层构成，使输入的预处理数据先通过三层LSTM细胞结构，再将得到的结果输入到一层注意力层以修改不同数据的权重；

建立多层全连接层：所述多层全连接层结构是由三层全连接层构成，使输入的预处理数据每次通过一层全连接层就进行一次维度修改；

将预处理数据中的学生人口统计学数据输入多层全连接层，每次通过多层全连接层都进行维度修改，将学生人口统计学数据输出为固定维度的学生人口统计学序列；

将预处理数据中的学生点击流数据输入多层LSTM结构层，多层LSTM结构层中的LSTM细胞会判断是否需要更新细胞状态，注意力层会修改权重使模型集中注意力于对结果影响更大的因素上，将学生点击流数据输出为固定维度的学生点击流序列；

建立Softmax层，将输出序列通过全连接层映射到以类别个数为隐藏单元数的隐藏层上，通过Softmax函数将其转化为概率分布，概率较大的为学生表现预测的分类结果。

进一步地，所述对数据预处理，具体为：

划分数据：将学生人口统计学数据分割成序列数据和类别数据；将学生点击流数据以周为单位按点击数据的类别进行整理，得到整理后的学生点击流数据；

One-Hot编码：对学生人口统计学数据中的类别数据进行One-Hot编码，使所有的类别数据转换为稀疏的0-1向量，再与学生人口统计学数据中的序列数据进行拼接，得到最终的学生人口统计学数据输入序列。

进一步地，所述人口统计学数据包括学生背景信息，所述学生背景信息包括学生的性别、年龄区间、居住范围、最高教育水平、IMD范围、修习本门课程次数、已修学分、是否残疾；所述学生点击流数据包括各模块的点击次数，所述模块包括主页模块、讨论区模块、问题回答模块、资源模块、网址模块、子页面模块、词汇表模块、合作模块、数据拓展模块、目录模块。

进一步地，所述One-Hot编码，具体为：

基于划分数据，提取其类别数据，将类别数据进行One-Hot编码，使类别数据全部转化为由0-1向量组成的稀疏矩阵，再与序列数据进行拼接，获得最终可用于输入的人口统计学数据矩阵。

进一步地，所述建立多层LSTM结构层，包括三层LSTM结构层和一层注意力层，所述LSTM结构层中包含LSTM细胞；所述LSTM细胞包括输入门、遗忘门、输出门，LSTM细胞通过三个门来控制选择是否更新细胞状态；所述注意力层通过为输入向量添加权重矩阵来改变多层LSTM结构层对不同信息的注意力，使多层LSTM结构层能集中注意力于对结果影响更大的因素上。

进一步地，将预处理数据输入多层LSTM结构层，多层LSTM结构层中的LSTM细胞会判断是否需要更新细胞状态，并输出序列，具体如下：

遗忘阶段：对上一节点传进来的输入数据进行选择性忘记，通过遗忘门函数进行控制，以选择上一个细胞状态中需要保留的信息和需要遗忘的信息；

选择记忆阶段：对新输入数据进行选择性记忆，通过输入门函数进行控制，以选择本次输入数据中需要保留的信息和需要遗忘的信息；

输出阶段：决定被当成当前状态输出的信息，通过输出门函数进行控制，并对上一阶段的细胞状态进行放缩；

注意力层：将输出阶段输出的信息通过注意力层，使模型从关注全部变为关注重点，利用有限的注意力资源快速筛选高价值信息，提高模型预测效果。

进一步地，所述建立多层全连接层，包含三层全连接层，输入预处理数据中的学生人口统计学数据，每通过一次全连接层就进行一次维度修改，获得固定维度的学生人口统计学序列。

进一步地，所述建立Softmax层，将输出序列通过全连接层映射到以类别个数为隐藏单元数的隐藏层上，通过Softmax函数将其转化为概率分布，概率较大的为学生表现预测的分类结果，具体为：将经过One-Hot编码后的人口统计学序列与学生点击流数据处理后的序列进行拼接，将拼接后的序列通过一层全连接层映射到以类别个数为隐藏单元数的隐藏层上，通过Softmax函数将其转化为概率分布，输出结果分类为各类别的概率总和为1，如二分类时输出结果分类为0的概率为80％，输出结果分类为1的概率为20％，则模型输出的预测结果为类别0，即概率较大的为学生表现预测的分类结果。

本发明与现有技术相比，具有如下优点和有益效果：

本发明以多层LSTM模型作为基础架构，从根本上解决了以往的学生表现预测模型存在的数据利用不完全、预测效果较差的问题，还解决了学生表现预测任务中的冷启动和课程迁移这两项问题。本发明在基础模型上做了较大的改善，使得模型能够同时接收学生的人口统计学数据和点击流数据这两项输入，充分利用了在线教育平台接收的所有学生数据，还在多层LSTM结构的基础上引入了注意力机制，使得模型能够为不同的输入项分配不同的注意力，从而提高模型的预测效果。

附图说明

图1为本发明所述一种基于多层LSTM的深度学生表现预测方法框架流程图；

图2为本发明所述实施例中数据预处理流程图；

图3为本发明所述实施例中建立多层LSTM结构层框架示意图；

图4为本发明所述实施例中LSTM细胞结构示意图；

图5为本发明所述实施例中Softmax层框架示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，一种基于多层LSTM的深度学生表现预测方法，主要包括：数据预处理、建立多层LSTM结构模型、建立Softmax层三大模块，其主要处理过程都涵盖在图中所示的主要模块架构中。

下面分别对各部分进行详细说明。

S1.数据预处理

对给定的学生人口统计学数据，如性别、年龄区间、居住范围等类别数据进行预处理，对其进行One-Hot编码；对给定的学生点击流数据以周为单位按类别进行整理。数据预处理的过程框架如图2所示。

S1.1划分数据

通过一定的方法，将学生的人口统计学分割成序列数据和类别数据，将学生的点击流数据以周为单位按点击数据的类别进行整理。所述人口统计学数据包括学生背景信息，所述学生背景信息包括学生的性别、年龄区间、居住范围、最高教育水平、IMD范围、修习本门课程次数、已修学分、是否残疾；所述学生点击流数据包括各模块的点击次数，所述模块包括主页模块、讨论区模块、问题回答模块、资源模块、网址模块、子页面模块、词汇表模块、合作模块、数据拓展模块、目录模块。

S1.2 One-Hot编码

根据S1.1中划分所有学生的人口统计学数据得到的人口统计学序列，对其进行One-Hot编码，使所有的类别数据转换为稀疏的0-1向量，再与其他序列数据进行拼接，得到最终的人口统计学数据序列。

其中包括如下几个更详细的步骤：

·点击流数据分类。对于学生的点击流数据而言，学生与在线教育平台的交互分为20个类别，包括讨论区的交互、课后习题的交互等，将学生的具体点击流数据按类别进行分类，每周的点击流数据为一列长度为20的向量。

·人口统计学数据编码。基于S1.1中划分的学生的人口统计学数据，提取出其中的类别数据，将类别数据进行One-Hot编码，使类别数据全部转化为由0-1向量组成的稀疏矩阵，再与序列数据进行拼接，获得最终可用于输入的人口统计学数据矩阵。

S2.建立多层LSTM结构层

将预处理后的学生点击流数据以周为单位输入多层LSTM结构，每个LSTM细胞包括输入门、遗忘门和输出门，每经过一次LSTM细胞都会判断是否更新细胞状态，用于解决长依赖问题。为多层LSTM结构层添加注意力机制，使LSTM细胞输出的信息通过一层注意力层以更新该信息的权重参数，从而使模型能够集中注意力于权重较高的信息，提升模型的效果。多层LSTM结构层的神经网络结构如图3所示，多层LSTM细胞结构如图4所示。

S2.1遗忘阶段

本阶段主要是对上一个节点传进来的输入进行选择性忘记，通过遗忘门函数进行控制，以选择上一个细胞状态中哪些信息需要保留、哪些信息需要遗忘。

S2.2选择记忆阶段

本阶段对新输入的数据进行选择性记忆，通过输入门函数进行控制，以选择本次输入的数据中哪些信息需要保留、哪些信息需要遗忘。

S2.3输出阶段

本阶段决定哪些信息将被当成当前状态的输出，通过输出门函数进行控制，并对上一阶段的细胞状态进行了放缩。

S2.4注意力层

将S2.3中输出的信息通过一层注意力层，它的核心逻辑就是使模型从关注全部变为关注重点，利用有限的注意力资源从大量信息中快速筛选出高价值的信息，从而提高模型的预测效果。

S3.建立Softmax层

,Softmax层框架示意图如图5所示，将S1.2中经过One-Hot编码后的人口统计学数据序列与S2中输出的学生点击流数据处理后的序列进行拼接，将拼接后的序列通过一层全连接层映射到以类别个数为隐藏单元数的隐藏层上，再通过Softmax函数运算将其转化为概率分布，概率较大者为情感分类的预测结果；具体为：将经过One-Hot编码后的人口统计学序列与学生点击流数据处理后的序列进行拼接，将拼接后的序列通过一层全连接层映射到以类别个数为隐藏单元数的隐藏层上，通过Softmax函数将其转化为概率分布，输出结果分类为各类别的概率总和为1，如二分类时输出结果分类为0的概率为80％，输出结果分类为1的概率为20％，则模型输出的预测结果为类别0，即概率较大的为学生表现预测的分类结果。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。