一种基于动态词向量表征的中文作文评分方法及系统

技术领域

本发明属于自然语言处理文本分类技术领域，特别涉及一种基于动态词向量表征的中文作文评分方法及系统。

背景技术

语文代表着我国优秀传统文化，有着深厚的文化底蕴和精神力量。在语文考试中，作文占据了相当大的比重，作文的分数在很大程度上决定了学生的语文成绩，传统的人工批改作文中存在一些问题(示例性的，诸如教师工作量大、作文批改反馈单一、存在主观性等)。世界各国教育已经逐步采用计算机代替人工阅卷，并研发出了自动作文评分(Automated Essay Scoring，AES)系统。

早期利用计算机进行作文评分主要是基于统计学和机器学习；具体的，首先分析作文评分标准以及教学研究，总结作文质量的评价标准，通过提取定义好的、与作文质量有关的、可量测的特征指标，然后采用机器学习的方式，如回归、分类技术实现作文的评分。随着自然语言处理特别是自然语言理解的发展，自动作文评分方法采用了更多的统计量和更深层的语法和语义特征，例如采用潜在语义分析、向量空间模型等技术，从语言、内容和结构等层面进行特征的提取，最终采用机器学习的方式进行作文评分。然而，基于统计学和机器学习的作文评价方法需要人工提取文本特征，成本过高、评分机制过于简单、评分模式固化、无法对复杂结构和内容进行判断。

近年来，随着深度学习的发展，出现了许多采用深度学习建立评分的模型；示例性的，现有的利用深度学习技术对作文进行评分的方案主要采用卷积神经网络(Convolutional Neural Networks，CNN)或者循环神经网络(Recurrent NeuralNetworks，RNN)，并取得了比基于统计学和机器学习算法更优的结果。具体解释性的，现有技术首先对中文文本进行分词，将作文分成一个一个词单元，然后使用词向量随机初始化或者使用Word2Vec词向量初始化；得到文本的词向量后，将词向量输入到卷积神经网络或者循环神经网络中进行特征提取，最后采用一层线性层，将输出的向量映射成一个0到1之间的分数。基于深度学习的作文评价方法无需人工提取文本特征，由神经网络自动训练特征，模型可以语言、内容和结构等层面进行特征的提取，具有更强的泛化能力，可以捕捉到较为复杂的语言结构。然而，利用上述现有方法对中文作文进行评分时尚存在一些不足，主要表现在：

(1)现有的中文词向量表示粗糙；具体解释性的，英文词向量与中文词向量不同，在英文语言中，一般是一个单词对应一个固定维数的词向量；但是在中文中，“词”才具有表达完整语义的功能，一般是每一个词语对应一个固定维数的词向量；词的数目远大于字的数目，如果以“词”为单元训练词向量，不仅耗费存储空间，而且需要消耗大量计算资源来训练词向量，进而导致中文词向量的不准确，评分结果不理想；如果使用现有的大规模中文预训练词向量模型，由于不同领域的词向量不同，直接将现有大规模预训练词向量用于中文作文评分上，也会导致评分结果不理想。

(2)循环神经网络模型，如长短期记忆(Long Short-Term Memory，LSTM)网络只能依据之前时刻的时序信息来预测下一时刻的输出；也就是说，该神经网络模型只能捕捉到一句话中某个“词”和这个“词”之前的词的关系。但在有些句子中，当前时刻的输出不仅和之前的状态有关，还可能和未来的状态有关系；比如要理解句子中某个词语的含义，不仅需要根据前文来判断，还需要考虑它后面的内容，真正做到基于上下文判断。

基于上述陈述及分析可知，现有针对中文作文的自动评分方法，在评分结果准确性上尚不能达到理想效果。

发明内容

本发明的目的在于提供一种基于动态词向量表征的中文作文评分方法及系统，以解决上述存在的一个或多个技术问题。本发明的方法基于深度学习，引入双向长短周期记忆(Bidirectional Long Short-Term Memory，BiLSTM)网络，并且动态地训练作文的中文词向量，最终可以保证作文评分的准确性。

为达到上述目的，本发明采用以下技术方案：

本发明提供的一种基于动态词向量表征的中文作文评分方法，包括以下步骤：

获取分词处理后的待评分中文作文文本；

将所述分词处理后的待评分中文作文文本输入预训练好的中文作文评分模型中，通过所述中文作文评分模型输出评分结果；

其中，所述中文作文评分模型包括：

输入层，用于输入分词处理后的中文作文文本，并基于预训练好的二进制词向量字典将中文作文文本中的词转化为序列矩阵；

嵌入层，用于输入所述序列矩阵，并转化为词向量矩阵输出；

BiLSTM层，用于输入所述词向量矩阵并进行特征提取，输出作文上下文特征向量；

全连接层，用于输入所述作文上下文特征向量，输出分类结果向量；

输出层，用于输入所述分类结果向量，输出评分结果。

本发明方法的进一步改进在于，所述预训练好的中文作文评分模型的获取步骤包括：

获取训练样本集；所述训练样本集中的每个训练样本均包括评分标签和分词处理后的样本中文作文文本；

训练更新时，将选定训练样本中的分词处理后的样本中文作文文本输入所述中文作文评分模型中，获得评分预测值；计算所述评分预测值与所述选定训练样本中的评分标签的差值，采用交叉熵损失函数计算损失并更新所述中文作文评分模型的参数，达到预设收敛条件，获得所述预训练好的中文作文评分模型。

本发明方法的进一步改进在于，所述中文作文评分模型还包括：

Dropout层，设置于BiLSTM层和全连接层之间；用于输入所述BiLSTM层输出的作文上下文特征向量并随机使预设定比例的神经元输出为0，获得处理后的作文上下文特征向量；所述处理后的作文上下文特征向量用于输入所述全连接层。

本发明方法的进一步改进在于，所述预训练好的二进制词向量字典的获取步骤包括：

获取训练所述中文作文评分模型采用的训练样本集中每个训练样本的分词处理后的样本中文作文文本组成新的训练样本集；

基于所述新的训练样本集，采用gensim库中的Word2Vec函数实现词向量的训练，获得所述预训练好的二进制词向量字典。

本发明方法的进一步改进在于，所述Word2Vec函数利用上下文预测中心词的算法或者利用中心词预测上下文的算法。

本发明方法的进一步改进在于，所述获取分词处理后的待评分中文作文文本的步骤具体包括：

获取初始待评分中文作文；

将所述初始待评分中文作文进行数据清洗，使得格式统一，获得数据清洗后的中文作文；

采用jieba.cut()函数对数据清洗后的中文作文进行分词，获得分词处理后的待评分中文作文文本。

本发明提供的一种基于动态词向量表征的中文作文评分系统，包括：

数据采集模块，用于获取分词处理后的待评分中文作文文本；

结果获取模块，用于将所述分词处理后的待评分中文作文文本输入预训练好的中文作文评分模型中，通过所述中文作文评分模型输出评分结果；

其中，所述中文作文评分模型包括：

输入层，用于输入分词处理后的中文作文文本，并基于预训练好的二进制词向量字典将中文作文文本中的词转化为序列矩阵；

嵌入层，用于输入所述序列矩阵，并转化为词向量矩阵输出；

BiLSTM层，用于输入所述词向量矩阵并进行特征提取，输出作文上下文特征向量；

全连接层，用于输入所述作文上下文特征向量，输出分类结果向量；

输出层，用于输入所述分类结果向量，输出评分结果。

本发明系统的进一步改进在于，所述预训练好的中文作文评分模型的获取步骤包括：

获取训练样本集；所述训练样本集中的每个训练样本均包括评分标签和分词处理后的样本中文作文文本；

训练更新时，将选定训练样本中的分词处理后的样本中文作文文本输入所述中文作文评分模型中，获得评分预测值；计算所述评分预测值与所述选定训练样本中的评分标签的差值，采用交叉熵损失函数计算损失并更新所述中文作文评分模型的参数，达到预设收敛条件，获得所述预训练好的中文作文评分模型。

本发明系统的进一步改进在于，所述中文作文评分模型还包括：

Dropout层，设置于BiLSTM层和全连接层之间；用于输入所述BiLSTM层输出的作文上下文特征向量并随机使预设定比例的神经元输出为0，获得处理后的作文上下文特征向量；所述处理后的作文上下文特征向量用于输入所述全连接层。

本发明系统的进一步改进在于，所述预训练好的二进制词向量字典的获取步骤包括：

获取训练所述中文作文评分模型采用的训练样本集中每个训练样本的分词处理后的样本中文作文文本组成新的训练样本集；

基于所述新的训练样本集，采用gensim库中的Word2Vec函数实现词向量的训练，获得所述预训练好的二进制词向量字典。

与现有技术相比，本发明具有以下有益效果：

本发明提供的方法中，针对长短期记忆网络只能依据之前时刻的时序信息来预测下一时刻的输出的问题，引入了双向长短期记忆网络，利用词语的上下文信息提取作文的特征指标，能够保证作文评分的实时性和准确度。

另外，针对使用现有的大规模中文预训练词向量导致的词向量不准确问题，本发明引入动态词向量的训练方式，在训练过程中，每个中文词语的词向量不是固定不变的，而是随着模型训练过程动态变化，最终可达到提升作文评分准确率的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于动态词向量表征的中文作文评分方法的流程示意图；

图2是本发明实施例中，基于动态词向量表征的中文作文评分模型的神经网络结构示意图；

图3是本发明实施例中，双向长短周期记忆网络隐藏层的单元结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

请参阅图1，本发明实施例的一种基于动态词向量表征的中文作文评分方法中，设计了一种自动中文作文评分模型，能够达到输入一篇作文，最终模型给出作文准确评分等级的需求。本发明实现的中文作文评分流程如图1所示，包括中文作文评分模型的训练过程和作文评分的预测过程；

在中文作文评分模型的训练过程中，首先对已评分的作文数据库进行预处理，然后将处理后的文本使用Word2Vec训练词向量，再将训练的词向量输入到双向长短期记忆网络中进行特征提取，模型的最后采用一层全连接层，将多个神经元的输出映射到(0，1)区间内，从而进行多分类。最后保存训练的词向量模型、特征提取网络模型和分类线性层模型的结构和参数用于模型预测。

在中文作文评分过程中，也即模型预测过程中，首先对待评分的作文进行预处理，再使用训练过程中保存词向量模型对作文文本进行词向量表示，将文本的词向量输入到训练好的模型中进行特征提取和评分，模型的最后一层输出作文的分数等级。

本发明实施例提供了一种基于动态词向量表征的中文作文评分方法，可以协助教师批改作文，协助学生提高写作和作文认知能力，为深度学习应用于智能教育上提供了一种新的解决思路；本发明的方法可以保证作文评分的实时性和准确度，在线下训练好作文评分模型，在预测的时候对作文直接使用模型即可。另外，本发明不需要深入研究作文评分标准，也无需总结作文质量的评价标准，只需要大致了解即可，具有人工参与少的特点；引入的双向长短期记忆网络利用词语的上下文信息提取作文的特征指标，能有效地利用文本上下文的信息从而使用于作文评分的特征指标更加准确；本发明在作文评分的训练过程中，动态地训练词向量，最终训练的词向量能更好地表示词语间语言、内容和结构的关系，词向量更准确。

综上所述，本发明实施例提供的方法中，采用深度学习中的双向长短期记忆网络对中文作文进行训练和预测分数，同时模型在训练的过程中动态训练词向量，可提高模型对输入信息的利用，最终能够保证作文评分的实时性和准确度。

本发明实施例下面对训练和预测过程进行详细介绍。

(1)数据预处理，包括：

第一步是对已评分的作文进行数据清洗；比如其中有的作文是空文件，需要将其删除；文本的格式统一修改为utf-8编码。将已评分的作文按照的格式进行整理，并逐条存入CSV文件中。其中，content表示作文的内容，result表示作文的打分；可分为优、良、中三个等级。

第二步是对作文文本进行分词；通过jieba.cut()函数对作文数据进行分词，jieba分词有三种模式：精确模式(尽可能将句子精准地切分)、全模式(将句子中所有的可以成词的词语切分开、搜索引擎模式(将精确模式切分的词再进行切分)；本发明实施例示例性的采用默认的精确模式。分词后的文本数据中含有一些特殊的符号和没有意义的中文词，这些符号对后续的作文评分没有作用，因此利用停用词表去除这类的词语和符号。

最终预处理后的作文文本可表示为

(2)训练词向量，包括：

Word2Vec是词的一种表示，它充分利用上下文信息，对上下文进行训练，将词以固定维数的向量表示出来。相比于one-hot编码表示方式，Word2Vec每个词不是只有一个位置为1，其余位置为0的稀疏向量，而是一个稠密的固定维数向量。Word2Vec词向量从直观上可减少存储和计算开销。其次，在深层次的语义理解上，经过训练后的词向量能利用上下文信息，能判定找出相似词语。Word2Vec一共有两种实现方式：用上下文预测中心词CBOW(Continue Bag of Word)和利用中心词预测上下文Skip-Gram。本发明实施例具体采用上下文预测中心词CBOW模型。

CBOW模型用一个中心词前后的背景词来预测该中心词。CBOW模型需要最大化给定背景词生成任一中心词的概率，即

上式的最大似然估计与最小化以下损失函数等价：

其中，T

用V和U分别表示中心词和背景词的向量；设中心词

当文本序列长度T

在本发明中，采用gensim库中的Word2Vec函数实现词向量的训练，输入的数据为数据预处理后保存在CSV文件中的作文文本。最终训练好的词向量为字典形式，每一个词语对应一个词向量，将其存储在二进制文件中。词向量的形式为，

w

w

………；

w

w

其中，w

(3)特征提取和作文评分，包括：

请参阅图2，本发明实施例采用基于动态词向量的双向长短期记忆(BiLSTM)网络提取作文文本的特征，最后连接一层全连接层，将多个神经元的输出映射到(0，1)区间内，进行多分类，输出作文的等级(优、良、中)，从而完成作文的评分，结构如图2所示。

本发明实施例中，引入Embedding层是为了实现动态词向量的学习；该Embedding层包含有步骤(2)(训练词向量)中所有词的词向量，也即词向量字典。

当网络中输入一篇分词后的作文，先根据二进制词向量字典将作文[word

本发明实施例使用Embedding层有两个优点，一个优点是节约转换词向量的时间：在输入作文文本后，无需每次查找词向量字典，而是将每个词转换为索引，只需做一次矩阵乘法运算即可将作文中的词转换为词向量；另一个优点是可以实现动态词向量：将词向量字典放入到Embedding层，在模型的训练过程中，每个词向量中的参数可以随着模型训练而变化，随着模型训练过程中分类的准确率不断提高，词向量也能更加准确的表示每个词。

本发明实施例中，BiLSTM是循环神经网络(RNN)中的一种典型结构。简单RNN理论上可以建立长时间间隔的状态之间的依赖关系，但是由于梯度爆炸或消失问题，实际上只能学习到短期的依赖关系，而LSTM可以很好地缓解梯度消失和梯度爆炸问题。但是LSTM只能依据之前时刻的时序信息来预测下一时刻的输出的问题，而BiLSTM使用了输入、输入序列之前、输入序列之后的信息，结合词语的上下文信息提取作文的特征指标，能够更好地挖掘文本的依赖关系。

请参阅图3，图3示出单个BiLSTM单元的结构，BiLSTM网络采用相比于LSTM双倍的隐藏层单元数目对数据进行双向处理。单个BiLSTM隐藏层包含三个门：Γ

Γ

Γ

Γ

a

其中，W

本发明实施例中，引入Dense层实现中文作文的评分。将BiLSTM网络的输出

此外，为了防止过拟合，在BiLSTM层与Dense层之间加入Dropout层。Dropout层主要是随机使该层的多少神经元失去作用，这样增加了模型的多样性，可以防止过拟合。该层只能在训练模型的时候使用，在测试模型中不使用Dropout，以保证模型的准确性。

本发明实施例中，优化算法与评估指标包括：优化算法是指在学习模型的过程中调整模型参数的方法，针对神经网络模型，现今采用的优化方法主要是基于梯度下降的方法，主要有随机梯度下降(Stochastic Gradient Descent，SGD)、动量法(Momentum)、自适应梯度下降算法(AdaGrad)、AdaDelta法和自适应动量法(Adaptive Moments，Adam)等。Adam是一种自适应学习方法，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，本发明采用Adam算法。评估指标是指评价模型好坏的指标，本发明实施例采用多分类问题的准确率(precision)、召回率(Recall)和F1 score来衡量模型对中文作文评分的精确程度。准确率和召回率越高，说明模型对中文作文的评分越可靠，但是准确率和召回率是一对互斥的关系，因此还需加入F1 score来综合考虑。

本发明实施例在模型的训练过程中，首先按照二进制词向量字典中的序号，将数据库中分词后的作文文本中的词转化为序列矩阵；模型将序列矩阵输入到Embedding层将文本转化为词向量矩阵，然后词向量矩阵输入到BiLSTM层进行特征提取，最后由Dense层实现中文作文的评分；模型基于梯度下降的方法降低损失函数的损失值，进而动态的调整词向量参数和模型参数，最终达到提高模型作文评分性能指标的目的。

本发明实施例在模型的预测过程中，也即对未评分作文的评分的过程中，首先将作文进行jieba分词，然后将作文按照词向量词典转化为序列矩阵，输入到预测模型中。模型会自动地经过Embedding层、BiLSTM层和Dense层，最终输出作文的分数等级。预测模型中词向量参数和模型参数是模型训练后得到的参数。

具体实施例：

本发明实施例中的实验设计与结果分析：本发明实施例提供的基于动态词向量表征的中文作文评分实验，主要验证该方法对中文作文评分的有效性和准确性。

实验环境为：Intel(R)Core(TM)i5-10500 CPU@3.10GHz 3.10GHz处理器，16.0GB内存，Windows10系统64位。实验软件为Jupyter Notebook，深度学习框架使用TensorFlow2.2。实验用到的功能库及版本如表1所示。

表1.功能库名称及版本

数据集的选取与处理包括：本发明实施例使用数据为小学生一至六年级的作文，共201907篇，每一篇作文文本均有对应的内容和等级得分。将作文文本编码方式转换为utf-8，利用停用词表去除停用词，通过jieba库中的cut()函数对作文数据采用精确模式进行分词；最后将预处理完的数据集存入CSV文档中。

词向量的训练使用genism库中的Word2Vec()函数，输入为预处理后的CSV文档，输出为训练好的二进制词向量字典，字典中包含137559个词。Word2Vec词向量训练采用CBOW算法，向量维数设置为200，当前词与预测词在一个句子中的最大距离为5，迭代次数为8轮。最终训练得到的词向量字典大小为137559*200。

中文作文评分模型参数如表2所示。在训练过程中为了防止过拟合，在BiLSTM层与Dense层之间加入了Dropout机制，也就是在训练过程中随机使该层的多少个神经元不起作用(也就是该神经元的输出直接设置为0)，该值设置为0.2，也就是随机有20％的神经元不起作用，该机制只能在训练模型的时候使用，在测试时不能使用，也就是设置该值为0。

表2.模型结构参数

根据上述参数设置网络并构建中文作文评分模型，使用数据集中95％的数据作为训练集训练网络。当模型训练完成后，将数据集中5％的数据作为测试集测试模型，得到模型在测试集上的评价指标数值如表3所示。从表中可以看出，采用基于动态词向量表征的中文作文评分模型对作文进行评分，准确率能达到92.18％，模型的F1指标达到0.9209，说明该模型能够较为准确的对中文作文进行评分。

表3.模型预测评价指标

需要说明的是，表2中的模型参数，如Dropout、初始化学习率已经通过网格搜索选取最优参数。Dropout搜索范围为[0.1,0.2,0.3]，初始化学习率的搜索范围为[0.01,0.001,0.0001]。在相同的基于动态词向量表征的中文评分模型下，不同的参数在测试集上的评价指标数值如表4所示。从表中可以看出，选取Dropout为0.2，初始化学习率为0.001能够使得基于动态词向量表征的中文作文评分模型达到最优性能。

表4.不同模型参数预测评价指标

为了体现基于动态词向量表征的中文作文评价模型的优越性，将模型与静态词向量、卷积神经网络(CNN)、单向长短周期记忆网络(LSTM)作对比。其中，词向量均使用相同训练好的二进制词向量字典，静态词向量的参数不随模型训练而发生变化；卷积神经网络采用卷积核大小为3的一维卷积。模型中的参数均通过网格搜索为最优的参数，选用的数据集相同。不同的模型在测试集上的评价指标数值如表5所示。从表中可以看出，采用基于动态词向量的作文表征方法和双向长短周期记忆网络的特征提取方法均能提高作文评分的准确率和F1 score。

表5.不同模型结构预测评价指标

综上所述，本发明公开了一种基于动态词向量表征的中文作文评分方法，能够达到输入一篇中文作文，最后输出作文评分等级的目的。本发明实施例提供的作文评分模型基于Word2Vec词向量，在神经网络结构中引入Embedding层动态地训练词向量，训练的词向量能够更加准确地表示词语；在作文评分模型中使用双向长短周期记忆(BiLSTM)网络，BiLSTM网络使用了输入、输入序列之前、输入序列之后的信息，结合词语的上下文信息提取作文的特征指标，能够更好地挖掘文本的依赖关系。实验表明，基于动态词向量表征的中文作文模型能够动态地训练词向量，挖掘作文文本中的评分特征，最终对输入的作文进行打分，相比于其他静态词向量模型或卷积神经网络模型，作文评分的准确率均有所提高。

下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未纰漏的细节，请参照本发明方法实施例。

本发明再一实施例中，提供一种基于动态词向量表征的中文作文评分系统，包括：

数据采集模块，用于获取分词处理后的待评分中文作文文本；

结果获取模块，用于将所述分词处理后的待评分中文作文文本输入预训练好的中文作文评分模型中，通过所述中文作文评分模型输出评分结果；

其中，所述中文作文评分模型包括：

输入层，用于输入分词处理后的中文作文文本，并基于预训练好的二进制词向量字典将中文作文文本中的词转化为序列矩阵；

嵌入层，用于输入所述序列矩阵，并转化为词向量矩阵输出；

BiLSTM层，用于输入所述词向量矩阵并进行特征提取，输出作文上下文特征向量；

全连接层，用于输入所述作文上下文特征向量，输出分类结果向量；

输出层，用于输入所述分类结果向量，输出评分结果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。