一种基于单参数项目反应理论模型的分级评价方法及装置

技术领域

本发明属于心理和教育测量领域，特别涉及一种基于单参数项目反应理论模型的分级评价方法及装置。

背景技术

近年来，教育数据挖掘、自适应学习系统已经成为了教育行业的热点领域，而如何科学的评价学生的知识和能力一直是研究的关键问题。项目反应理论(Item ResponseTheory，IRT)是一种现代心理测量技术，它根据被试在测验项目上的反应结果对其某种“潜在特质”进行评价，目前被广泛的应用与心理或教育测量领域。然而，目前的IRT方法其评价的结果都是连续值，想要得到准确的评价就需要较多的样本作为支撑，否则会导致评价结果的准确性差。但在学科教学中因为要求学生掌握的知识点或能力点很多，对某个学生的某个特定“潜在特质”的测验数据有限，难以获得大样本的数据量，这就对如何在小样本情况下实现准确的评价提出了要求。

同时，在实际的教学中没有必要对学生的能力评价划分的十分细致，合理的等级划分足以提供学生对知识点或能力点的掌握情况，进而发现学生的短板和问题，达到评测的目的。针对上述问题，本发明基于单参数项目反应理论提出一种离散化的分级评价方法及装置，使其在小样本下具有计算速度快，准确度高的优点。

发明内容

本发明提供了一种基于单参数项目反应理论模型的分级评价方法及装置，具体技术方案如下：

一方面，提供了一种基于单参数项目反应理论模型的分级评价方法，方法包括：

将被试分为若干能力评价等级、将题目分为若干难度评价等级；

为每级能力评价等级赋予一个能力等级评价值；

为每级题目难度评价等级赋予一个难度等级评价值；

获取所有被试在全部题目的显性能力值；

根据显性能力值生成初始能力评价值；

以初始能力评价值和难度等级评价值作为单参数项目反应理论模型的参数值，对每个被试采用参数估计算法估算，获得每个被试的首次能力评价值；

以每个被试的首次能力评价值和难度等级评价值作为单参数项目反应理论模型的参数值，对每个题目采用参数估计算法估算，获得每个题目的难度评价值；

以每个题目的难度评价值和能力等级评价值作为单参数项目反应理论模型的参数值，对每个被试采用参数估计算法估算，获得每个被试的能力评价值；

重复获得难度评价值和获得能力评价值的步骤，直至连续两次获得相同的难度评价值和能力评价值，分别作为最优难度评价值和最优能力评价值；

将每个被试的最优能力评价值与能力等级评价值比较进而获得每个被试的能力评价等级。

在一种可选地实施方式中，能力评价等级符合标准正态分布，每级能力评价等级在正态分布曲线中所占面积相等，为每级能力评价等级赋予一个能力等级评价值，包括：

获取前一能力评价等级所占面积与本能力评价等级所占面积在正态分布曲线中横坐标的投影分割点；

获取本能力评价等级所占面积与后一能力评价等级所占面积在正态分布曲线中横坐标的投影分割点；

根据前一能力评价等级所占面积与本能力评价等级所占面积在正态分布曲线中横坐标的投影分割点，本能力评价等级所占面积与后一能力评价等级所占面积在正态分布曲线中横坐标的投影分割点得到本能力评价等级对应的能力等级评价值。

在一种可选地实施方式中，根据前一能力评价等级所占面积与本能力评价等级所占面积在正态分布曲线中横坐标的投影分割点，本能力评价等级所占面积与后一能力评价等级所占面积在正态分布曲线中横坐标的投影分割点得到本能力评价等级对应的能力等级评价值，包括：通过如下公式得到本评价等级对应的能力等级评价值：

其中，G

在一种可选地实施方式中，获取所有被试在全部题目的显性能力值，包括：

获取被试在测验过程中的标准分数；

获取被试在测验过程中的标准分数最大值；

获取被试在测验过程中标准分数最小值；

将被试在测验过程中的标准分数、被试在测验过程中的标准分数最大值以及被试在测验过程中标准分数最小值作为被试在全部题目的显性能力值。

在一种可选地实施方式中，根据显性能力值生成初始能力评价值，包括：通过如下公式得到被试的初始能力评价值：

其中，M

在一种可选地实施方式中，获取被试在测验过程中的标准分数，包括：

获取被试在测验过程中的分数；

获取所有被试在测验过程中的平均分；

获取所有被试在测验过程中分数的标准差；

根据被试在测验过程中的分数、所有被试在测验过程中的平均分以及所有被试在测验过程中分数的标准差得到被试在测验过程中的标准分数。

在一种可选地实施方式中，以初始能力评价值和难度等级评价值作为单参数项目反应理论模型的参数值，对每个被试采用参数估计算法估算，获得每个被试的首次能力评价值，包括：

获取被试对第j题的作答情况k

将初始能力评价值和难度等级评价值作为如下所示单参数项目反应理论模型的参数值：

其中，θ为初始能力评价值，b为难度等级评价值；

对每个被试采用如下所示参数估计算法估算，获得每个被试的首次能力评价值：

其中，L

在一种可选地实施方式中，以每个被试的首次能力评价值和难度等级评价值作为单参数项目反应理论模型的参数值，对每个题目采用参数估计算法估算，获得每个题目的难度评价值，包括：

获取第i个被试的作答情况；

将每个被试的首次能力评价值和难度等级评价值作为如下所示单参数项目反应理论模型的参数值：

其中，P

对每个题目采用如下所示参数估计算法估算，获得每个题目的难度评价值：

其中，L

在一种可选地实施方式中，以每个题目的难度评价值和能力等级评价值作为单参数项目反应理论模型的参数值，对每个被试采用参数估计算法估算，获得每个被试的能力评价值，包括：

获取以初始能力评价值和难度等级评价值作为单参数项目反应理论模型的参数值下被试对第j题正确作答的概率P

将每个题目的难度评价值和能力等级评价值作为如下所示单参数项目反应理论模型的参数值：

其中，θ

对每个被试采用如下所示参数估计算法估算，获得每个被试的能力评价值：

其中，L

在一种可选地实施方式中，将每个被试的最优能力评价值与能力等级评价值比较进而获得每个被试的能力评价等级，包括：

将被试的最优能力评价值与能力等级评价值进行比较，当被试的最优能力评价值与其中任一评价等级对应的能力等级评价值相同时，确定相同的能力评价值所对应的评价等级为被试的评价等级。

另一方面，提供了一种基于单参数项目反应理论模型的等级评价装置，其上存储有计算机程序/指令，计算机程序/指令被处理器执行时实现上述方法的步骤。

本发明实施例提供的方法至少具有以下有益效果：

本申请实施例提供的评价方法基于对评价等级进行分级，可以适用于小样本下被试的评价，提高了评价的准确度，减少了对被试测量的时间，提高了评价的效率。

附图说明

图1为本申请实施例提供的一种基于单参数项目反应理论模型的分级评价方法流程示意图；

图2为本申请实施例提供的基于单参数项目反应理论模型的分级评价结果示意图。

具体实施方式

下面结合附图和以下实施例对本发明作进一步详细说明。

一方面，本申请实施例提供了一种基于单参数项目反应理论模型的评价方法，请参见图1，图1为本申请实施例提供的评价方法的流程示意图，该方法包括S101-S1010。

S101、将被试分为若干能力评价等级、将题目分为若干难度评价等级。

需要说明的是，本申请实施例提供的被试(subject)是指心理或教育学实验或心理或教育测验中接受实验或测验的对象。可产生或显示被观察的心理现象或行为特质。在心理或教育学实验中，被试分为人和动物两大类。根据研究目的的不同，可是正常成人、中学生、小学生、残疾人、心理疾病患者等，也可是鼠、猴、鸡、狗等动物。本申请实施例对被试的种类不限于此。

被试的能力评价等级可以根据用户需要进行分级，作为一种示例，本实施例提供的方法应用于教育领域，被试为学生，学生可以为大学生、高中生、初中生或学生等。此时对学生的能力评价等级可以为十级或十五级或二十级等，能力评价等级可以用正整数表示，能力评价等级数字越大说明学生的能力越强。本申请实施例提供的终端可以为平板电脑、手机、IPAD、台式电脑等。

可以理解的是，本申请实施例提供的方法是通过被试对试题的作答达到对被试的评价。不同的试题难度不同，所代表的对被试的能力评价不同。根据题目的难度不同将题目分为若干个难度评价等级。作为一种示例，对题目难度评价等级的分级可以为十级或十五级或二十级等，难度评价等级可以用正整数表示，难度评价等级数字越大说明试题的难度越大。需要说明的是，本申请实施例提供的试题可以是一个试题考察多个能力点，作为一种示例，本实施例中被试可以为学生，可以包括学生的应变能力、逻辑能力、语言能力、组织能力等多项能力。上述能力范围只是本申请实施例的一种示例，本申请实施例所考察的能力范围不限于此。本申请实施例提供的作答试题也可以是多个试题考察一个能力点，作为一种示例，可以是多个试题只考察学生的应变能力，或只考察学生的逻辑能力，或只考察学生的语言能力等。也可以是多个试题考察学生的两种或三种以上的能力，本申请实施例对此不做限定。

在一种可选地实施例中，本申请实施例对能力评价等级的分级可以为均分，对能力评价等级进行均分可以简化对被试评价的程序，降低评价的难度。

在一种可选地实施例中，分级后的能力评价等级数小于或等于被试所作答试题的数目。作为一种示例，被试所作答试题的数目可以大于等于3倍分级后的能力评价等级数。如此可以提高评价结果的准确性。

S102、为每级能力评价等级赋予一个能力等级评价值。

可以理解的是，每级能力评价等级对应被试能力的高低。作为一种示例，被试为学生时，能力评价等级分为十级，对学生的能力评价为九级，则学生的能力处于九级的能力评价等级，因此此时需要为每级能力评价等级赋予一个能力等级评价值，以使得学生的能力可以与该等级内的能力评价值相对应，进而对学生作出正确的评价。

本申请实施例提供的能力评价等级符合标准正态分布，每级能力评价等级在标准正态分布曲线中所占面积相等。需要说明的是，能力评价等级符合标准正态分布，本申请实施例提供的每级能力评价等级均分，则每级能力评价等级在正态分布曲线中所占的面积相同，每级能力评价等级映射到正态分布曲线中横坐标坐标值则会不同。因此，本申请实施例通过获取每级能力评价等级在正态分布曲线中所占的面积在正态分布曲线横坐标的投影值得到每级能力评价等级对应的能力评价值。

在一种可选地实施例中，S102包括S1021-S1023。

S1021、获取前一能力评价等级所占面积与本能力评价等级所占面积在正态分布曲线中横坐标的投影分割点。

S1022、获取本能力评价等级所占面积与后一能力评价等级所占面积在正态分布曲线中横坐标的投影分割点。

可以理解的是，能力评价等级在正态分布中所占面积投影在横坐标的点应该为两个点，其中一个点为本级能力评价等级与上一级能力评价等级的投影分割点，另一个点为本能力评价等级与下一级能力评价等级的投影分割点。因此通过获取前一能力评价等级所占面积与本能力评价等级所占面积在正态分布曲线中横坐标的投影分割点，将前一能力评价等级与本评价等级进行区分。通过获取后一能力评价等级所占面积与本能力评价等级所占面积在正态分布曲线中横坐标的投影分割点，将后一能力评价等级与本能力评价等级进行区分。

S1023、根据前一能力评价等级所占面积与本能力评价等级所占面积在正态分布曲线中横坐标的投影分割点，本能力评价等级所占面积与后一能力评价等级所占面积在正态分布曲线中横坐标的投影分割点得到本能力评价等级对应的能力评价值。

在一种可选地实施例中，S1023包括通过如下公式得到本能力评价等级对应的能力评价值：

其中，G

作为一种示例，由标准正态分布函数公式为

需要说明的是，标准正态分布函数横坐标h的取值可以为正无穷到负无穷，上述只是本申请实施例提供的一种示例，本申请实施例对横坐标的取值不限于此。

S103、为每级题目难度评价等级赋予一个难度等级评价值。

在一种可选地实施例中，S103包括S1031和S1032。

S1031、获取被试的答题信息。

作为一种示例，本实施例中被试可以为学生，此时学生的答题信息可以包括作答试题的数量，作答试题的正确率，作答试题所要考察的能力点等。需要说明的是，本申请实施例提供的作答试题可以根据需要考察学生不同的能力点。作为一种示例，一个试题考察的能力点可以包括学生的应变能力、逻辑能力、语言能力、组织能力等多项能力。需要说明的是，上述能力范围只是本申请实施例的一种示例，本申请实施例所考察的能力范围不限于此。本申请实施例提供的作答试题也可以是多个试题考察一个能力点，作为一种示例，可以是多个试题只考察学生的应变能力，或只考察逻辑能力，或只考察语言能力等。也可以是多个试题考察学生的两种或三种以上的能力，本申请实施例对此不做限定。

作为一种示例，学生的数量可以为100人，对于能力点的考察有10项，对每一项能力点的考察涉及10道题，本申请实施例中获取学生的答题信息即为这10道题的答题信息。具体的，该答题信息可以包括对这10道题的作答正确与否。

S1032、根据被试的答题信息为每级题目难度评价等级赋予一个难度等级评价值。

可以理解的是，试题的难易程度不同，被试的作答情况不同。作为一种示例，本实施例中以学生作为被试时，当学生对该级试题的作答正确率较高时，说明试题的难度较低，此时该级试题对应的难度等级评价值会较高，当学生对该级试题的作答正确率较低时，说明试题的难度较高，此时该级试题对应的难度等级评价值会较低。也就是说，每个试题对应的难度等级评价值与学生答题的情况相关，因此，在本申请实施例中，将每级能力评价等级对应的能力等级评价值作为试题对应的难度等级评价值，即每级能力评价等级对应的能力等级评价值与试题对应的难度等级评价值数值相同。

作为一种示例，对学生的能力评价等级分级为20级，即分级的级别N＝20，由于本申请实施例提供的能力评价等级符合正态分布，因此，当能力评价等级的分级数确定后，可以通过查询正态分布分位表可以得到每级能力评价等级在正态分布曲线中相邻能力评价等级之间的分割点t

S104、获取所有被试在全部题目的显性能力值。

S104包括：S1041-S1044。

S1041、获取被试在测验过程中的标准分数。

标准分数(standard score)，也叫Z分数(z-score)，是一个数与平均数的差再除以标准差的过程。Z分数是一个观测或数据点的值高于被观测值或测量值的平均值的标准偏差的符号数，Z分数能够真实的反应一个分数距离平均数的相对标准距离。本申请实施例中通过采用Z分数可以真实的反应得到的被试的得分距离标准得分的距离，进而通过Z分数体现被试的初始能力评价值，提高初始能力评价值的正确性，进而提高评价方法的正确性。

S1042、获取被试在测验过程中的标准分数最大值。

对获取的被试的答题信息进行筛选，选取标准分数中的最大值和最小值。作为一种示例，本申请实施例可以通过终端设定最大值与最小值的值域，筛选出标准分数最大值和最小值。本申请实施例对标准分数最大值与最小值的获取方式不做限定。

S1043、获取被试在测验过程中标准分数最小值。

S1044、将被试在测验过程中的标准分数、被试在测验过程中的标准分数最大值以及被试在测验过程中标准分数最小值作为被试在全部题目的显性能力值。

在一种可选地实施例中，S1041包括：S10411-S10414。

S10411、获取被试在测验过程中的分数。

获取被试在测验过程中的分数，即一个被试在答题过程中的得分。以学生作为被试为例，一个能力点涉及的试题数为10道，每道题的分数为1份，该学生在本道题中答对了7道，则该学生的的分数为7分，平均得分为0.7。

S10412、获取所有被试在测验过程中的平均分。

获取所有被试的答题成绩，并得到所有被试在本次测验中的平均分。

S10413、获取所有被试在测验过程中分数的标准差。

S10414、根据被试在测验过程中的分数、所有被试在测验过程中的平均分以及所有被试在测验过程中分数的标准差得到被试在测验过程中的标准分数。

作为一种示例，本申请实施例提供的试题均为二级评分模型，所谓二级评分模型，即答题的模式只有正确和错误两种模式，每个试题的分值均为1分，学生在答题中共得到7分，则学生的平均得分为0.7分，所有学生在测验过程中的平均分为

在一种可选地实施例中，S1044包括：通过如下公式得到被试的能力初始值：

其中，M

需要说明的是，通过对被试答题的Z分数进行归一化处理得到M

S105、根据显性能力值生成初始能力评价值。

被试的初始能力评价值可以通过对全部被试答题的结果进行确定，即通过对所有被试的答题结果进行标准化得到被试的初始能力评价值。通过对被试的答题结果进行标准化，可以提高能力初始值的正确率，提高对被试评价的正确性。

S106、以初始能力评价值和难度等级评价值作为单参数项目反应理论模型的参数值，对每个被试采用参数估计算法估算，获得每个被试的首次能力评价值。

在一种可选地实施例中，S106包括：

获取被试对第j题的作答情况k

将初始能力评价值和难度等级评价值作为如下所示单参数项目反应理论模型的参数值：

其中，θ为初始能力评价值，b为难度等级评价值；

对每个被试采用如下所示参数估计算法估算，获得每个被试的首次能力评价值：

其中，L

作为一种示例，以学生作为被试，学生的数量为100个，其中有89人答对第j题，11人答错第j题，对于第j题，所有学生进行作答时结果的概率，即所有学生进行作答时结果的乘积为P×(1-P)

需要说明的是，本申请实施例提供的被试的初始能力评价值在第一次计算得到被试对第j题正确作答的概率时可以选用S105中得到的被试的初始能力评价值。将所有被试的首次能力评价值、对第j题正确作答的概率以及对第j题的作答情况通过上述单参数项目反应理论模型的参数值以及参数估计算法估算，得到每个被试的首次能力评价值。

在一种可选地实施例中，本申请实施例提供的被试对第j题正确作答的概率也可以通过查表的方式得到。作为一种示例，当能力评价值θ，难度等级评价值b已知时，第i个被试对第j题正确作答的概率即已被确定下来。由此，可以根据能力评价值θ和难度等级评价值b的等级评价值构建出第i个被试对第j题正确作答的概率P的查询表，通过查表的方式得到第i个被试对第j题正确作答的概率，如此，提高了测试的效率。第i个被试对第j题正确作答的概率表格如表1所示：

表1

S107、以每个被试的首次能力评价值和所述难度等级评价值作为所述单参数项目反应理论模型的参数值，对每个题目采用参数估计算法估算，获得每个题目的难度评价值。

在一种可选地实施例中，S107包括：

获取第i个被试的作答情况。

获取第i个被试正确作答的概率P

可以理解的是，第i个学生正确作答的概率不但与学生的数量有关，还与学生对题正确作答的能力有关，示例的，当学生能力较强时，学生对题正确作答的概率就较高，当学生能力较弱时，学生对题正确作答的概率就较低。本申请实施例提供的第i个学生作答情况包括答对和答错两种情况。

在一种可选地实施例中，将被试的首次能力评价值和难度等级评价值作为如下所示单参数项目反应理论模型的参数值：

其中，P

通过上述S106得到了每个被试的首次能力评价值，以及S103得到的难度等级评价值作为单参数项目反应理论模型的参数值，进行计算，并对每个题目采用如下所示参数估计算法估算，获得每个题目的难度评价值：

其中，L

作为一种示例，以学生作为被试，当答对时k

可以理解的是，由于每个题目测试的学生的能力不同，或者每个试题的难度程度不同，进而导致每个试题的难度评价值也不同，因此通过上述算法计算出每个试题的难度评价值，可以提高评价的准确性。

S108、以每个题目的难度评价值和能力等级评价值作为单参数项目反应理论模型的参数值，对每个被试采用参数估计算法估算，获得每个被试的能力评价值。

在一种可选地实施例中，S108包括：

获取以初始能力评价值和难度等级评价值作为单参数项目反应理论模型的参数值下被试对第j题正确作答的概率P

将每个题目的难度评价值和能力等级评价值作为如下所示单参数项目反应理论模型的参数值：

其中，θ

对每个被试采用如下所示参数估计算法估算，获得每个被试的能力评价值：

其中，L

可以看的出，本申请实施例提供的被试的首次能力评价值只采用了一次，而当通过S107得到每个题目的难度评价值后，不再使用被试的首次能力评价值。

需要说明的是，上述参数估算为采用极大似然函数估算，其中被试对第j题的作答情况，答对为1，答错为0，极大似然函数公式可以表述为对于某名被试，其对本次测验中所涉及该项能力的试题进行作答时的结果的乘积。

S109、重复获得难度评价值和获得所述能力评价值的步骤，直至连续两次获得相同的难度评价值和能力评价值，分别作为最优难度评价值和最优能力评价值。

需要说明的是，获得每个题目的难度评价值以及获得每个被试的能力评价值都采用单参数项目反应理论模型的参数值以及最大似然函数进行估算。由于被试的能力不同，测试的试题的难度也不同，因此，在本申请实施例通过重复S107和S108，直至连续两次获得相同的难度评价值和能力评价值，分别作为最优难度评价值和最优能力评价值，如此保证了获得的最优难度评价值和最优能力评价值数值的准确性，进一步为对被试准确评价提供了保证。

S1010、将每个被试的最优能力评价值与能力等级评价值比较进而获得每个被试的能力评价等级。

在一种可选地实施例中，S109包括：

将被试的最优能力评价值与能力等级评价值进行比较，当被试的最优能力评价值与其中任一评价等级对应的能力等级评价值相同时，确定相同的能力评价值所对应的评价等级为被试的评价等级。

另一方面，本申请实施例还提供了一种基于单参数项目反应理论模型等级评价方法的装置，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

以下将通过可选地实施例进一步描述本申请实施例提供的评价方法。

实施例

按服从均值为0，方差为1的标准正态分布随机生成100名学生对于某项能力的能力值。

按服从均值为0，方差为1的标准正态分布随机生成30道考察该项能力的试题的难度值。

按照单参数项目反应理论模型

进一步地，当学生i学生初始能力评价值θ

表2

S31、本实施例中的评价等级为10级，每级评价等级在标准正态分布曲线中所占的面积均为0.1，每级评价等级在标准正态分布曲线中所占面积对应分割点的横坐标为：

h

则每级能力评价等级对应的能力等级评价值分别为：

G

每级能力评价等级的难度等级评价值与能力等级评价值相同，即：b

S32、对学生作答结果标准化得到被试的初始能力评价值。试题均为二级评分模型，每个试题分值均为1分，全部学生的平均得分为

S33、对各个试题的难度评价值进行估计。取某项试题在本次测验中难度评价值的极大似然函数为：

将100名参加测验的学生在本项试题的作答结果和初始能力评价值θ

b

S34、估算学生的能力评价值。以每个题目的难度评价值和能力等级评价值作为单参数项目反应理论模型

θ

S35、重复步骤S33，S34，记录每次迭代后的难度评价值b

S36、给出能力评价等级。步骤S35的最终迭代结果为：

θ

令上述结果与步骤S31中的G

A

请参见图2，图2为本申请实施例提供的评价方法的结果示意图，其中，图2中横坐标为学生人数，纵坐标为学生评价等级，从图2中国可以很清楚的看到每位学生的评价等级。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。