基于曼哈顿距离构建非参数Q矩阵修正方法

将被试得分、理想反应距离和被试得分异常原理相结合,并加入属性计分下的被试得分特性,开发了用于多级评分情境下属性计分曼哈顿距离法(SA-MD),在不同条件下验证了SA-MD的稳定性和适宜性.通过模拟研究和实证研究表明:(i)从逻辑推导出SA-MD用于多级评分情境下Q矩阵修正更合理;(ii)在多种条件中,SA-MD 均有较优的修正效果,适用范围更广,稳定性更高;(iii)当小样本测验进行Q矩阵修正时,使用SA-MD方法可获得更优的效果.     

海明距离判别法分类准确率的影响因素

为探讨海明距离判别法(HDD)的非参数优势,通过一个5因素混合实验,考察了4个因素(属性层级、测验长度、样本容量、知识状态分布)对HDD的3种判别方法(R方法、B方法、W方法)分类准确率的影响.结果表明:1)属性层级和测验长度均会影响HDD判准率,属性层级越紧密、测验长度越长,HDD判准率越高; 2)HDD对样本容量无依赖,可适于小样本评估; 3)HDD的R方法、B方法、W方法的分类准确率无差异; 4)HDD无需被试知识状态分布的正态性假设,更适于均匀分布.     

一种非参数的多策略方法:多策略的海明距离判别法

将单策略汉明距离判别法(SS-HDD)拓展至多策略情境(MS-HDD),并通过多因素的模拟设计及与已有研究的比较,考察其精确性与适宜性.研究结果表明:1)MS-HDD构建思路简洁,无需前提假设和参数估计,计算简便;2)单策略情境:MS-HDD与SS-HDD具有等同的判别效果,且判准率均高于相同条件下的广义距离模型(GDD)和多策略广义距离模型(MSCD);3)多策略情境:MS-HDD具有与MSCD相当的PMR和SMR,MS-HDD可适于多策略测验情境.     

KNN认知诊断法及其应用

将机器学习中的KNN算法迁移至认知诊断评估中,提出了KNN认知诊断法,并通过模拟和实证研究考察了KNN认知诊断法的效果和特征.结果表明:KNN认知诊断法具有较高的判准率,与PNN和MDD-R诊断法不相上下,甚至在某些情境下更高;KNN认知诊断法不受样本容量和被试知识状态分布形态的影响,体现了KNN算法作为非参数方法的特征;KNN认知诊断法具有较好的实证信效度.     

4年级数学应用题Q矩阵的适宜性

在认知诊断评估中,Q矩阵的界定和挑选非常重要,因其关系到诊断测验的质量和诊断评估的准确性.在模拟研究中,Q矩阵可以任意设定,但在实践研究中,Q矩阵的界定和测验Q矩阵的选择确非易事.该研究基于已有理论和模拟研究关于Q矩阵选择的原则,以小学4年级数学应用题为例,阐述如何在实践认知评估中选择适宜的测验Q矩阵,并通过实证和模拟研究验证所选测验Q矩阵的适宜性.研究结果表明:测验Q矩阵在包含R矩阵的前提下,考核模式并非越多越好、测验长度并非越长越好,相比较而言,只包含R矩阵的测验Q矩阵均要好于考核模式太多的Q矩阵.     

多水平多维IRT模型在学业质量监测中的应用

用多水平多维IRT(ML-MIRT)模型对学生学业情况进行分析,进而拓宽该模型的适用范围.首先采用不包含任何预测变量的零模型对项目参数和学生参数进行分析,然后使用包含学生预测变量的ML-MIRT模型分析2个预测变量对学生学业能力的影响.研究结果表明:试题的难度基本上贯穿了整个能力量尺,试题也具有较好的区分度,3个能力维度的跨级相关系数均达到了显著性水平,父亲的受教育程度对学生的3个能力维度均有显著影响,而母亲的受教育程度无显著影响.因此,编制的测验较为合理,ML-MIRT模型适用于监测学生学业水平,父亲的受教育程度对学生学业水平有着重要影响.     

缺失数据比率和处理方法对非随机缺失数据能力参数估计准确性的影响

探讨了IRT背景下非随机缺失数据的合适处理方法.采用IRTLAB模拟产生50批500个被试在20个0-1记分项目上的反应数据,产生了不同比率的MNAR; 再用IN、NP、FR、CM、MI和EM共6种方法分别处理MNAR,使用BILOG-MG软件估计被试的能力参数,并计算在不同条件下各种方法的BIAS、BIAS_abs、R_(θ,θ^∧)和RMSE.研究发现:随着缺失比率的增加,参数误差越来越大; FR会导致IRT参数估计产生较大的误差,且不稳定,而MI与EM算法则相对稳定; 综合BIAS和RMAE等几个指标,NP在处理MNAR时产生的误差较小也更稳定.因此,在IRT背景下估计被试能力参数时,应选择NP、MI或EM方法处理缺失数据     

数学问题提出能力的类别特征:基于潜剖面的分析

在已有测评框架的基础上,建构了测评指标的评分标准,通过应用多元概化理论验证了评分标准的可信度,进一步将其应用于小学生数学问题提出能力的实践调查中,通过潜剖面分析考察了小学生数学问题提出能力的现状及类别特征.研究结果表明:1)小学生在数学问题提出能力测评指标的3个子维度上的协方差分量较大,这说明用问题3个特征的得分来确定学生的数学问题提出能力的水平结果比较一致; 2)测评工具全域总分的合成概化系数为0.990 4,相对误差比较小,这说明评分者一致性程度较高,评分标准设置合理; 3)潜剖面分析的拟合指数与分类验证结果表明,小学生数学问题提出能力可划分为差异明显的3类; 4)问题提出能力不同类型的小学生在数学成绩上的差异明显.     

数学问题提出能力的测评模型及指标赋权

数学问题提出能力的测量与评估成为数学教学研究的热点议题,其测评模型及指标赋权的合理性与科学性是研究者关注的首要问题.该文在梳理数学问题的定义、已有的测评内容和方式的基础上,从问题的本质特征、数学特征和语言特征这3个维度构建数学问题提出的测评模型,并对该模型中的指标进行了2级赋权.研究结果表明:(i)验证性因素分析的各项...     

一种评判认知诊断方法有效性的新指标:真实判准率

该文提出了TPMR和TAAMR 2种真实判准率指标,用于替代现有评判认知诊断方法有效性的指标PMR与AAMR,并分析新旧指标的区别,随后比较参数和非参数方法在新旧指标上的表现以及高判、低判、错判情况,为认知诊断的实践提供理论依据.研究发现:(i)TPMR、TAAMR相比于PMR、AAMR而言,更能真实地反映认知诊断方法的有效性;(ii)TPMR、TAAMR在不同条件下表现均较为稳定,相比PMR、AAMR更能区分认知诊断方法的优劣;(iii)从高低错判的角度来看,PNN更适合于实践应用.