自动控制区分度作用的选题策略研究

沿用引入曝光控制因子的CAT选题策略中所提出的曝光控制因子,同时将定长测验的测验长度以及不定长测验中被试累积信息量加入到新选题策略中,提出了在不分层的条件下自动控制区分度作用的选题策略.蒙特卡洛模拟结果表明:新方法在项目调用均匀性、测验效率等评价指标上效果均较为理想.     

基于GRM模型的CAT分层方法在校准误差中的应用研究

在计算机化自适应测验(CAT)中,0-1评分模型下b组块a分层的方法(BASTR)可以提高测量准确性的同时平衡项目的曝光率,但在多级评分模型中项目难度/步骤参数有多个,无法直接使用该方法; 又因为信息函数可以较好地综合被试能力和项目参数,但最大信息量选题策略的测验安全性太低.因此,将多级评分模型中的多个参数综合成一个指标作为b分块的依据,模仿BASTR方法,提出5种新的B分块a分层方法,并且采用“影子题库”下最大信息量的选题方法.在等级反应模型(GRM)下蒙特卡洛实验结果表明,新方法在测验精度、题库利用率和机会红利等评价指标中总体表现良好,B_max-min分块方法表现最优.     

基于BP神经网络的认知诊断 计算机化自适应测验实现

根据现有的研究使用神经网络进行认知诊断的方法,改变神经网络的建模方式,实现基于神经网络的认知诊断计算机化自适应测验.使用Monte Carlo方法生成模拟数据,训练并测试神经网络,在此基础上将神经网络用于自适应测试中,知识状态估计采用极大似然估计,选题策略采用后验加权的KL信息量指标.模拟结果表明,基于BP神经网络的CD-CAT的判准率较为理想,并且因为神经网络的训练过程可以在小样本情况下实现,这种CD-CAT更适合在课堂评估中使用.     

基于IRT模型的智能组卷策略

介绍了一种基于项目反应理论的最大化加权约束信息量(Max_CWI strategy)组卷新策略,讨论了它的优点;将CAT中分层化策略与Max_CWI组卷策略相结合,又提出了几种其它的分层化Max_CWI组卷策略和随机化Max_CWI组卷策略,还提出试卷对各个能力水平的被试进行精确估计的评价指标——测验平均信息量的概念.     

基于KL信息矩阵的动态加权选题策略

在Henson和Douglas提出的KL信息矩阵(用D矩阵表示)基础上,借鉴后验加权的思想,将原始KL信息矩阵修正为后验加权KL矩阵,并基于认知诊断中项目区分度的计算方式,提出2种新的CD-CAT选题策略:DPWKL1和DPWKL2方法,在不同测验长度、不同诊断模型以及不同属性相关程度下,与传统PWKL方法进行了比较研究.模拟研究表明,不论实验条件如何变化,DPWKL1和DPWKL2方法的属性判准率及模式判准率均要优于PWKL方法.     

动态加权区间的CAT选题策略研究

在计算机化自适应测验中,由于测验的性质不同,在衡量测验优劣的多个指标中,有的测验侧重于测量精度,有的侧重于测验的公平性,还有的侧重于测验的效率.指标之间或许有冲突,但希望尽可能多方兼顾.该文构造了动态加权区间的选题策略以适应测验目的多样性:先构造一个包含最大信息量的区间,该区间的题目集相当于一个"影子题库",再设置一个权值调节影子题库的大小.区间的使用可以提高题库利用的均匀性,保证题库安全,而权值根据测验关注点进行调整可实现测验目标.模拟实验显示:新的选题方法效果比较理想.     

结合优先级指标和曝光因子的多级评分选题策略

在等级反应模型(GRM)下考察改进的最大优先级指标(MMPI)中引入曝光因子的选题策略与其他选题策略之间的优劣.蒙特卡洛模拟中采用定长CAT,其中能力估计采用贝叶斯期望后验估计(EAP).研究结果表明,MMPI与曝光因子相结合的选题策略,在保证精度的情况下,很大程度上解决了曝光率不均匀问题.     

区分度与测验进程相匹配的CAT选题策略

选题策略是计算机化自适应测验(CAT)的核心.该文提出了一种新的选题策略,是一种相对严格的“升a”方法,它选择区分度参数的百分等级尽可能接近测验进程的项目,而且还可以通过调整控制参数的取值来满足不同测验场景的需求.Monte Carlo实验结果表明:该方法在测验精度、项目曝光率控制和题库利用率等方面均表现良好.     

多种分层方法在CAT校准误差中的应用研究

若研究或使用CAT时将项目参数的估计值认为是真实值,则会产生所谓的机会红利(capitalization on chance),国内尚未报道该方面的研究.在定长和不定长CAT测验中考察引入曝光因子的多种分层化选题策略和随机选题策略,综合比较它们在测验精度、题库利用率和机会红利等评价指标中的表现,发现引入曝光因子的2种动态分层方法有更好的表现.     

自适应形式的计算机等级考试的选题策略研究

采用自适应形式的计算机等级考试．考试的效率更高,考试结果更公平,更能发挥讣算机等级考试对考牛计算机能力水平测试的功能。要成功地实现自适应形式的计算机等级考试,恰当的选题策略是必需的。对自通应形式的计算机等级考试采用不同的选题策略进行了研究。研究结果表明,相对其它几种选题策略（最大信息量选题策略和随机选题策略）,采用h分区a分层的多阶段选题策略,测验的表现更好,可以很好的控制测验长度,测验的精度也很好,有更高的测验效率,测验的综合表现也最优。