基于GRM模型的CAT分层方法在校准误差中的应用研究

在计算机化自适应测验(CAT)中,0-1评分模型下b组块a分层的方法(BASTR)可以提高测量准确性的同时平衡项目的曝光率,但在多级评分模型中项目难度/步骤参数有多个,无法直接使用该方法; 又因为信息函数可以较好地综合被试能力和项目参数,但最大信息量选题策略的测验安全性太低.因此,将多级评分模型中的多个参数综合成一个指标作为b分块的依据,模仿BASTR方法,提出5种新的B分块a分层方法,并且采用“影子题库”下最大信息量的选题方法.在等级反应模型(GRM)下蒙特卡洛实验结果表明,新方法在测验精度、题库利用率和机会红利等评价指标中总体表现良好,B_max-min分块方法表现最优.     

一种提升题库安全性的选题策略

题库的安全性是实施计算机化自适应测验的关键问题.受原有的动态a分层方法和均值不等式启发,构造了动态a分层的选题策略.模拟实验结果表明:新的选题策略保持了原有动态a分层的测验精度,进一步提高了测验的安全性.     

基于平均数形式的选题策略比较

在3PLM模型下,将改进的最大优先级指标(MMPI)方法和各类平均数形式相结合得到的4种新选题策略在提高测验精度、控制项目曝光均匀性、降低平均违规次数、提高题库利用率等方面均表现更好.经定长测验和不定长测验的蒙特卡洛模拟,MMPI下算术平方根平均数形式的选题策略表现最优.     

多种分层方法在CAT校准误差中的应用研究

若研究或使用CAT时将项目参数的估计值认为是真实值,则会产生所谓的机会红利(capitalization on chance),国内尚未报道该方面的研究.在定长和不定长CAT测验中考察引入曝光因子的多种分层化选题策略和随机选题策略,综合比较它们在测验精度、题库利用率和机会红利等评价指标中的表现,发现引入曝光因子的2种动态分层方法有更好的表现.     

区分度与测验进程相匹配的CAT选题策略

选题策略是计算机化自适应测验(CAT)的核心.该文提出了一种新的选题策略,是一种相对严格的“升a”方法,它选择区分度参数的百分等级尽可能接近测验进程的项目,而且还可以通过调整控制参数的取值来满足不同测验场景的需求.Monte Carlo实验结果表明:该方法在测验精度、项目曝光率控制和题库利用率等方面均表现良好.     

带区分度约束的选题策略研究

最大优先级指标(MPI)选题策略可以较好地满足非统计性约束,按a分层的选题策略可以有效提高低区分度项目的利用率,结合两者的优势,构造了附加区分度约束的两阶段MPI选题策略.Monte Carlo模拟研究表明:新选题策略在题库的未使用率方面有明显改进,在测量精度和约束条件控制等评价指标上较现有方法差异不大.     

计算机化自适应认知诊断测验按模式分层选题策略

提出了一种题库按属性模式分层并结合项目Fisher信息量、曝光控制因子和项目优先级的新的选题策略.与已有方法比较,该方法不仅提高了题库测验精度,而且在项目使用均衡性上也表现优异.     

认知诊断自适应测验选题策略探新

提出了一种新的认知诊断自适应测验选题策略和题库按项目所包含的属性模式分层方法.与传统方法相比,该方法不仅提高了测量精度而且可以提升选题速度.     

自动控制区分度作用的选题策略研究

沿用引入曝光控制因子的CAT选题策略中所提出的曝光控制因子,同时将定长测验的测验长度以及不定长测验中被试累积信息量加入到新选题策略中,提出了在不分层的条件下自动控制区分度作用的选题策略.蒙特卡洛模拟结果表明:新方法在项目调用均匀性、测验效率等评价指标上效果均较为理想.     

子题库题量不平衡的按a分层选题策略

讨论了子题库中题量的配置是否是最优的问题,分别将子题库划分成项目数相等和不相等的情况进行比较.通过计算机模拟实验显示,当各子题库的项目数量逐层减少时,测验效率与项目曝光率指标都较理想.     

兼顾能力与知识状态的Higher-Order CD-CAT选题方法

Higher-order CD-CAT的选题方法是传统单目标(即只对知识状态自适应)选题方法,这将导致被试能力的测量精度不高.基于此,在高阶模型和PWKL选题方法的框架下,该文开发了适用于Higher-order CD-CAT的新选题方法,该方法在选题时能同时兼顾能力和知识状态.实验结果表明:与传统选题方法相比,新选题方法的能力和知识状态估计精度都更高,并且在题库安全性上也具有明显的优势.     

双题匹配的MPI方法及其在平行试卷生成中的应用

大规模考试的公平性备受关注,探索能够生成多份平行测验并能保证测验质量的组卷方法十分重要.原用于计算机自适应测验(CAT)的基于最大优先级指标已开始用于组卷,但只局限于单题之间的匹配.为了增加求解空间,该文提出了一种基于最大优先级指标的双题匹配的组卷方法,实现题库中双题与种子试卷双题之间匹配,并结合平行试卷质量调整方法,用于生成平行试卷.将已有的组卷方法与双题匹配方法进行实验对比,结果表明:双题匹配方法有效地提升了生成的平行测验质量.     

认知诊断CAT中选题策略的改进

计算机化自适应测验(CAT)的选题策略是影响测量准确性的主要因素之一.针对认知诊断CAT初期知识状态估计不准确的问题,改进后验加权Kullback-Leibler信息量,得到了2种平均后验加权Kullback-Leibler信息量选题指标.然后运用DINA(the deterministic inputs,noisy"and"gate)模型模拟作答反应,在不同测验长度下比较了6种选题策略的优劣.结果表明,新指标能极大地提高测量准确度,当测验长度为15时,知识状态的判准率提高了10%以上;除随机方法外,其他方法的项目曝光率没有明显差异.     

双因子模型下CAT测验优化设计及其效果验证

在2种传统的BCAT测验设计的基础上,提出了4种新的BCAT测验设计,并采用国际上通用的Monte Carlo模拟实验的方式,从被试能力参数估计精度、题库使用的曝光率及测验的效率等3大指标来验证新开发的4种BCAT测验设计,再与传统的BCAT测验设计进行比较,以验证该文提出的4种新的BCAT测验设计的科学性、效果及优势.最后,对BCAT测验设计在实际应用中的选用提出了具体的意见与建议,以供实际应用者参考及借鉴.     

标准化题库建设的数学模型建构

标准化题库建设是近年来高校教学管理改革的一个重要方面,本文结合高师院校学科课程题库建设的实践,并以经典测验理论为基础,提出了一个二维空间的数学模,即基本参数维度和试卷生成维度,以揭示高校学科课程题库的本质特征,为各种具体题库的建设提供理论依据。     

基于Tabu搜索的选题算法研究与应用

针对目前传统选题算法在大型题库中选题效率低、质量不高的情况,给出了一个多约束条件下的选题问题模型,提出基于Tabu搜索算法的选题算法。依据Tabu搜索算法的集中和扩散两个策略,避开局部最大值,以最短时间寻找最优解,从而满足组卷要求。实验结果表明,该算法能有效准确的满足从大型试题库选题,其收敛速度和选题质量都有显著提高。     

一阶段选题的最大优先级指标的修正

为了平衡测验中限制条件而提出最大优先级指标(MPI)一阶段选题方法可能出现越界,对该情况进行分析,并给出修正方案,修正后基本解决了限制条件越界的问题.     

基于计算机自适应的大学生社会责任感测验

构建基于计算机自适应的大学生社会责任感测验的题库,并基于真实数据模拟CAT过程,检测CAT的测验效率并探讨用CAT测量社会责任感的可行性.使用探索性因素分析对测验进行单维性检验,根据项目反应理论选择高质量的项目,构建基于计算机自适应的大学生社会责任感测验(CAT-SRS).然后,基于纸笔测验的实测数据进行CAT模拟,验证CAT-SRS的有效性.研究结果表明:CAT-SRS符合项目反应理论等级反应模型的假设,各个参数比较理想,测量结果与5个原量表纸笔测验结果的相关性较高.CAT-SRS可在测验长度较短时实现对大学生社会责任感的准确测量.     

项目反应理论在构建标准化考试题库系统中的应用

用项目反应理论编制标准化考试题库系统,旨在探究教育测量的新理论应用,为学科教育评价提供辅助工具。题库以四年级数学为测验内容,按标准化编制项目施测、评分、分析,其中选用三参数的逻辑斯蒂克模型,并用贝佳法检验了测验的单纬性,利用ANOTE软件估计项目参数,用基于题目分类下的经验判断法建立一个划界分数,接合项目信息量组成题库,最后讨论了能力估计方法、抽题策略、结束控制等题库编制的关键技术。     

结合α分层改进基于IRT计算机自适应题库系统

IRT理论中基于最大信息量函数的选题方法会使系统偏向于选取信息函数值最大的试题进行测验,容易造成部分试题被反复选取,导致试题的曝光度过高从而影响后期测验的有效性。本文在原有选题策略的基础上融入α分层和内容筛选,有效地提高了系统的有效性和安全性。