认知诊断计算机化自适应测量技术在心理障碍诊断与评估中的应用

以现代测量理论为基础,该文尝试将认知诊断与计算机化自适应测验2项新技术应用于心理障碍(抑郁症)的诊断与测评,一方面探讨新技术在抑郁症诊断中的科学性与合理性,另一方面开发基于认知诊断计算机化自适应测验技术的抑郁症测评工具(简记为CD-CAT-D).研究共调查被试2 492人,经大样本数据标定及测量学指标筛选,题库最终保留136题; 研究结果表明:在认知诊断理论框架下,CD-CAT-D具有较高的诊断分类一致性信度; 若以PHQ-9量表作为效标,CD-CAT-D具有较理想的收敛效度和效标关联效度; 同时,CD-CAT-D的灵敏度与特异度平均在0.850左右,以及AUC指标在0.80～0.90之间,这些都表明CD-CAT-D具有较理想的预测效果.这为心理障碍的诊断与评估提供了一种全新的方法和技术支持.     

经典测验理论与项目反应理论的对比研究

经典测验理论(CTT)的主要缺点有对测题难度、区分度及测验信度的估计依赖于被试组,对被试能力的估计依赖于所使用的测验题目,只提供平均测量精度等．而项目反应理论(IRT)则有参数不变性的优点,并能给出不同水平被试的测量精度．CTT有使用方便的优点,而IRT的理论体系尚需进一步完善．二者将互相促进,共同发展.     

基于GRM的在线校准研究

计算机化自适应测验的题库面临建设成本高且更新、扩充技术较复杂等问题.在线校准技术,可以将新题和旧题置于同一参数量尺上,降低了题库扩充成本.已有若干关于两级评分下新题的在线校准研究,但多级记分项目的在线校准却鲜见报道.该文先由拓展的夹逼平均法求取难度初值,并用多序列相关系数法求取区分度初值,再采用多步EM算法估计项目参数.Monte Carlo模拟结果表明:新题项目参数的估计值返真性较好,且参数的估计精度随着作答次数的小幅度增加而保持着逐渐提高的趋势.     

区分度与测验进程相匹配的CAT选题策略

选题策略是计算机化自适应测验(CAT)的核心.该文提出了一种新的选题策略,是一种相对严格的“升a”方法,它选择区分度参数的百分等级尽可能接近测验进程的项目,而且还可以通过调整控制参数的取值来满足不同测验场景的需求.Monte Carlo实验结果表明:该方法在测验精度、项目曝光率控制和题库利用率等方面均表现良好.     

不定长认知诊断计算机化自适应测验终止规则研究

目前大多数认知诊断计算机化自适应测验采用定长终止规则,该文提出3种不定长终止规则。通过实验对比,新方法较已有方法具有如下优势:i）能够较好地保障测验精度;ii）大幅降低了人均测验用题数;iii）人均测验用时也有所下降;iv）项目调用均衡性和题库安全性有所增强。     

基于GRM模型的CAT分层方法在校准误差中的应用研究

在计算机化自适应测验(CAT)中,0-1评分模型下b组块a分层的方法(BASTR)可以提高测量准确性的同时平衡项目的曝光率,但在多级评分模型中项目难度/步骤参数有多个,无法直接使用该方法; 又因为信息函数可以较好地综合被试能力和项目参数,但最大信息量选题策略的测验安全性太低.因此,将多级评分模型中的多个参数综合成一个指标作为b分块的依据,模仿BASTR方法,提出5种新的B分块a分层方法,并且采用“影子题库”下最大信息量的选题方法.在等级反应模型(GRM)下蒙特卡洛实验结果表明,新方法在测验精度、题库利用率和机会红利等评价指标中总体表现良好,B_max-min分块方法表现最优.     

动态加权区间的CAT选题策略研究

在计算机化自适应测验中,由于测验的性质不同,在衡量测验优劣的多个指标中,有的测验侧重于测量精度,有的侧重于测验的公平性,还有的侧重于测验的效率.指标之间或许有冲突,但希望尽可能多方兼顾.该文构造了动态加权区间的选题策略以适应测验目的多样性:先构造一个包含最大信息量的区间,该区间的题目集相当于一个"影子题库",再设置一个权值调节影子题库的大小.区间的使用可以提高题库利用的均匀性,保证题库安全,而权值根据测验关注点进行调整可实现测验目标.模拟实验显示:新的选题方法效果比较理想.     

基于计算机自适应的大学生社会责任感测验

构建基于计算机自适应的大学生社会责任感测验的题库,并基于真实数据模拟CAT过程,检测CAT的测验效率并探讨用CAT测量社会责任感的可行性.使用探索性因素分析对测验进行单维性检验,根据项目反应理论选择高质量的项目,构建基于计算机自适应的大学生社会责任感测验(CAT-SRS).然后,基于纸笔测验的实测数据进行CAT模拟,验证CAT-SRS的有效性.研究结果表明:CAT-SRS符合项目反应理论等级反应模型的假设,各个参数比较理想,测量结果与5个原量表纸笔测验结果的相关性较高.CAT-SRS可在测验长度较短时实现对大学生社会责任感的准确测量.     

一种提升题库安全性的选题策略

题库的安全性是实施计算机化自适应测验的关键问题.受原有的动态a分层方法和均值不等式启发,构造了动态a分层的选题策略.模拟实验结果表明:新的选题策略保持了原有动态a分层的测验精度,进一步提高了测验的安全性.     

认知诊断自适应测验选题策略探新

提出了一种新的认知诊断自适应测验选题策略和题库按项目所包含的属性模式分层方法.与传统方法相比,该方法不仅提高了测量精度而且可以提升选题速度.     

基于Tabu搜索的选题算法研究与应用

针对目前传统选题算法在大型题库中选题效率低、质量不高的情况,给出了一个多约束条件下的选题问题模型,提出基于Tabu搜索算法的选题算法。依据Tabu搜索算法的集中和扩散两个策略,避开局部最大值,以最短时间寻找最优解,从而满足组卷要求。实验结果表明,该算法能有效准确的满足从大型试题库选题,其收敛速度和选题质量都有显著提高。     

通用考试题库管理系统GIBMS的设计与实现

通用考试题库管理系统（ＧＩＢＭＳ２．０）包括试题库的建立、管理、维护、查询、打印生成试卷、试卷质量分析以及考试成绩统计分析等功能,具有较好的通用性。该系统是在ＦｏｘｐｒｏｆｏｒＷｉｎｄｏｗｓ下开发的,操作简便,可以适应各学科各门课程建立试题库及自动生成试卷的要求。它还具有适用范围广,选题分布性好,速度快,对试卷质量评价客观合理以及对考试结果进行分析等特点。     

双题匹配的MPI方法及其在平行试卷生成中的应用

大规模考试的公平性备受关注,探索能够生成多份平行测验并能保证测验质量的组卷方法十分重要.原用于计算机自适应测验(CAT)的基于最大优先级指标已开始用于组卷,但只局限于单题之间的匹配.为了增加求解空间,该文提出了一种基于最大优先级指标的双题匹配的组卷方法,实现题库中双题与种子试卷双题之间匹配,并结合平行试卷质量调整方法,用于生成平行试卷.将已有的组卷方法与双题匹配方法进行实验对比,结果表明:双题匹配方法有效地提升了生成的平行测验质量.     

基于不同CDM视角的CD-CAT题库建设

在CD-CAT题库建设过程中,选择合适的认知诊断模型(CDM)标定题库参数是一个关键的步骤.若一个题库均采用一个CDM来标定题库所有参数,则可能会造成模型资料失拟.提出了一种基于混合模型的题库建设思路,通过Monte Carlo 模拟研究验证了基于混合模型建立题库的效果,并与传统的基于单一模型的题库建设进行了比较,为CD-CAT在选用合适的模型方面提供了理论借鉴.     

项目反应理论在构建标准化考试题库系统中的应用

用项目反应理论编制标准化考试题库系统,旨在探究教育测量的新理论应用,为学科教育评价提供辅助工具。题库以四年级数学为测验内容,按标准化编制项目施测、评分、分析,其中选用三参数的逻辑斯蒂克模型,并用贝佳法检验了测验的单纬性,利用ANOTE软件估计项目参数,用基于题目分类下的经验判断法建立一个划界分数,接合项目信息量组成题库,最后讨论了能力估计方法、抽题策略、结束控制等题库编制的关键技术。     

两种测量理论(CTT和IRT)的分析与比较

针对两种测量理论(CTT和IRT)进行了分析和比较，提出在试题参数确定上的做法可以根据具体情况，以IRT在试题参数测试的不变性为基础，充分利用CTT的优点，抓住IRT与CTT的统计结果之间存在的相关性．取两者之所长，将两者有机地融合，实现客观评价教育质量的目的。     

基于IRT模型的Berkson参数估计方法及其应用研究

该文对于教育与心理测量理论中常用的IRT模型的未知参数提出了一种新的参数估计方法———Berkson参数估计方法,并通过大量的实验考察了该方法的性能,发现研究结果比BILOG算法的估计结果略好,这将有利于更好地进行题库建设,并且有较好的恢复能力,较好的适应性和较好的收敛性.     

基于IRT的计算机化自适应测试系统研究

 计算机化自适应测试(Computerized Adaptive Test,CAT)系统是一种基于项目反应理论(Item Response Theory,IRT)的智能测试系统.它不但可以提高测试效率,而且能提高对测试者能力评价的精确度.作者介绍了IRT的详细内容,论述了CAT的工作原理和实施过程及其系统设计的相关知识,提出一种初始能力值估计的解决办法并对测试终止条件进行了优化处理.为个性化学习提供一种理想的测试方法.     

子题库题量不平衡的按a分层选题策略

讨论了子题库中题量的配置是否是最优的问题,分别将子题库划分成项目数相等和不相等的情况进行比较.通过计算机模拟实验显示,当各子题库的项目数量逐层减少时,测验效率与项目曝光率指标都较理想.