自动控制区分度作用的选题策略研究

沿用引入曝光控制因子的CAT选题策略中所提出的曝光控制因子,同时将定长测验的测验长度以及不定长测验中被试累积信息量加入到新选题策略中,提出了在不分层的条件下自动控制区分度作用的选题策略.蒙特卡洛模拟结果表明:新方法在项目调用均匀性、测验效率等评价指标上效果均较为理想.     

经典测验理论与项目反应理论的对比研究

经典测验理论(CTT)的主要缺点有对测题难度、区分度及测验信度的估计依赖于被试组,对被试能力的估计依赖于所使用的测验题目,只提供平均测量精度等．而项目反应理论(IRT)则有参数不变性的优点,并能给出不同水平被试的测量精度．CTT有使用方便的优点,而IRT的理论体系尚需进一步完善．二者将互相促进,共同发展.     

信息函数在标准参照测验中的应用研究

主要从项目、测验、被试能力三方面来探讨信息函数在标准参照测验中的应用．研究结论表明：信息函数较经典测量理论能更精确地评价项目质量、测验质量及被试能力水平,因而对测验及学生能力水平的评价更科学,同时对测验的编制有更强的指导作用,值得推广．     

未来测验新趋势——计算机自适应测验

介绍了计算机自适应测验（CAT）的基本原理及优越性,指出它可以解决传统的纸笔测验自身无法解决的弊端,能够快速准确地估计出被试的真实水平,极大激发被试的考试动机,真正实现因人施测.     

区分度与测验进程相匹配的CAT选题策略

选题策略是计算机化自适应测验(CAT)的核心.该文提出了一种新的选题策略,是一种相对严格的“升a”方法,它选择区分度参数的百分等级尽可能接近测验进程的项目,而且还可以通过调整控制参数的取值来满足不同测验场景的需求.Monte Carlo实验结果表明:该方法在测验精度、项目曝光率控制和题库利用率等方面均表现良好.     

认知诊断CAT中选题策略的改进

计算机化自适应测验(CAT)的选题策略是影响测量准确性的主要因素之一.针对认知诊断CAT初期知识状态估计不准确的问题,改进后验加权Kullback-Leibler信息量,得到了2种平均后验加权Kullback-Leibler信息量选题指标.然后运用DINA(the deterministic inputs,noisy"and"gate)模型模拟作答反应,在不同测验长度下比较了6种选题策略的优劣.结果表明,新指标能极大地提高测量准确度,当测验长度为15时,知识状态的判准率提高了10%以上;除随机方法外,其他方法的项目曝光率没有明显差异.     

基于GRM模型的CAT分层方法在校准误差中的应用研究

在计算机化自适应测验(CAT)中,0-1评分模型下b组块a分层的方法(BASTR)可以提高测量准确性的同时平衡项目的曝光率,但在多级评分模型中项目难度/步骤参数有多个,无法直接使用该方法; 又因为信息函数可以较好地综合被试能力和项目参数,但最大信息量选题策略的测验安全性太低.因此,将多级评分模型中的多个参数综合成一个指标作为b分块的依据,模仿BASTR方法,提出5种新的B分块a分层方法,并且采用“影子题库”下最大信息量的选题方法.在等级反应模型(GRM)下蒙特卡洛实验结果表明,新方法在测验精度、题库利用率和机会红利等评价指标中总体表现良好,B_max-min分块方法表现最优.     

基于IRT模型的智能组卷策略

介绍了一种基于项目反应理论的最大化加权约束信息量(Max_CWI strategy)组卷新策略,讨论了它的优点;将CAT中分层化策略与Max_CWI组卷策略相结合,又提出了几种其它的分层化Max_CWI组卷策略和随机化Max_CWI组卷策略,还提出试卷对各个能力水平的被试进行精确估计的评价指标——测验平均信息量的概念.     

多维自适应测验初探

计算机化自适应测验(CAT)是当前国内外考试改革的一个重要方向.该文对多维自适应测验中的能力估计和项目选择进行了一定的理论探讨,给出了贝叶斯估计中的项目选择算法.当A和x的范围已知时,这个算法把计算max|A xx′|转换成计算max(x′A-1x).     

多级评分CAT的认知诊断方法

认知诊断因其能识别被试认知状态已成为CAT研究的重要部分之一,但目前研究大多都基于0-1评分,这与我国试题也采用多级评分现状不相适应.因此,研究基于多级评分的认知诊断具有重要意义.该文主要研究开发多级评分模型下有认知诊断功能的CAT测试系统,采用等级反应模型(GRM),使用先认知诊断后估计能力的方法.该系统的认知诊断正确率较高,且诊断结果较稳定,能力估计也较准确,测验安全性好.     

项目反应理论下计算机自适应考试系统的设计与实现

项目反应理论下的计算机自适应考试能够根据应试者的实际能力水平选择相应难度的试题,做到因人施测,实现更快、更准地对应试者能力进行估计。对计算机自适应考试施测过程进行了描述,对模型的选择、选题策略、参数估计等关键技术进行研究并提出相应的解决方法,实现了系统的设计与开发。     

基于项目反应理论的教育测量模拟软件-WinGen

WinGen是一种基于Windows系统下的项目参数、被试以及作答数据的模拟软件,该软件不仅支持众多的单维项目反应模型,也支持多维项目反应模型。研究通过使用WinGen实现被试、项目和作答的蒙特卡罗模拟,并用Bilog对作答数据进行了参数估计,最后通过计算参数估计的各个评价指标,结果表明使用WinGen模拟的数据质量优良,与模型的拟合性较好,可以满足广大测量研究者在不同条件下数据的模拟,研究者可以在模拟数据的基础进行进一步的分析和研究。     

计算机自适应测验中试题泄露的实时监控方法研究与应用

在连续施测下计算机自适应测验(CAT)中的试题被曝光的可能性急剧增加,因此需要对试题进行实时监控,当试题的参数发生显著性变化时必须将其进行强制“退休”.序贯监测程序(SMP)通过检测CAT中的试题统计特征的变化来判断试题是否泄露; 然而在用SMP监控试题时会出现较大的Ⅰ类错误率,并且在一些条件下其统计检验力较低.该文以残差的R指标作为考生拟合统计量(PFS),与SMP方法相结合,构建了一种新的监测方法(PFS_SMP); 该方法以被试作答信息为依据判断被SMP标记的试题是否泄露,从试题和被试这2个层面保证测验的安全性和公平性.最后,通过模拟实验和实证分析来对基于R的PFS_SMP的表现进行评价,实验结果表明:PFS_SMP方法能降低在SMP监测试题时的Ⅰ类错误,并能提高其统计检验力.     

按c-分层不定长CAT的研究

有文献研究按c-分层定长CAT，该文研究按c-分层不定长CAT．通过实验对比，得出按c-分层不定长CAT具有以下优越性：(1)能有效控制题目曝光度，考试具有较高的安全性；(2)考生测试项目的内容覆盖符合预设的内容域比例；(3)不定长方法比定长的方法具有更高的效率．另外，我们给出了一个综合评价指标．     

基于Tabu搜索的选题算法研究与应用

针对目前传统选题算法在大型题库中选题效率低、质量不高的情况,给出了一个多约束条件下的选题问题模型,提出基于Tabu搜索算法的选题算法。依据Tabu搜索算法的集中和扩散两个策略,避开局部最大值,以最短时间寻找最优解,从而满足组卷要求。实验结果表明,该算法能有效准确的满足从大型试题库选题,其收敛速度和选题质量都有显著提高。     

基于项目反应理论自适应考试系统的设计与应用

在个性化教育中,传统的考试形式正面临着越来越多的问题,统一的试题内容并不适用于各个层次的学生,考试成绩无法准确衡量学生的能力.个性化学习系统中的自适应考试系统(PLCAT),部分地解决了传统考试形式所面临的问题.PLCAT考试系统是基于项目反应理论的Web自适应考试系统,学生可以随时随地使用PLCAT系统进行测试,系统能够根据学生的能力自动选择适合学生的试题,并在考试结束时给出个性化的评价.实践证明,PLCAT系统可以提高考试效率和提高对学生评价的精度,更重要的是,它为个性化教育提供了一种更加有效的测验途径,也为贯彻现代化教育理念,提高学生自主学习能力、创新能力提供了一种新思路.     

4参数GRM对猜测现象和失误现象的纠正

将c、γ参数加入到Samejima等级反应模型中形成4参数等级反应模型(4参数GRM),该模型包含了两级记分1、2、3、4参数Logistic模型、Samejima等级反应模型.4参数GRM适合测验中的多级和两级记分试题,也可以适合两级记分试题的猜测现象和失误现象.Samejima等级反应模型下,被试作答的猜测现象会导致能力高估现象,失误现象会导致能力低估现象.在4参数GRM下,被试能力高估现象和低估现象均得到了有效的纠正.     

计算机化自适应测验技术在情绪智力智能测评中的初步应用——基于项目反应理论

在项目反应理论(IRT)框架下,采用计算机化自适应测验技术实现对情绪智力的智能测评.基于IRT系列分析(含单维性检验、模型拟合检验、局部独立性检验以及项目质量分析),构建了符合IRT测量学要求的情绪智力测评的题库,并以此为基础探讨了计算机化自适应测验技术在情绪智力智能测评(CAT-EI)中的应用.实验结果表明:(i)CAT-EI相关算法具有较高的参数估计精度,同时具有较理想的测量信度和效度;(ii)CAT-EI可使用较少的题量(M_ean=9.88题)达到使用整个题库(67题)的测量精度,它一方面能做到减轻被试的测试负担,另一方面实现了对情绪智力高效、快速、准确的智能测评.总之,该研究为实现对情绪智力智能测评提供了一种新的测量技术支持.     

专业英语多媒体试题库的模型探索

从外语教育测量学的角度出发,对专业英语多媒体试题库的建设模型进行了理论性的探索和论证:采用经典测试理论数学模型,并逐步过渡到项目反应理论模型,在此基础上开发专业英语自适应试题库系统。这是提高外语专业教学质量的有效途径之一。