分类器模拟算法及其应用

针对标准数据集在评估多分类器系统的组合方法时存在的不足,设计了一种新的分类器模拟算法.该算法利用分类器的识别率建立混淆矩阵,由混淆矩阵生成基分类器的决策,进而结合分类器之间的相关性度量生成所有的模拟数据.通过实验评估表明,该算法能够模拟任意多个分类器和任意多个模式类别的数据,且能够表达出分类器之间的关联性.又应用生成的模拟数据集对多数投票和堆叠泛化这2种组合方法进行了实验,结果表明分类器之间的负相关有助于提高系统的性能,特别是当单个分类器识别率取0.8、关联度从0.829 5降至-0.484 7时,多数投票和堆叠泛化的性能分别提高了14.98%和41.99%.     

元学习策略及性能评价

为提高分类系统的性能,提出一种统一多种元学习算法的元学习框架,定义并描述了并行和串行两种组合方式.由基分类器的分类结果构成新属性,并加入到特征向量中以形成元数据.通过扩展特征向量,元学习增强了对假设空间的表达能力,降低了系统的偏差.在加州大学提供的标准数据集上对元学习策略进行了实验研究,结果表明:与多数投票、最大规则、最小规则等融合方法实现的多分类器系统相比,并行和串行组合在所用数据集上的平均分类错误率可分别降低39.12%和40.56%,且在n分交叉验证中n值的增加并不能改进分类性能,串行组合中的基分类器的顺序对分类错误率没有显著影响.     

异构集成学习中的观察学习机制研究

集成学习是提高分类精度的一种有效途径,已在许多领域显示出其优于单个分类器的良好性能。观察学习是一种基于社会学习理论的集成学习方法,以往对其研究集中于同构模式。在此提出了基于异构模式的观察学习策略,通过训练、观察、再训练三个阶段完成学习。在UCI标准数据集上对异构环境下的观察学习算法进行了实验研究。结果表明,该方法优于多数投票法和单个分类算法,其对弱分类器组成的分类器集合尤其有效。从偏差/方差分解的角度对观察学习提高分类性能的原因进行了论证,结果表明,观察学习算法既可以降低偏差,也可以降低方差。