基于Bootstrap-异质SVM集成学习的肺结节分类方法

为了对肺结节的良、恶性诊断形成定量的客观分析和提高良、恶性的分类正确率,针对肺结节CT图像提出了一种基于Bootstrap-异质SVM的集成学习方法.首先,采用模糊聚类图像分割方法提取肺结节,计算提取出的结节特征参数用于学习分类.然后,以支持向量机(SVM)在不同核函数下的不同性能构造高差异性的子学习器,在子学习器中引入Bootstrap算法来提高其学习精度,通过集成学习方法实现学习器分类性能的整体改善.对146个(40个良性,106个恶性)肺结节样本分别利用单个SVM、BP神经网络和Bootstrap-异质SVM集成学习方法进行了学习测试,获得的最高分类正确率分别为80%,、82%,和90%,.实验结果表明:提出的Bootstrap-异质SVM集成学习方法将单个SVM分类器的最高正确率提高了10%,,同时也获得了高于BP神经网络8%,的分类正确率和较好的学习稳定性,有效地改善了机器学习在不平衡数据集下对肺结节良恶性的分类能力.     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

基于改进RADAG-SVM的电力变压器故障诊断

为提高变压器故障诊断的正确率,提出一种基于改进重排序自适应有向无环图(reordering adaptive directed acyclic graph,RADAG)支持向量机(support vector machines,SVM)的电力变压器故障诊断方法.该方法首先利用基于K折交叉验证和人工蜂群算法优化SVM的核函数和惩罚因子参数,使二分类SVM获得最佳的分类性能;其次,为进一步提高多分类SVM的性能,提出利用交叉确认机制估计每个二分类SVM的泛化能力的方法,并将其用于改进RADAGSVM的分类精度.最后,给出基于改进RADAG-SVM的变压器故障诊断流程并进行实例分析.结果表明,所提方法、原始RADAG-SVM和基于结点优化的DDAG-SVM方法对变压器故障诊断的平均正确率分别为94.16%,87.85%和90.77%.因而,与其他2种诊断方法相比,所提方法具有较好的故障诊断效果.     

通过特征权学习增强支持向量机的泛化能力

在分类问题中,支持向量机(SVM)首先将样本映入某一高维特征空间,并在此空间中构造具有最大间隔的分类超平面.由Vapnik的统计学习理论知道,SVM泛化能力的强弱与分类超平面间隔的大小有十分密切的关系:分类平面的间隔越大,SVM的泛化能力就越强.本文提出了一种通过特征权学习来增加分类超平面的间隔,从而增强SVM泛化能力的方法.仿真试验表明,该方法对提高SVM的泛化能力是有效的.     

增量构造负相关异构神经网络集成的方法

基于负相关异构网络,提出了一种增量构造异构神经网络集成(NNE)的方法.该方法在训练成员网络时,不仅调整网络的连接权值,而且动态调整网络的结构,从而在提高单个网络精度的同时增加各成员网络之间的差异度,减小网络集成的泛化误差.该方法包括构造最佳异构网络(BHNN)和构造异构网络集成(HNNE)两个部分,BHNN基于负相关学习动态构造多个最佳网络,HNNE利用训练好的最佳网络增量地构造异构NNE.使用网络泛化误差和集成泛化误差,整个集成过程可自动完成,无需预先确定成员网络的结构.分别对回归和分类问题进行了实验,相对于单个网络,该方法在测试数据集上的错误率降低了17%～85%,与已有的Boosting、Bagging等网络集成方法相比,错误率也有不同程度的改善.     

基于知识蒸馏的差异性深度集成学习

深度神经网络模型在图像识别、语音识别等领域表现出了优异的性能,但高性能的模型对计算资源提出了更高的要求,存在难以部署于边缘设备的问题,对此提出一种基于知识蒸馏的差异性深度集成学习。首先对成员模型进行知识蒸馏,然后使用余弦相似度作为损失函数的正则化项对成员模型进行集成,最后得到训练好的模型。在MNIST(Mixed National Institute of Standards and Technology)和CIFAR10(Canadian Institute for Advanced Research)数据集上的试验结果表明,基于知识蒸馏的差异性深度集成学习在压缩模型的同时将模型的分类准确率提升至83.58%,相较于未经蒸馏的原始模型,分类准确率提高了4%,在压缩模型的同时提高模型的泛化性能。基于知识蒸馏的差异性深度集成学习打破了模型的压缩必然以泛化性能为代价这一认知,为模型集成提供了新的研究思路。     

采用互补信息熵的分类器集成差异性度量方法

针对多分类器系统差异性评价中无法直接处理模糊数据的问题,提出了一种采用互补信息熵的分类器集成差异性度量(CIE)方法。首先利用训练数据生成一系列基分类器,并对测试数据进行分类,将分类结果依次组合生成分类数据空间;然后采用模糊关系条件下的互补信息熵度量分类数据空间蕴含的不确定信息量,据此信息量判断基分类器间的差异性;最后以加入基分类器后数据空间差异性增加为选择分类器的基本准则,构建集成分类器系统,用于验证CIE差异性度量与集成分类精度之间的关系。实验结果表明,与Q统计方法相比,利用CIE方法进行分类器集成,平均集成分类精度提高了2.03%,分类器系统集成规模降低约17%,而且提高了集成系统处理多样化数据的能力。     

基于差异性度量的选择性神经网络集成

基于神经网络间的差异性,提出一种选择性神经网络集成方法.该方法利用差异性度量,选择满足一定条件的个体神经网络组成神经网络集成,选出的个体神经网络既满足个体的精度要求,又满足个体神经网络之间的差异性要求.理论分析和实验结果表明,利用该方法能够提高神经网络集成的分类识别率.     

基于支持向量机的主动学习方法及其实现

根据主动学习可以有效地减少标注样本的代价这一特点,设计了一种基于SVM的主动学习方法.仿真实验中,检验分类正确率和F测度这两类评估指标,结果表明基于SVM的主动学习的学习效果优于被动学习.     

基于SVM的多类分类集成

为了解决单个SVM可能产生的泛化能力恶化问题以及当SVM采用一对多组合策略解决多类分类时可能产生的误差无界情况,本文采用Bagging方法构造了一个基于SVM的多类分类集成模型,利用MIT KDD 99数据集进行仿真实验,通过实验探讨了其中的两个参数——训练样本数和单分类器个数对集成学习效果的影响,并将其与采用全部样本进行训练及部分样本进行训练的单分类器检测进行了比较。结果表明：集成学习算法能够有效降低采用全部样本进行训练所带来的计算复杂性,提高检测精度,而且也能够避免基于采样学习带来检测的不稳定性和低精度。