一种加入动态权重的AdaBoost算法

【目的】由于AdaBoost算法弱分类器对各待测样本其投票权重是固定不变的,这会导致使用该算法进行分类时准确性不高,于是针对该问题提出了一种结合静态权重与动态权重的学习算法AdaBoost＿DW。【方法】该算法保留了AdaBoost算法训练阶段产生的全部弱分类器,在预测阶段加入了能度量待测样本与各个弱分类器适应性的动态权重,通过双权重共同决定该弱分类器的投票权重。【结果】实验结果表明,AdaBoost＿DW算法的分类精度绝大多数情况下高于原AdaBoost算法。【结论】证明了动态权重的加入能够提高原AdaBoost算法在各数据集上的分类准确率。     

基于k-means++的多分类器选择分类研究

【目的】机器学习中不同算法适用于具有不同分布特征的数据集。在用整个训练集上训练得到的单个分类器预测新样本类别时,由于缺少对局部区域样本的针对性,可能导致分类器对某一区域数据的预测能力较差而产生错误分类。为了解决这个问题,提出基于k-means+ +的多分类器选择算法。【方法】首先用3种分类综合性能较好的算法———Ada-Boost、SVM、随机森林(RF)在训练集上分别训练得到3个分类器作为候选基分类器,然后利用k-means++算法将训练数据集分为k个簇,用3个候选分类器分别对每个簇进行分类测试,选择对这一簇中数据分类精度最高的分类器作为与它的数据相似数据的分类器。在对新样本进行类别预测时,首先判定样本属于哪个簇,然后用它的分类器进行分类预测。【结果】实验结果表明,新算法在9个UCI数据集上优于单个分类算法。【结论】基于局部区域动态选择最优分类器可以提高模型分类准确性。