一种新的支持向量机混合集成算法

针对基于Boosting和Bagging的集成算法不能有效提高"强学习器"泛化性能的问题,融合Boosting的样本扰动和快速核独立分量分析的特征扰动以生成若干个体支持向量分类器,使生成的训练样本集具有较大的差异性。然后基于模糊核聚类算法根据各个体支持向量机在验证集上的泛化误差选择最优个体进行集成。实验结果表明该算法能进一步提高支持向量机分类器的泛化性能,而且具有较强的稳定性。     

一种最大化样本可分性半监督Boosting算法

针对数据实际分布与假设不匹配时半监督学习算法难以改善分类器性能的问题,该文提出一种最大化样本可分性半监督Boosting算法,通过引入"高密度区域局部散度最小、样本空间全局散度最大"准则来学习未标注的样本。该准则使用两种半监督假设(聚类假设和流形假设),减少了因半监督假设与数据不匹配造成的准确率下降问题。实验结果表明,该文算法有效提高了Boosting算法在符合聚类假设数据集和符合流形假设数据集上的准确性,提高了分类器噪声数据的稳定性。     

基于Boosting的支持向量机组合分类器

Boosting是一种有效的分类器组合的方法,文章提出用一个改进的Boosting方法对支持向量机分类器进行集成学习,得到Boosting-MultiSVM分类器;试验结果表明,基于Boosting的支持向量机训练是一个收敛过程,相比标准的支持向量机分类器,Boosting-MultiSVM分类器的泛化性能有不同程度的提高。     

结合加权KNN和自适应牛顿法的稳健Boosting方法

Boosting是机器学习领域中重要的集成学习方法，以AdaBoost为代表的Boosting算法通过在组合弱学习器时不断加强对错分类样本的关注以构建性能优异的强学习器，而该训练机制对噪声点的无差别对待易引发学习器对噪声过拟合，从而削弱算法的稳健性.针对该问题，提出结合加权KNN和自适应牛顿法的稳健Boosting方法.该方法首先通过加权KNN估计样本的噪声先验概率，然后使用噪声先验概率修正Logit损失构建一种新的损失函数，最后采用自适应牛顿法进行损失函数的优化求解.提出方法引导分类器在给予错分类样本更高权重的同时，对噪声先验概率大的样本给予相应的惩罚，使噪声样本的权重得到有效的缩减.结果表明，与其他稳健Boosting方法对比，在不同噪声水平下以及真实的医疗数据集的不同评价指标下，该方法表现出更好的稳健性，具有明显的应用价值.      

基于SVM的多类分类集成

为了解决单个SVM可能产生的泛化能力恶化问题以及当SVM采用一对多组合策略解决多类分类时可能产生的误差无界情况,本文采用Bagging方法构造了一个基于SVM的多类分类集成模型,利用MIT KDD 99数据集进行仿真实验,通过实验探讨了其中的两个参数——训练样本数和单分类器个数对集成学习效果的影响,并将其与采用全部样本进行训练及部分样本进行训练的单分类器检测进行了比较。结果表明：集成学习算法能够有效降低采用全部样本进行训练所带来的计算复杂性,提高检测精度,而且也能够避免基于采样学习带来检测的不稳定性和低精度。     

一种改进的AdaBoost算法——M-AsyAdaBoost

提出一种Asymmetric AdaBoost改进算法——M-Asy AdaBoost.M-Asy AdaBoost算法通过新的样本权重分配方式可以确保训练过程不失败;分类器权重采用对正样本的分类错误率形成优化权重,突出对正样本的识别能力,提高检测概率;并且通过对加入分类器集的分类器的限制,使检测概率单调增加.该算法在较低虚警概率下,达到高检测概率.计算机仿真结果验证了算法的正确性.     

基于辅助分类生成对抗网络的纸币红外特征鉴伪算法

针对假币的特征未知以及样本数量不平衡的局限性问题,提出基于半监督辅助分类生成对抗网络的纸币红外特征鉴伪算法.辅助分类生成对抗模型可以扩充样本的数据集,经过半监督的方式训练得到分类器进行分类,实现对纸币红外特征的鉴伪.实验结果表明,该算法能提高假币鉴伪的准确率以及泛化能力.     

基于支持向量机的图像检索主动学习方法

为解决基于内容的图像检索中训练集样本过小问题,本文提出一种结合相关反馈和支持向量机的主动学习算法,首先计算未标注样本到分类超平面的距离以及与当前训练集中样本的余弦距离和,然后取具有总的最大余弦距离同时到超平面距离最短的样本加入训练集,通过增加最具信息的样本到训练集,使得分类器可通过少量反馈次数而快速达到较高的准确性.试验表明,本文算法能有效提高分类器的分类精度和泛化能力,在减少评价样本数量的前提下,可快速收敛于用户定义的目标查询概念.     

模式识别中基于Boosting的特征筛选

提出了一种基于Boosting的特征筛选算法.根据Boosting分类训练时的训练错误率、训练过程中错误率的收敛速度以及测试错误率确定特征影响因子;利用这些影响因子对待识别目标的特征进行排序,去除冗余特征,以降低特征空间的维数.对于筛选后保留的特征,根据其影响因子进行加权,以提高目标识别的准确率.用该方法可避免其它分类学习器训练时的过学习现象,生成的分类器模型小,识别速度快,适用于对特征不易确定的目标识别.     

代价敏感的直推式支持向量机算法

针对不均衡数据集下分类超平面偏移导致直推式支持向量机样本标记准确率低的问题,结合动态代价和TSVM算法,提出一种代价敏感的TSVM算法,该算法依据类样本的空间分布信息计算类错分代价,利用KKT条件选择对当前分类超平面有影响的样本加入下一轮迭代,该算法可以提高初始分类器的分类性能,减少错误的传递和累积,从而提高标注准确率,增强最后分类器的泛化性能.最后在UCI数据集上的实验结果表明该算法在不均衡数据集下的有效性.     

Boosting算法的理论分析

以AdaBoost算法为例介绍Boosting算法,概括其理论分析。回顾了关于Boosting的近期工作,包括AdaBoost训练误差和泛化误差的分析以及AdaBoost在分类问题的扩展。     

基于粗糙集的决策树集成学习算法

【目的】为提高决策树集成的泛化能力和效率,解决集成全部决策树的情况下有时并不显著提高精度、反而导致额外存储和计算开销的问题,提出一种基于粗糙集的决策树集成学习算法。【方法】该算法基于粗糙集理论,从训练的全部决策树中选择一部分进行集成。【结果】与目前流行的集成学习算法Bagging和Boosting相比,本文提出的算法有效地减小了集成规模,并获得更好的泛化能力。【结论】该算法提高了决策树集成的泛化能力和效率。     

AUCBoost算法处理不平衡分类问题

在现实生活中很多应用都包含了对不平衡数据集的分类.由于不平衡数据集中多数类与稀有类的数量相差较大,所以大多数分类算法都不能够很好地对稀有类样本进行分类,而通常稀有类才是我们首要关心的,这就给不平衡数据的分类提出了挑战,为了更好地处理不平衡数据集的分类问题,本文提出了一种以基分类器的ROC曲线下面积(AUC面积)为分类权重的AUCBoost分类算法.     

基于Boosting算法的垃圾邮件过滤方法研究

为解决垃圾邮件过滤的精确度和有效性问题,提出了一种基于邮件内容过滤的垃圾邮件过滤方法,该方法采用Boosting算法构造了一种垃圾邮件过滤器,利用该垃圾邮件过滤器实现对垃圾邮件的过滤. 本文借鉴文本分类和信息检索领域所使用的评价指标,构建了垃圾邮件过滤器的评价体系,利用该评价体系,针对基于Boosting算法所构造的垃圾邮件过滤器对垃圾邮件的过滤实验所得到的数据进行了测试和评估,测试和评估的结果验证了Boosting算法在垃圾邮件过滤中的有效性,其性能优于传统的贝叶斯算法.      

基于改进Boosting算法的夜间运动车辆检测

针对夜间交通场景中运动车辆目标提取及实时检测困难的问题,引入改进的Boosting模糊分类算法,提出了一种新的基于车头灯的夜间运动车辆检测方法.通过SIFT算法和融合多特征的方法精确提取夜间运动车辆车头灯特征,利用遗传算法优化Boosting模糊分类算法,并以加权投票方式对提取的车头灯特征进行分类判别,最后结合车头灯空间、运动信息及灯光颜色信息进行同车车头灯配对分组,实现夜间运动车辆的实时检测.实验表明,该方法在夜间交通环境中具有良好的实时检测效果和较高鲁棒性.     

利用概率增进树和路径形态学的遥感道路条带提取

针对高分辨率遥感影像复杂道路提取难题,提出一种利用概率增进树和路径形态学的遥感道路条带提取方法。通过一维Gabor滤波器提取道路角度纹理特征,融合光谱特征构建特征矢量。设计训练样本数据集,利用概率增进树算法提取道路候选点。针对具有一定曲率的复杂道路,兼顾直线和弯曲道路,设计4个主方向邻接图检测线状或条带状道路,改进二值路径形态学为概率路径形态学剔除大多数非道路点。针对小面积噪声和条带孔洞问题,采用数学形态学的方法弥补条带孔洞,得到完整道路条带。结果表明:提取道路条带的准确率达到了88.99%,提取结果较为理想。     

基于自适应特征选择的夜间运动车辆检测算法

针对夜间交通环境的特点,提出了基于自适应特征选择的夜间运动车辆检测算法.首先,利用SIFT算法提取夜间运动车辆的形状特征,并融合颜色和纹理特征,得到夜间运动车辆的特征向量;其次,利用Boosting算法和遗传算法以迭代形式获取模糊规则及其权值;然后,采用Boosting算法以加权投票方式自适应选取对检测最有利的特征,从而实现自适应特征选择;最后,对夜间交通场景下3种不同道路情况进行实验.实验结果表明,在遮挡、光照及背景干扰等复杂情况下,该方法可以根据背景信息的不同自适应地选择特征,实现夜间车辆的实时检测,鲁棒性较好,可以满足智能交通系统的实时性和准确性的要求.     

基于提升的BAN组合分类器

提升是一种有效的分类器组合方法,它能够提高不稳定学习算法的分类性能,但对稳定的学习算法效果不明显.BAN(BN augmented Nave-Bayes)是一种增强的贝叶斯网络分类器,通过提升很容易提高其分类性能.文中比较了GBN(general BN)和BAN的打包分类器Wrapping-BAN-GBN与基于提升的BAN组合分类器Boosting-BAN,最后通过实验结果显示了在大多数实验数据上,Boosting-BAN分类器显示出较高的分类正确率.