AdaBoost分类问题的理论推导

为解决AdaBoost算法在二分类问题及多分类问题上缺乏共同的理论基础,算法系列的系统性难以得到理论诠释这一问题,首先,从算法思想的层面对AdaBoost算法与最优贝叶斯推理的关系进行了探讨;然后对AdaBoost算法的训练流程及相关参量进行了定量分析;最后从基本不等式定理入手,重点推导了AdaBoost算法由二分类问...     

组合凸线器和Hadamard纠错码相结合的多类文本分类算法

提出了一种组合凸线器和Hadamard纠错码相结合的多类文本分类算法,利用Hadamard纠错码将多类分类问题转换成多个二分类问题,对每个二分类问题,采用组合凸线器构造二分类器,使用海明距离判定待分类文本类别.在标准数据集Reuters 21578上进行了文本分类实验,分类结果表明,与支持向量机多类分类算法1-a-r、1-a-1和DAGSVM相比,该算法不仅提高了分类精度,而且分类速度有较大幅度的提高.     

一种处理不均衡多分类问题的特征选择集成方法

为解决不均衡多分类问题，提出一种特征选择和AdaBoost的集成方法。首先，数据进行预处理。利用WSPSO算法进行特征选择，根据特征重要性选取初始粒子构建初始种群，使得算法初期就可以沿着正确的搜索方向开展，减少不相关特征的影响。其次，利用AdaBoost算法对于样本权重较敏感的特点，增强对小类样本的关注度。并且利用AUCarea作为评价标准，相对于其他评价标准，AUCarea具有可视化的优点且对较差AUC更加敏感。最后，与其他几种不均衡分类算法在不平衡数据集上进行对比，结果证明该算法可有效处理不均衡多分类问题。     

一种基于聚类和AdaBoost的自适应集成算法

为同时保证基分类器的准确性和差异性, 提出一种基于聚类和AdaBoost的自适应集成算法. 首先利用聚类算法将训练样本分成多个类簇; 然后分别在每个类簇上进行AdaBoost训练并得到一组分类器; 最后按加权投票策略进行分类器的集成. 每个分类器的权重是自适应的, 且为基于测试样本与每个类簇的相似性及分类器对此测试样本的分类置信度计算得到. 实验结果表明, 与AdaBoost,Bagging(bootstrap aggregating)和随机森林等代表性集成算法相比, 该算法可取得更高的分类精度.     

特征提取与多目标机器学习研究及应用

特征提取与多目标机器学习算法是基于多目标协同EA提出的,该算法通过对学习样本多属性进行特征提取找出其核属性,由核属性与其他非核属性组成属性组,从而提高了分类的精度。各属性组再按相似性和类标签进行有监督地聚成类簇,类簇个数和中心根据适应度矢量函数通过机器学习算法自动确定,这样类簇个数和中心就不受主观因素的影响并且保证了这两个关键要素的优化性质。待分类样本的类属是按离某个类簇中心距离最近邻法则和该类簇的类标签来判定。最后,将算法应用到UCI数据集中的Liver Disorders和Hepatitis两个数据集,以及浙江省北部地区夏天异常高温天气预测。通过实验表明,特征提取与机器学习算法优于著名的朴素贝叶斯、C4.5、SVM算法。     

一种加入动态权重的AdaBoost算法

【目的】由于AdaBoost算法弱分类器对各待测样本其投票权重是固定不变的,这会导致使用该算法进行分类时准确性不高,于是针对该问题提出了一种结合静态权重与动态权重的学习算法AdaBoost＿DW。【方法】该算法保留了AdaBoost算法训练阶段产生的全部弱分类器,在预测阶段加入了能度量待测样本与各个弱分类器适应性的动态权重,通过双权重共同决定该弱分类器的投票权重。【结果】实验结果表明,AdaBoost＿DW算法的分类精度绝大多数情况下高于原AdaBoost算法。【结论】证明了动态权重的加入能够提高原AdaBoost算法在各数据集上的分类准确率。     

多分类贪婪算法的一致性

学习理论中,许多学习算法可以描述为一个最小化适当损失函数的贪婪过稗．贪婪算法小依赖于所估计问题的参数的数目,在处理较弱条件的统计估计问题中具有较大的优势．本文研究基于凸风险最小化方法的多分类贪婪算法,推广二分类的学习问题到多分类的情形,建立了多分类贪婪算法的估计误差,证明了该学习算法的一致性。     

基于支持向量机的多类分类算法研究

基于支持向量机的多类分类方法通常采用多个标准的二分类支持向量机来求解,在一对一多类分类方法的基础上,通过对构成分类边界的超平面的研究,引入了"核空间距离",并提出有效的算法减少分类超平面的数量,并在UCI数据库上进行实验,结果表明能够提高测试效率以及分类精确度,减少了过学习问题的产生,具有更好的推广性能。     

用聚类支持向量机模型监测环保设备运行状态

针对环保设备多状态监测与识别问题,提出了一种基于多分类聚类支持向量机的分类算法模型.该算法模型充分利用多个相关联被监测设备及其状态属性特征,采用神经网络聚类分析获得关联特征的聚类子空间,再对聚类子空间构造二叉树支持向量机进行多分类识别.该算法模型避免了盲目分类,与单纯的支持向量机算法比较具有更好的分类性能.通过对日本大晃船用污水处理装置实测样本的训练、检验表明,该算法具有98%以上的分类识别率.     

基于量子演化理论的行人检测改进算法

对视频中移动摄像头下的行人检测问题进行了研究,在AdaBoost行人分类算法、支持向量机(SVM)理论和多目标优化原理的基础之上,并结合三者的特点,提出了一种基于量子演化算法的行人检测优化算法。首先,使用传统的AdaBoost算法对行人进行粗粒度的分类,然后使用支持向量机(SVM)设计精度更高的行人检测器。针对SVM的分类器参数多、关系复杂,而且无好的调节准则,根据核函数的构建条件,将实值量子演化算法引入到SVM参数的寻优问题中,对于分类性能采用多目标优化的方法,取得了较好的效果;同时从理论上分析了算法的复杂度。经过实例测试,算法与经典多目标优化算法NSGA-II的相比,改进效果明显。最后的实验说明了算法检测的准确性。     

Boosting算法的理论分析

以AdaBoost算法为例介绍Boosting算法,概括其理论分析。回顾了关于Boosting的近期工作,包括AdaBoost训练误差和泛化误差的分析以及AdaBoost在分类问题的扩展。     

结合一致性准则的粗糙集属性约简算法

文章从属性选择角度对粗糙集属性约简概念进行扩展,在属性约简综合多重属性选择标准方面做了初步的研究。将属性类内一致性选择标准与粗糙集属性约简结合,以获得抗噪的约简;设计了一种全局最优算法和一种次优filter算法,从分类正确率、最简性及类内类间距离方面对一致性判据JC进行了测试,实验结果显示一致性高的属性约简集优于其他约简集。     

基于属性约简的加权朴素贝叶斯分类算法

朴素贝叶斯在处理分类问题上简单高效,通常它假设属性间是条件独立的,且各属性变量对类变量的影响程度是相同的,但在实际应用中这些都难以被满足,从而使得其分类性能降低.因此,提出基于属性约简的加权朴素贝叶斯分类算法,该算法首先根据各属性不同取值的分类能力及属性间的对称不确定性大小,去除了无关属性和冗余属性,使得筛选后的属性之间具有较低的关联度和较强的分类能力;然后再结合属性与类变量及属性间的相关性对各属性进行加权;最后对待判样本进行分类.经实验结果表明,该算法有效地提升了朴素贝叶斯的分类性能.     

基于聚类和SVM的数据分类方法与实验研究简

提出一种新的数据分类方法,K-均值聚类分组支持向量机(CG-SVM)方法,在不删减任何样本信息的情况下,该方法使用轮廓系数作为类分离度量参数对数据的正、负类样本进行聚类、分组,对小组进行交叉结合训练,得到不同的SVM分类器,根据测试样本到聚类中心欧氏距离的加权来选择合适的SVM分类器进行类别判断,该方法实现了一个二分类问题转化为多个细分的二分类过程,效果由差变好.对所提方法分别进行了仿真数据和实际数据分类实验.实验结果表明,与传统的SVM方法相比,该算法可以有效地提高分类的准确率.     

AdaBoost图像到类距离学习的图像分类方法

近年来,距离度量学习已经成为图像分类领域的研究热点之一,图像到类距离的度量作为其中的一种方法,取得了不错的分类效果.该方法是一种非参数方法,但由于缺少训练学习,其分类性能很容易受干扰因素的影响,为此提出一种基于AdaBoost算法的图像到类距离学习的图像分类方法 .首先将图像到类的距离进行阈值化处理,并使用线性分段函数作为图像到类距离的评价函数,然后将该评价函数作为弱分类器加入到AdaBoost算法中生成一个强分类器.为了选择最优的弱分类器,使用粒子群优化算法确定图像的相似性阈值,再基于权重错误误差最小化原则得到距离评价函数的两个评价值.最后通过实验验证,该方法在Scene-15和Caltech-101图像数据集上比其他方法有更好的分类效果.     

基于改进朴素贝叶斯算法的文本分类研究

朴素贝叶斯算法在给定输出类别的情况下，需假设属性之间相互独立，然而现实中这个假设一般不成立，导致在属性个数较多或者属性之间相关性较大时，分类效果不是很理想。为了解决这个问题，本文采用优化的模糊C均值聚类及权重计算方法改进朴素贝叶斯算法。首先，基于JS散度构造类别个数的自适应函数优化模糊聚类算法，利用优化后的算法将文本分类整理。然后，采用词频因子优化的TF-IDF算法计算分类后各样本的特征权重，结合样本权重与贝叶斯公式，进行分类计算。最后，为了体现改进的朴素贝叶斯算法的有效性和优越性，将其与原始朴素贝叶斯算法以及其他改进算法进行对比实验。实验结果表明，改进后的算法有效地降低了朴素贝叶斯模型对特征项独立性的要求，提高了分类决策的准确率，且在分类性能和效率上具有一定的优越性。     

基于聚类和SVM的数据分类方法与实验研究

提出一种新的数据分类方法,K-均值聚类分组支持向量机(CG-SVM)方法,在不删减任何样本信息的情况下,该方法使用轮廓系数作为类分离度量参数对数据的正、负类样本进行聚类、分组,对小组进行交叉结合训练,得到不同的SVM分类器,根据测试样本到聚类中心欧氏距离的加权来选择合适的SVM分类器进行类别判断,该方法实现了一个二分类问题转化为多个细分的二分类过程,效果由差变好.对所提方法分别进行了仿真数据和实际数据分类实验.实验结果表明,与传统的SVM方法相比,该算法可以有效地提高分类的准确率.     

多阶段聚类—朴素贝叶斯的异常检测

针对异常检测手段用来标定数据集中明显的不同于其他数据的对象,提出多阶段聚类旨在解决噪声数据的引入和缺失属性样本的处理,并改变传统的贝叶斯分类的被动学习为主动学习的方式来构造性能优越的分类器。在数据预处理阶段,利用密度聚类滤去噪声点,密度聚类的输出作为下一阶段的K-means聚类的输入,提高了K-means的分类准确率。K-means负责对缺失属性的样本进行处理。在分类阶段,利用adaboost学习算法优化朴素贝叶斯分类器,使其获得较好的分类效果。     

基于AdaBoost的弱分类器选择和整合算法

针对传统AdaBoost算法在人脸检测中训练耗时和误检率高的问题,提出一种改进的AdaBoost算法.新算法在基于PSO的AdaBoost算法基础上对弱分类器的选择和整合两个阶段进行改进.弱分类器选择阶段,在使用PSO迭代选择最佳弱分类器之前,剔除部分无用特征,缩小粒子搜索空间;弱分类器整合阶段,在采用基于核函数的非线性感知器算法优化调节弱分类器参数的过程中使用一种新的与正样本分类能力有关的弱分类器初始参数.采用基于MIT数据库的实验结果表明,本文算法比基于PSO的AdaBoost算法在检测性能上有明显提高.     

基于一类SVM概率密度估计的多分类贝叶斯算法研究

为降低训练分类器的运算复杂度，并解决支持向量机（SVM）对多类分类问题没有特别有效解决方法的问 题。提出了一种基于一类支持向量机的多分类贝叶斯算法，证明了基于径向基核函数的一类SVM的分类函数归 一化为密度函数，并将所得的概率密度函数用于构造二分类及多分类贝叶斯分类器。仿真实验将提出的多分类贝 叶斯算法应用于多类通信信号调制识别，结果表明：该算法的分类准确率不低于传统SVM多分类器，而在多类属、 每类训练样本数目较大的情况下训练所需的运算量和存储量仅是传统SVM多分类算法的0.5%大大减小了核 矩阵规模和