一种新的支持向量机混合集成算法

针对基于Boosting和Bagging的集成算法不能有效提高"强学习器"泛化性能的问题,融合Boosting的样本扰动和快速核独立分量分析的特征扰动以生成若干个体支持向量分类器,使生成的训练样本集具有较大的差异性。然后基于模糊核聚类算法根据各个体支持向量机在验证集上的泛化误差选择最优个体进行集成。实验结果表明该算法能进一步提高支持向量机分类器的泛化性能,而且具有较强的稳定性。     

基于自适应权值的SVM集成学习方法

提出一种自适应权值的支持向量机集成学习方法。该方法以Bagging方法为基础,结合部分AdaBoost算法权值更新的思想,给各个子分类器赋予权值,同时结合支持向量机本身的特性,对训练数据进行选择,加大训练样本的差异性。相比较传统的Bagging方法,结合SVM的特性来更有针对性的训练错分样本。文中使用4个UCI数据集进行对比实验,结果表明本文算法相比较传统的Bagging算法可以在一定程度上提高分类器的泛化能力。     

一种基于ICA的特征Bagging支持向量机集成方法

为提高支持向量机集成的泛化性能,提出一种基于独立成分分析法的特征Bagging支持向量机集成方法,删除了冗余特征.该方法从得到的独立成分特征空间中提取特征子空间,避免了直接从原特征空间中随机选择特征子空间而导致的对特征依赖或相关性的破坏,提高了个体支持向量机的性能,保证了个体支持向量机之间的差异度.在UCI和Stat-Log数据集合上的仿真实验表明,该方法具有更好的泛化性能.     

Boosting集成支持向量回归机的滑坡位移预测

支持向量回归机(SVR)在实际的学习应用中,由于数据时空的复杂性和算法本身的参数选择,学习模型难以达到预期的效果.针对这个问题,提出了基于Boosting集成的支持向量回归机方法.通过在原始数据集加权采样的基础上,进行多次迭代子SVR机器学习,不断调整样本权值再采样,优化机器学习模型,然后对迭代所得的每级支持向量回归结果按某种组合方法进行集成,得到最终的回归函数形式.应用该方法进行了仿真试验和滑坡变形时序预测研究.结果表明:使用集成的SVR进行回归预测较之单一的SVR具有更高的准确性和更好的泛化性.对Boosting与Bagging 2种不同的集成SVR,进行了比较研究,试验结果表明,2种算法性能相差不大,总体上前者强于后者.     

基于最大间隔的支持向量机特征选取算法研究

支持向量机(Support Vector Machine,简称SVM)是一种有效分类方法.不同特征选取算法对分类器影响不同,结合支持向量机特点,提出了一种基于最大间隔的支持向量机特征选取算法.利用该算法,对Iris测试数据集进行了特征选取并仿真,实验结果表明,该算法不但能够有效去除噪音数据,而且提高了分类器推广与泛化能力.     

基于RSBRA离散化方法的支持向量机集成

提出一种新的基于离散化方法的支持向量机集成算法,该算法采用粗糙集和布尔推理离散化方法构造有差异的基分类器,进一步提高了集成学习机的分类性能.实验结果表明,所提算法具有明显优于单一支持向量机的分类性能,并能取得比传统的集成学习算法Bagging和Adaboost更高的分类正确率.     

基于增量学习向量SVM方法的图像分割应用

为了解决经典支持向量机方法已发现的执行时间长、执行效率低的相关问题,提出基于增量学习向量的支持向量机学习方法。该算法通过对训练样本集合的相关增量学习向量进行训练学习来得到初始支持向量机分类器。利用该初始化分类器在有关条件下针对初始训练样本集进行缩减得到精简缩小集,再应用精简缩小集针对初始支持向量机的分类器反向加工来得到支持向量机的最终分类器。该算法可大幅度降低大容量数据集上支持向量机的学习时间,并且具有很好的泛化能力。为了验证本学习方法的可应用性,从Berkeley图像分割数据集BSDS500和互联网上选取相关彩色图像进行仿真实验。该文实验结果表明:该方法得到分割结果的过程不仅比传统支持向量机耗时少,且与Berkeley图像分割数据集中人工标注结果比较得到较好分割效果。     

基于增量学习向量SVM方法的图像分割应用

为了解决经典支持向量机方法已发现的执行时间长、执行效率低的相关问题,提出基于增量学习向量的支持向量机学习方法。该算法通过对训练样本集合的相关增量学习向量进行训练学习来得到初始支持向量机分类器。利用该初始化分类器在有关条件下针对初始训练样本集进行缩减得到精简缩小集,再应用精简缩小集针对初始支持向量机的分类器反向加工来得到支持向量机的最终分类器。该算法可大幅度降低大容量数据集上支持向量机的学习时间,并且具有很好的泛化能力。为了验证本学习方法的可应用性,从Berkeley图像分割数据集BSDS500和互联网上选取相关彩色图像进行仿真实验。该文实验结果表明:该方法得到分割结果的过程不仅比传统支持向量机耗时少,且与Berkeley图像分割数据集中人工标注结果比较得到较好分割效果。     

基于Bagging的交通拥堵预测研究

针对交通拥堵原因的多元性及单个神经网络拥堵模型准确率不高的特点，设计了一个以BP经网络为弱学习算法、基于Bagging集成学习方法的交通拥堵预测模型．与单个神经网络模型相比，Bagging后的预测模型具有更加优良的性能，可为市内交通预警决策提供分析与支持。     

PCA支持向量机回归集成股市预测应用

利用主成分分析（PCA）方法优选神经网络集成个体,利用支持向量机回归集成生成输出结论,建立一个PCA支持向量机回归集成股市预测模型。试验表明,该模型能有效提高神经网络集成系统的泛化能力,预测精度高,稳定性好。     

构造特征复杂性减低的支持向量机

支持向量机(SVM)较一般的机器学习方法显示出更好的泛化能力.然而,在实际的数据中经常存在着大量冗余、噪声或者不可靠的特征,这严重影响到SVM的性能.因此,有必要减低特征复杂性以获取更好的SVM结果.本文提出了一种基于遗传算法(GA)的嵌入式框架下的特征优化算法,以构造改进SVM.针对选择的UCI成人数据库的实验表明,与原始的SVM相比,提出的改进SVM方法获得了更少的支持向量数目和更好的分类精度.     

基于主元分析与支持向量机的人脸识别方法

基于支持向量机（SVM）在处理小样本，高维数及泛化性能等强方面的优势，提出了一种基于主元分析（PCA）与SVM的人脸识别方法，利用PCA方法对人脸图像进行特征提取，再利用SVM与最近邻分类器相结合的策略对特征向量进行分类识别，剑桥ORL的人极数据库的仿真结构验证了本算法是有效的。     

A Classifier Using Online Bagging Ensemble Method for Big Data Stream Learning

By combining multiple weak learners with concept drift in the classification of big data stream learning, the ensemble learning can achieve better generalization performance than the single learning approach. In this paper,we present an efficient classifier using the online bagging ensemble method for big data stream learning. In this classifier, we introduce an efficient online resampling mechanism on the training instances, and use a robust coding method based on error-correcting output codes. This is done in order to reduce the effects of correlations between the classifiers and increase the diversity of the ensemble. A dynamic updating model based on classification performance is adopted to reduce the unnecessary updating operations and improve the efficiency of learning.We implement a parallel version of EoBag, which runs faster than the serial version, and results indicate that the classification performance is almost the same as the serial one. Finally, we compare the performance of classification and the usage of resources with other state-of-the-art algorithms using the artificial and the actual data sets, respectively. Results show that the proposed algorithm can obtain better accuracy and more feasible usage of resources for the classification of big data stream.     

基于PCA和KPCA特征抽取的SVM网络入侵检测方法

提出一种新颖的基于特征抽取的异常检测方法,应用主分量分析(PCA)和核主分量分析(KPCA)抽取入侵特征,再应用支持向量机(SVM)检测入侵。其中PCA对输入特征做线性变换,而KPCA通过核函数进行非线性变换。利用KDD 99数据集,将PCA-SVM、KPCA-SVM与SVM、PCR、KPCR进行比较,结果显示:在不降低分类器性能的情况下,特征抽取方法能对输入数据有效降维。在各种方法中,KPCA与SVM的结合能得到最优入侵检测性能。     

集成学习中特征选择技术

集成学习和特征选择是当前机器学习领域中的研究热点.集成学习通过重复采样可产生个体学习器之间差异度,从而提高个体学习器的泛化能力,特征选择应用到集成学习可进一步提高集成学习技术的效果,该研究有3个方面：数据子集的特征选择、个体学习器的选择和多任务学习.该文对近几年集成学习中特征选择技术的研究进行回顾,尤其对以上3个方面的研究分别进行总结,提出一些共性的技术指导以后的研究.     

Support Vector Machine Ensemble Based on Genetic Algorithm

Support vector machines （SVMs） have been introduced as effective methods for solving classification problems. However, due to some limitations in practical applications, their generalization performance is sometimes far from the expected level. Therefore, it is meaningful to study SVM ensemble learning. In this paper, a novel genetic algorithm based ensemble learning method, namely Direct Genetic Ensemble （DGE）, is proposed. DGE adopts the predictive accuracy of ensemble as the fitness function and searches a good ensemble from the ensemble space. In essence, DGE is also a selective ensemble learning method because the base classifiers of the ensemble are selected according to the solution of genetic algorithm. In comparison with other ensemble learning methods, DGE works on a higher level and is more direct. Different strategies of constructing diverse base classifiers can be utilized in DGE. Experimental results show that SVM ensembles constructed by DGE can achieve better performance than single SVMs, hagged and boosted SVM ensembles. In addition, some valuable conclusions are obtained.     

支持向量机技术及应用

基于统计学习理论的支持向量机是一种新型的机器学习方法。本文介绍了统计学习理论和支持向量机的原理,对一系列的训练算法进行了探讨和比较。由于SVM具有良好的泛化能力和全局最优性能,已经被应用于模式识别和回归估计等领域,有着良好的应用前景。     

Support vector machine ensemble using rough sets theory

A support vector machine （SVM） ensemble classifier is proposed. Performance of SVM trained in an input space eonsisting of all the information from many sources is not always good. The strategy that the original input space is partitioned into several input subspaces usually works for improving the performance. Different from conventional partition methods, the partition method used in this paper, rough sets theory based attribute reduction, allows the input subspaces partially overlapped. These input subspaces can offer complementary information about hidden data patterns. In every subspace, an SVM sub-classifier is learned. With the information fusion techniques, those SVM sub-classifiers with better performance are selected and combined to construct an SVM ensemble. The proposed method is applied to decision-making of medical diagnosis. Comparison of performance between our method and several other popular ensemble methods is done. Experimental results demonstrate that our proposed approach can make full use of the information contained in data and improve the decision-making performance.     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.