一种新的支持向量机混合集成算法

针对基于Boosting和Bagging的集成算法不能有效提高"强学习器"泛化性能的问题,融合Boosting的样本扰动和快速核独立分量分析的特征扰动以生成若干个体支持向量分类器,使生成的训练样本集具有较大的差异性。然后基于模糊核聚类算法根据各个体支持向量机在验证集上的泛化误差选择最优个体进行集成。实验结果表明该算法能进一步提高支持向量机分类器的泛化性能,而且具有较强的稳定性。     

PCA支持向量机回归集成股市预测应用

利用主成分分析（PCA）方法优选神经网络集成个体,利用支持向量机回归集成生成输出结论,建立一个PCA支持向量机回归集成股市预测模型。试验表明,该模型能有效提高神经网络集成系统的泛化能力,预测精度高,稳定性好。     

一种免疫优化的LS-SVR集成算法及其故障预报应用

针对支持向量机集成问题,将最小二乘支持向量回归机作为子回归机,定义子回归机的结构差异度概念,提出一种基于免疫算法优化的多回归机集成方法.该方法首先对各子回归机参数免疫优化,从而减小训练误差;在此基础上选择满足固定差异度的子回归机进行集成,并对集成权值再次优化选择,提高最小二乘支持向量回归机集成的泛化性能.将该方法应用于噪声污染的非线性时间序列的故障预报,利用预测误差反映的故障信息可以实现微小未知故障的快速预报.仿真结果证明了方法的有效性.     

基于独立成分分析和支持向量机的入侵检测方法

提出了一种入侵检测方法,该方法采用独立成分分析方法获取入侵行为模式的高阶统计信息,并将输入模式空间映射到相应的独立成分空间,然后利用支持向量机对小样本、高维数据泛化能力强的特点,在独立成分空间中用支持向量机原理构造广义最优分类超平面.数值实验表明,所提方法可大大降低特征空间维数,具有较好的分类正确性.特别是当高斯核参数σ值在1~3之间时,利用该方法的漏检数仅为标准支持向量机算法的1/9,这说明它能有效地获取入侵行为的本质特征,对新的入侵行为有比较好的识别能力.     

基于主成份分析的Bagging集成学习方法

机器学习中数据集的冗余特征会影响学习器的泛化能力，一些流行方法如支持向量机和集成学习也难免于此．研究了利用主成份分析进行特征变换对Bagging集成学习算法的影响，提出一种称为PCA—Bagging的算法，并与其它算法比如单个支持向量机、支持向量机Bagging集成、带有特征变换的单个支持向量机等进行了性能比较．在多个UCI标准数据集上的实验表明PCA—Bagging算法具有更好的性能，这说明即使是泛化能力很强的集成学习方法其学习的数据也需要进行适当的特征变换。     

基于迹比优化的正交子空间支持向量机

针对多平面支持向量机机器学习算法的分类性能受特征数量限制的问题,提出一种正交子空间支持向量机(orthogonal subspace support vector machine,OSSVM).首先为每类数据寻找一个正交子空间,使得该类数据和其他类数据在子空间中的投影存在较大间隔;然后基于迹比优化提出求解OSSVM模型的迭代算法,再利用核方法将OSSVM扩展为非线性模型.实验结果验证了本文算法在数据分类中具有良好的泛化性能.     

基于量子粒子群的神经网络集成股市预测模型研究

利用量子粒子群改进神经网络集成个体的网络结构和连接权值,利用主成分分析法提高集成个体差异度,形成一组优良的神经网络集成个体,利用支持向量机回归集成生成输出结论,求出非线性时序函数的全局最优解,随即建立一个基于量子粒子群的神经网络集成股市预测模型。试验表明,该模型能有效提高神经网络集成系统的泛化能力,预测精度高,稳定性好。     

泛函理论在支持向量机理论中的应用研究

该文主要探讨泛函理论在支持向量机机器学习理论学科领域中的一些应用。在输入空间中定义一个核函数,在核空间中使用核函数并决定函数的性质,探讨对于是否适合某个特征空间函数必须是对称必要的。泛函理论被支持向量机用于核函数和泛化特性研究,通常不由给定属性的简单线性函数的组合产生,而是在泛函空间中寻找更抽象的特征为特征类别的划分提供了一条新的解决途径。泛函分析理论中探讨Hilbert或Banach抽象空间中函数的泛化性能,抽象空间中的泛化性能有助于提升支持向量机在抽象空间去的学习性能。     

一种新的支持向量机分类器的设计方法

提出了一种新的支持向量机分类器的设计方法.该方法利用主成分分析(PCA)及聚类技术在原问题空间中求解,减少了支持向量机分类器中支持向量的维数,且将原问题空间与特征空间中的问题归结为同一类的设计问题.     

一种新的选择性支持向量机集成学习算法

针对支持向量机(SVM)在应用于集成学习中会失效的问题,提出一种选择性SVM集成学习算法(SE-SVM),利用ξα误差估计法估计个体SVM泛化性度量,并基于负相关学习理论引入差异性度量,通过递归删除法选择出一组泛化性能优良、相互间差异性大的SVM参与集成学习.基于UCI数据的仿真实验表明,SE-SVM能够平均提高SVM的分类正确率0.4%,比常规的Bag-ging集成学习方法和负相关集成学习方法的分类正确率分别提高了0.24%和0.16%.     

基于主元分析与支持向量机的人脸识别方法

基于支持向量机（SVM）在处理小样本，高维数及泛化性能等强方面的优势，提出了一种基于主元分析（PCA）与SVM的人脸识别方法，利用PCA方法对人脸图像进行特征提取，再利用SVM与最近邻分类器相结合的策略对特征向量进行分类识别，剑桥ORL的人极数据库的仿真结构验证了本算法是有效的。     

样本属性重要度的支持向量机方法

支持向量机(SVM)是一种新的机器学习方法,已经广泛应用于模式识别和函数估计等问题中.针对现有的加权支持向量机(WSVM)和模糊支持向量机(FSVM)只考虑样本重要性而没有考虑属性重要性对分类结果的影响的缺陷,提出了基于样本属性重要度的支持向量机方法,该方法首先利用信息论中的信息增益技术计算各个样本特征属性对分类属性的重要度,然后对所有样本的同一特征属性的值分别用对应的属性重要度进行加权,最后所得数据集用于训练和测试SVM.数值实验的结果表明,该方法提高了分类器的分类精度.     

基于离散余弦变换和支持向量机的人脸识别算法

提出了一种基于DCT提取人脸特征技术和支持向量机分类模型的人脸识别方法。利用离散余弦变换可提取人脸可识别的大部分信息,而支持向量机作为分类器,在处理小样本、高维数等方面具有独特的优势,且泛化能力很强,无需先验知识。从ORT人脸库上的实验结果可以看出,DCT特征提取是很有效的,且SVM的分类性能优于最近邻分类器,同时提高了整个系统的运算速度。     

构造特征复杂性减低的支持向量机

支持向量机(SVM)较一般的机器学习方法显示出更好的泛化能力.然而,在实际的数据中经常存在着大量冗余、噪声或者不可靠的特征,这严重影响到SVM的性能.因此,有必要减低特征复杂性以获取更好的SVM结果.本文提出了一种基于遗传算法(GA)的嵌入式框架下的特征优化算法,以构造改进SVM.针对选择的UCI成人数据库的实验表明,与原始的SVM相比,提出的改进SVM方法获得了更少的支持向量数目和更好的分类精度.     

滚动轴承故障程度识别

针对实际运行滚动轴承的故障程度问题,提出一种诊断滚动轴承故障程度的方法.深入研究滚动轴承的故障机理、振动信号的时域特征以及不同程度故障对滚动轴承运行的影响进行了,广泛分析振动特征提取方法和支持向量机的算法,采用了小波包能量法提取状态特征,使用新型二叉树支持向量机的多类分类算法.实验结果表明采用小波包提取状态特征和支持向量机可以滚动轴承故障程度识别,模型的学习、泛化能力强.     

电液伺服阀状态在线特征提取和异常检测方法

基于电液伺服阀的动态工作特性,提出一种新的特征提取方法.将一类支持向量机用于电液伺服阀的在线异常检测,通过交叉有效性估计学习方法优化一类向量机参数,并与神经网络的诊断结果进行对比.实验结果表明,所提出的特征提取方法能够有效地提取电液伺服阀的动态特征信息,同时利用一类支持向量机优良的泛化能力能够有效地对电液伺服阀的异常状态进行识别.     

Support vector machine ensemble using rough sets theory

A support vector machine （SVM） ensemble classifier is proposed. Performance of SVM trained in an input space eonsisting of all the information from many sources is not always good. The strategy that the original input space is partitioned into several input subspaces usually works for improving the performance. Different from conventional partition methods, the partition method used in this paper, rough sets theory based attribute reduction, allows the input subspaces partially overlapped. These input subspaces can offer complementary information about hidden data patterns. In every subspace, an SVM sub-classifier is learned. With the information fusion techniques, those SVM sub-classifiers with better performance are selected and combined to construct an SVM ensemble. The proposed method is applied to decision-making of medical diagnosis. Comparison of performance between our method and several other popular ensemble methods is done. Experimental results demonstrate that our proposed approach can make full use of the information contained in data and improve the decision-making performance.     

泛化的统一切比雪夫多项式核函数

针对分布稀疏、特征不明显的小样本数据回归中的属性冗余问题,基于统一切比雪夫多项式,提出了一种向量形式输入的可变正交多项式核函数——泛化的统一切比雪夫多项式核函数.新的核函数通过利用统一切比雪夫多项式的正交性和可变性扩大了函数的搜索空间,通过调整多项式阶数有效地控制了特征空间维数,从而解决了稀疏数据回归中的属性冗余问题.另外,利用Mercer定理证明了该核函数的有效性.在多组标准数据集和实际工程数据集上对核函数的性能进行了实验对比,结果证明新的核函数预测精度较高,泛化能力较好,在大多数标准数据集上的性能优于其他切比雪夫多项式核函数.