模糊偏最小二乘支持向量机的应用研究

基于偏最小二乘回归法和模糊隶属度函数,提出了一种模糊偏最小二乘支持向量机.传统最小二乘支持向量机引入模糊加权系数后,可以根据训练样本点的情况调整折衷系数,有效地提高了最小二乘支持向量机的抗噪性能.同时利用偏最小二乘回归法,克服了求解线性回归方程中自变量向量间的多重相关性问题.利用 sinc 函数对该建模方法进行了测试,并进一步对铜转炉吹炼时间的预测问题进行了仿真研究.仿真结果表明,该建模方法具有预测准确、跟踪性能好的优点.     

基于压缩感知的多核稀疏最小二乘支持向量机

为了提高稀疏最小二乘支持向量机对高维、异构数据的泛化性能,提出新型的基于压缩感知的稀疏多核最小二乘支持向量机算法。首先根据压缩感知理论,用正交匹配追踪算法对最小二乘支持向量机的支持向量进行稀疏化,再利用线性多核扩展法求出新的核函数矩阵。将新的核矩阵应用到最小二乘支持向量机,得到稀疏多核最小二乘支持向量机的解,用稀疏的支持向量实现函数回归。理论分析与数据实验对比结果表明该模型对于高维、异构数据能够更快更准确地进行训练,大大提高了模型的泛化能力和运算速度。     

基于Markov blanket和互信息的集成特征选择算法

针对大量无关和冗余特征的存在可能降低分类器性能的问题,提出一种基于近似Markov blanket和动态互信息的特征选择算法并将其应用于集成学习,进而得到一种集成特征选择算法。该集成特征选择算法运用Bagging方法结合提出的特征选择方法生成基分类器,并引入基分类器差异度进行选择性集成,最后用加权投票法融合所选基分类器的识别结果。通过仿真实验验证算法的有效性,以支持向量机(support vector machine, SVM)为分类器,在公共数据集UCI上进行试验,并与单SVM及经典的Bagging集成算法和特征Bagging集成算法进行对比。实验结果显示,该方法可获得较高的分类精度。     

基于固定半径包围球的核向量回归算法

为了进一步提高核向量回归算法用于大样本回归问题的训练速度,提出了一种改进的核向量回归算法。该算法利用样本数据在特征空间中的映射点确定包围球半径,并使该半径在迭代过程中保持不变。通过缩小核心数据集,提高了回归算法的训练速度。对几组回归时间序列预测的仿真实验表明,改进的核向量回归算法的训练时间和支持向量的数目均小于核向量回归算法,但二者具有相似的回归精度,从而验证了改进的核向量回归算法的有效性。     

基于加权支持向量回归的在线训练算法及应用

针对时变系统的在线辨识问题,提出了一种加权支持向量回归方法,根据时间信息给予历史数据不同的加权,实现了精确在线训练算法,在保持精度的同时避免了采集到新样本时重复训练,大大加快了训练速度。研究了该算法的复杂度并加以改进。将该方法应用于氯气投加系统过程模型的在线辨识,在训练速度和精度上都较为满意,这一结果说明了该算法的有效性。     

改进的稀疏孪生支持向量回归算法

相比传统支持向量机,尽管孪生支持向量机具有较快的计算速度,然而不具备结构风险最小化和稀疏性,易产生过拟合现象。针对这一问题,提出了一种具有稀疏性的改进的孪生支持向量回归算法。通过在目标函数中加入正则项将结构风险最小化原则引入到孪生支持向量回归算法中,改善了算法的回归性能|同时选择训练样本的一个子集代替全部的训练样本,使核函数由方阵转变成矩形阵,从而使算法具有稀疏性,有效减少运算时间。仿真结果证明了该算法的有效性。     

New approach to training support vector machine

1.INTRODUCTIONThe support vector machine(SVM)[1]has been suc-cessful as a high-performance classifier in several do-mains including pattern recognition,data mining,and bioinformatics.It has strong theoretical founda-tions and good generalization capability.Ali mitationof the SVMdesign algorithm,particularly for largedata sets,is the need to solve a quadratic program-ming(QP)probleminvolving a densen×nmatrix,wherenis the number of points in the data set.Since QProutines have highcompl…     

基于LWSVR的繁忙机场航班滑出时间预测

针对繁忙机场航班滑出时间预测准确率低的问题,结合局部回归和加权支持向量回归,提出基于局部加权支持向量回归的离港航班滑出时间预测模型。该模型采用K最近邻方法,减小训练样本集容量,并为每个预测样本构建一个预测模型。通过计算训练样本与预测样本间的马氏距离,来优化加权支持向量回归中高斯核加权函数的带宽参数,获得加权系数。结合某机场离港航班数据仿真分析,实验结果表明模型在误差允许范围内的预测准确率达到83.33%,模型更加稳定。     

一种新的支持向量机快速训练算法

针对大规模数据集的分类中支持向量机的训练,为解决选取样本集合边界向量时需事先判定样本集合是否线性可分的问题,提出一种基于密度法的支持向量预选取方法。该方法不需要事先判定训练样本是否线性可分,具有较强的抗击噪音点和孤立点干扰的能力,并且计算简单,易于实现。实验结果证明了这种方法是有效的。     

支持向量机控制与在线学习方法研究的进展

支持向量机以其模型结构简单、较好的推广能力和全局最优解等特点已经被用来进行智能控制的研究,主要包括采用支持向量机回归的非线性时间序列的建模与预测、系统辨识等建模方面的研究以及优化控制、学习控制和预测控制等方面的研究以及采用支持向量机的故障诊断的研究。由于现有SVMR基于二次规划的优化方法不适合控制过程的在线训练,因此出现了对SVMR在线训练算法的研究。分析了国内外这些研究内容的最新研究进展,旨在探讨归纳支持向量机在控制领域研究的主要成果和存在的问题,以便为进一步的研究提供一定的支持与帮助。     

基于在线支持向量机和遗传算法的预测控制

针对非线性系统模型预测控制中预测模型容易失配且目标函数难以求解的问题,本文提出一种基于在线支持向量机建模和遗传算法滚动优化的模型预测控制方法。该方法利用在线支持向量机建立被控对象的非线性模型,在线支持向量机是一种迭代学习的支持向量机训练算法,可以进行在线训练,从而实现模型在线自校正;并且通过遗传算法求解目标函数的最优控制量,完成滚动优化。对非线性系统的仿真研究结果表明,该方法有效且具有良好的自适性。     

Local spatial properties based image interpolation scheme using SVMs

Image interpolation plays an important role in image process applications. A novel support vector machines （SVMs） based interpolation scheme is proposed with increasing the local spatial properties in the source image as SVMs input patterns. After the proper neighbor pixels region is selected, trained support vectors are obtained by training SVMs with local spatial properties that include the average of the neighbor pixels gray values and the gray value variations between neighbor pixels in the selected region. The support vector regression machines are employed to estimate the gray values of unknown pixels with the neighbor pixels and local spatial properties information. Some interpolation experiments show that the proposed scheme is superior to the linear, cubic, neural network and other SVMs based interpolation approaches.     

Dual membership SVM method based on spectral clustering

A new fuzzy support vector machine algorithm with dual membership values based on spectral clustering method is proposed to overcome the shortcoming of the normal support vector machine algorithm,which divides the training datasets into two absolutely exclusive classes in the binary classification,ignoring the possibility of "overlapping" region between the two training classes.The proposed method handles sample "overlap" efficiently with spectral clustering,overcoming the disadvantages of over-fitting well,and improving the data mining efficiency greatly.Simulation provides clear evidences to the new method.     

基于支持向量信息测度排序的快速分类算法

如何降低支持向量机海量训练样本的数目,是提高算法速度的关键。提出利用支持向量分布的几何特征建立基于特征空间中支持向量信息测度的快速算法,对于训练样本首先进行基于支持向量信息测度升序排序处理,然后根据训练样本提供的信息测度选择合适的训练样本子空间,在该样本子空间内采用乘性规则直接求取Lagrange因子,而不是传统的二次优化方法;最后针对附加残余样本进行交叉验证处理,直到算法满足收敛性准则。各种分类实验表明,提出的算法具有较好的性能,特别是在训练样本庞大、支持向量数量较多的情况下,能够较大幅度地减少计算复杂度,提高分类速度。     

多机器人组合最大覆盖面积寻优及预测方法

针对多机器人协同情况下最大覆盖面积的最优控制问题,提出了—种遵循叠加原则和强度径向衰减圆盘模型的多机器人组合有效覆盖面积估计、寻优、预测方法.使用蒙特卡罗法对机器人组合的有效覆盖面积值进行估算;使用多种群遗传算法得出组合的最大有效覆盖面积;使用支持向量回归机预测机器人个数与最大有效覆盖面积之间的关系.针对寻优以及预测结...     

Improved scheme to accelerate sparse least squares support vector regression

The pruning algorithms for sparse least squares support vector regression machine are common methods,and easily comprehensible,but the computational burden in the training phase is heavy due to the retraining in performing the pruning process,which is not favorable for their applications.To this end,an improved scheme is proposed to accelerate sparse least squares support vector regression machine.A major advantage of this new scheme is based on the iterative methodology,which uses the previous training results instead of retraining,and its feasibility is strictly verified theoretically.Finally,experiments on benchmark data sets corroborate a significant saving of the training time with the same number of support vectors and predictive accuracy compared with the original pruning algorithms,and this speedup scheme is also extended to classification problem.     

支撑矢量机的分类机理

支撑矢量机是根据统计学习理论提出的一种新的学习方法,即使用核函数在高维空间里进行有效的计算.在模式识别中,支撑矢量算法通过训练分类器在某个与输入空间非线性相联的高维空间里进行线性划分,从而构造出非线性判别函数.     

基于自适应稀疏表示的高光谱遥感图像分类

针对多数传统分类算法应用于高光谱分类都存在运算速度慢、精度比较低和难以收敛等问题,从稀疏表示基本理论出发建立了一个基于自适应稀疏表示的高光谱分类模型。利用训练样本构建字典,聚类每一步迭代所产生的余项,将聚类中心作为新的字典原子,然后将测试样本看成冗余字典中训练样本的线性组合,令字典能够更适应于样本的稀疏表示。利用华盛顿地区的HYDICE高光谱遥感数据进行试验,并且与主成分分析、线性鉴别分析、支持向量机、神经网络算法进行比较,结果表明,该算法的总体分类精度比其他算法提高了约12%,有效提高了高光谱影像的分类精度。     

基于EMD-PSR-LSSVM的城市燃气管网短期负荷预测

城市燃气管网短期负荷预测对燃气调度系统的安全与稳定具有重要意义. 为了提高城市燃气管网短期负荷预测精度,建立了基于经验模态分解(EMD)-相空间重构(PSR)-最小二乘支持向量机(LSSVM)的组合预测模型. 首先,运用EMD算法把原始非线性时间序列分解为互不耦合的模态分量,并采用PSR算法确定LSSVM建模中各个分量的输入输出结构; 其次,运用PSO算法对LSSVM建模中的参数进行优化,使用训练好的LSSVM模型对各个IMF分量进行回归预测; 最后运用该组合模型对郑州市燃气管网负荷进行短期预测.结果表明:与LSSVM回归预测和BP神经网络预测模型相比,本文提出的组合模型的预测精度更高,是一种更为有效的城市燃气管网短期负荷预测方法.     

Improved adaptive pruning algorithm for least squares support vector regression

As the solutions of the least squares support vector regression machine(LS-SVRM) are not sparse,it leads to slow prediction speed and limits its applications.The defects of the existing adaptive pruning algorithm for LS-SVRM are that the training speed is slow,and the generalization performance is not satisfactory,especially for large scale problems.Hence an improved algorithm is proposed.In order to accelerate the training speed,the pruned data point and fast leave-one-out error are employed to validate the temporary model obtained after decremental learning.The novel objective function in the termination condition which involves the whole constraints generated by all training data points and three pruning strategies are employed to improve the generalization performance.The effectiveness of the proposed algorithm is tested on six benchmark datasets.The sparse LS-SVRM model has a faster training speed and better generalization performance.