Improved adaptive pruning algorithm for least squares support vector regression

As the solutions of the least squares support vector regression machine(LS-SVRM) are not sparse,it leads to slow prediction speed and limits its applications.The defects of the existing adaptive pruning algorithm for LS-SVRM are that the training speed is slow,and the generalization performance is not satisfactory,especially for large scale problems.Hence an improved algorithm is proposed.In order to accelerate the training speed,the pruned data point and fast leave-one-out error are employed to validate the temporary model obtained after decremental learning.The novel objective function in the termination condition which involves the whole constraints generated by all training data points and three pruning strategies are employed to improve the generalization performance.The effectiveness of the proposed algorithm is tested on six benchmark datasets.The sparse LS-SVRM model has a faster training speed and better generalization performance.     

原空间中最小二乘支持向量机的新算法

为了解决原空间中最小二乘支持向量机的解缺乏稀疏性的缺点,提出了Pruning法、MFCV法和IMFCV法并对BDFS法进行了修改和运用。对一个不含有奇异点的系统而言,Pruning法、BDFS法和MFCV法在一定程度上都能实现原空间中最小二乘支持向量机解的稀疏性。BDFS法无论是训练时间还是预测时间都比Pruning法短;和MFCV法比起来,虽然BDFS法的训练时间短,但比MFCV的预测时间长。对一个含有奇异点的系统而言,Pruning法几乎失去了效用;虽然BDFS和MFCV法的训练时间都比IMFCV法的训练时间短,但IMFCV法能成功抑制奇异点从而缩短预测时间。     

基于压缩感知的多核稀疏最小二乘支持向量机

为了提高稀疏最小二乘支持向量机对高维、异构数据的泛化性能,提出新型的基于压缩感知的稀疏多核最小二乘支持向量机算法。首先根据压缩感知理论,用正交匹配追踪算法对最小二乘支持向量机的支持向量进行稀疏化,再利用线性多核扩展法求出新的核函数矩阵。将新的核矩阵应用到最小二乘支持向量机,得到稀疏多核最小二乘支持向量机的解,用稀疏的支持向量实现函数回归。理论分析与数据实验对比结果表明该模型对于高维、异构数据能够更快更准确地进行训练,大大提高了模型的泛化能力和运算速度。     

基于重复训练提高SVM识别率的算法

持向量机 (supportvectormachine ,SVM)作为一种新的模式识别算法 ,在许多模式识别问题上表现出了良好的识别性能和推广能力。和其它模式识别方法一样 ,如何进一步提高识别率一直是研究的热点。通过分析SVM的分类机理 ,提出了一种基于重复训练的SVM算法。该算法以较小的训练代价 ,通过提高支持向量在样本中的比例 ,提高了SVM的识别性能。基于重复训练的SVM算法为提高识别率提供了一种新的思路 ,也为SVM算法的自学习奠定了基础。     

改进的稀疏孪生支持向量回归算法

相比传统支持向量机,尽管孪生支持向量机具有较快的计算速度,然而不具备结构风险最小化和稀疏性,易产生过拟合现象。针对这一问题,提出了一种具有稀疏性的改进的孪生支持向量回归算法。通过在目标函数中加入正则项将结构风险最小化原则引入到孪生支持向量回归算法中,改善了算法的回归性能|同时选择训练样本的一个子集代替全部的训练样本,使核函数由方阵转变成矩形阵,从而使算法具有稀疏性,有效减少运算时间。仿真结果证明了该算法的有效性。     

LS-SVM与多层前向网络的非线性回归性能比较

在阐述支持向量机(SVM)和最小二乘支持向量机(LS-SVM)的原理并比较了两者的优缺点后,将LS-SVM与多层前向网络中的两种典型网络BP网络和RBF网络,分别应用于装载机载重动态测量的非线性函数回归估计中,对这三种网络在函数逼近和泛化能力两方面的性能进行比较研究。仿真结果表明,LS-SVM在精度和泛化性能两方面做到了最好的折衷,是用于非线性函数回归分析的一种很有效的方法。     

An Improved Sensor Fault Diagnosis Scheme Based on TA-LSSVM and ECOC-SVM

Monitoring the operational state of sensors promptly and the accurate diagnosis of faults are essential. This paper proposes an improved fault diagnosis scheme for sensors, which includes both fault detection and fault identification. Firstly, trend analysis combined with least squares support vector machine (TA-LSSVM) method is proposed and implemented to detect faults. Secondly, an improved error correcting output coding-support vector machine (ECOC-SVM) based fault identification method is proposed to distinguish different sensor failure modes. To demonstrate the effectiveness of the proposed scheme, experiments are conducted with an MTi-series sensor, and some comparisons are made with other fault identification methods. The experimental results demonstrate that the proposed fault diagnosis scheme offers an essential improvement with detection real-time property and better identification accuracy.     

Novel algorithm for constructing support vector machine regression ensemble

1 .INTRODUCTIONRecently , support vector machine (SVM)[1]is anovel and promising technique in the fields of ma-chine learning and classification or regression pre-diction accompanying artificial neural network.InSVM,several learning algorithms can be obtainedgiven different inner-product functions named ker-nel functions ,such as polynomial approach,Bayes-ian classification、radial basic function method、multilayer perceptron network[2]. By now,it hasbeen successfully applied in many ar…     

模糊偏最小二乘支持向量机的应用研究

基于偏最小二乘回归法和模糊隶属度函数,提出了一种模糊偏最小二乘支持向量机.传统最小二乘支持向量机引入模糊加权系数后,可以根据训练样本点的情况调整折衷系数,有效地提高了最小二乘支持向量机的抗噪性能.同时利用偏最小二乘回归法,克服了求解线性回归方程中自变量向量间的多重相关性问题.利用 sinc 函数对该建模方法进行了测试,并进一步对铜转炉吹炼时间的预测问题进行了仿真研究.仿真结果表明,该建模方法具有预测准确、跟踪性能好的优点.     

Local prediction of the chaotic fh-code based on LS-SVM

Support vector machine （SVM） is powerful to solve some problems such as nonlinear classification, function estimation and density estimation. To consider the chaotic fh （frequency hopping）-code＇s characters in chaotic dynamic system, the forecasting model of the support vector machine in combination with Takens＇ delay coordinate phase reconstruction of chaotic times is established and the least squares model for large-scale problems is used in local training for this model. Finally, a fh-code series generated by Logistic-Kent mapping is applied to verify the local prediction model. Simulation results show that the high accuracy and fault tolerant SVM model has an excellent performance in predicting the fh code, with a very low mean square error and a high relative coefficient.     

基于粒子群支持向量机的模拟电路故障诊断

针对传统神经网络技术在模拟电路故障应用中存在的问题,提出了一种基于粒子群算法(particle swarm optimization, PSO)和最小二乘支持向量机(least squares support vector machine, LSSVM)的模拟电路故障诊断的方法。该方法首先利用小波包技术对待诊断电路的可测点信息提取故障特征,然后使用粒子群算法优化支持向量机的结构参数,避免了参数选择的盲目性,提高了模型的诊断精度。在对某滤波电路进行的故障检测中,验证了该方法的可行性。     

Improved scheme to accelerate support vector regression

The computational cost of support vector regression in the training phase is O(N3), which is very expensive for a large scale problem. In addition, the solution of support vector regression is of parsimoniousness, which has relation to a part of the whole training data set. Hence, it is reasonable to reduce the training data set. Aiming at the scheme based on k-nearest neighbors to reduce the training data set with the computational complexity  O(kMN2), an improved scheme is proposed to accelerate the reducing phase, which cuts down the computational complexity from O(kMN2) to O(MN2). Finally, experimental results on benchmark data sets validate the effectiveness of the improved scheme.     

基于自适应稀疏表示的高光谱遥感图像分类

针对多数传统分类算法应用于高光谱分类都存在运算速度慢、精度比较低和难以收敛等问题,从稀疏表示基本理论出发建立了一个基于自适应稀疏表示的高光谱分类模型。利用训练样本构建字典,聚类每一步迭代所产生的余项,将聚类中心作为新的字典原子,然后将测试样本看成冗余字典中训练样本的线性组合,令字典能够更适应于样本的稀疏表示。利用华盛顿地区的HYDICE高光谱遥感数据进行试验,并且与主成分分析、线性鉴别分析、支持向量机、神经网络算法进行比较,结果表明,该算法的总体分类精度比其他算法提高了约12%,有效提高了高光谱影像的分类精度。     

PSO-LSSVM灰色组合模型在地下水埋深预测中的应用

针对LSSVM参数难以确定和单一方法预测精度不高的问题, 提出一种基于粒子群优化LSSVM灰色组合预测模型的学习方法. 利用粒子群算法的收敛速度快和全局优化能力, 优化LSSVM模型的惩罚因子和核函数参数. 避免了人为选择参数的盲目性. 在同一时刻利用不同长度序列的灰色预测方法对历史数据进行初步预测, 将初步预测结果的组合作为LSSVM的输入, 该时刻的实际值作为输出, 进行训练建立灰色LSSVM组合预测模型, 提高了模型的推广预测能力. 选取三江平原某地区1985年至2006年地下水埋深实测数据, 建立PSO-LSSVM组合预测模型. 通过两种方式对模型进行检验, 与其他模型相比, 该组合模型具有较高的预测精度.     

基于LS-SVM的特征提取及在凝点软测量中的应用

提出了一种基于最小二乘支持向量机(LS-SVM)回归算法的特征提取新方法,并将其成功应用于柴油凝点近红外(NIR)光谱软测量建模。在该方法中,将特征提取公式表达成与LS-SVM回归算法相同的形式,这样就能通过LS-SVM求取最优的特征投影向量。用一个含120个样本的401维柴油近红外光谱数据集进行测试,通过该方法提取后,原始光谱数据集的特征被降到了6维并保留了原有99.58%的信息。同时,用该数据建立的软测量模型具有更快的学习速度和更高的测量精度。实验结果验证了所提的特征提取新方法应用于近红外光谱特征提取的可行性和有效性。     

最小二乘支持向量机分类器的高稀疏化及应用

为减少训练完毕之后的最小二乘支持向量机的分类计算量,借鉴神经网络的快速剪枝策略,提出了一种新的稀疏化算法:HS-LSSVM。它在主成分分析基础上,筛选出样本子集作为支持向量,它们既包含较多核函数矩阵信息,又相互独立性强,具有较好的代表性。算法将其余个体的信息转移至支持向量上,在实现高度稀疏化的同时,良好地保持了LSSVM的分类性能,并能适用于多类问题。对多个分类问题的测试表明,HS-LSS-VM具有稀疏率高,分类性能强,且稀疏化速度较快等优点。     

基于EMD-PSR-LSSVM的城市燃气管网短期负荷预测

城市燃气管网短期负荷预测对燃气调度系统的安全与稳定具有重要意义. 为了提高城市燃气管网短期负荷预测精度,建立了基于经验模态分解(EMD)-相空间重构(PSR)-最小二乘支持向量机(LSSVM)的组合预测模型. 首先,运用EMD算法把原始非线性时间序列分解为互不耦合的模态分量,并采用PSR算法确定LSSVM建模中各个分量的输入输出结构; 其次,运用PSO算法对LSSVM建模中的参数进行优化,使用训练好的LSSVM模型对各个IMF分量进行回归预测; 最后运用该组合模型对郑州市燃气管网负荷进行短期预测.结果表明:与LSSVM回归预测和BP神经网络预测模型相比,本文提出的组合模型的预测精度更高,是一种更为有效的城市燃气管网短期负荷预测方法.     

基于最优LS-SVM的制导工具误差分离与折合

将最小二乘支持向量机方法应用于制导工具误差分离于折合。利用线性核函数获得了工具误差系数的估计,然后利用交叉验证技术推导了最小二乘支持向量机最优参数的选择准则。该准则的计算是基于模型求解的中间参数,所以并没有增加很多的计算量。最后根据六自由度弹道仿真软件进行了特殊弹道与全程弹道的仿真。仿真计算表明,与最小二乘和主成份方法相比,最优最小二乘支持向量机获得的误差系数估计与真值更加接近,折合得到的全程弹道遥外差更加准确。     

直接支持向量回归机

将超平面偏置项平方加入到最小二乘支持向量回归机(LSSVMR)的目标函数中,提出直接支持向量回归机(DSVMR)。该方法增强了求解问题的凸性,与LSSVMR相比,只需要求解一个与核矩阵类似的对称正定矩阵的逆就可以得到问题的解,再使用Cholesky分解和SMW(Sherman-Morrison-Woodbury)求逆公式,降低了计算复杂度,加快了学习速度,而且逼近能力与LSSVMR近乎相同。最后数值试验表明DSVMR可行且完全具有上述优势。     

基于支持向量机元模型的随机鲁棒设计

随机鲁棒设计是一种基于蒙特卡洛仿真的优化设计方法.通常情况下,对于复杂仿真模型的随机鲁棒设计时间开销很大.为减小随机鲁棒设计过程中的时间开销,使用参数最优的最小二乘支持向量机替代仿真模型进行随机鲁棒设计.使用标准粒子群优化算法搜索支持向量机参擞和控制器参数的寻优.通过一个基准测试问题证明了该方法的可行性.