Modified L-P小波最小二乘支持向量机及在动态系统辩识中的应用

为了提高动态系统的辩识品质,提出了-种新的可调带宽多维支持向量小波核函数-modifiedL-P小波核函数.理论E证明了这种核函数是满足平移不变核定理的支持向量核函数.由于该核函数具有平移伸缩正交性,而且适用于信号的局部分析、信噪分离和突变信号的检测,从而提升了支持向量机的泛化性能.应用Modified L-P小波核作为最小二乘支持向量机的核函数,可以简化计算复杂性,提高学习效率.回归实验和动态系统辩识的仿真结果表明,Modified L-P小波核函数最小二乘支持向量机的建模和逼近能力优于基于L-P小波核函数或高斯核函数最小二乘支持向量机,更适合工程应用.     

用于回归估计的最小二乘广义支持向量机

提出了一种用于回归估计的最小二乘广义支持向量机.这种最小二乘广义支持向量机的核函数同标准的支持向量机相比没有或者只有很少的限制.将这种用于回归估计的最小二乘广义支持向量机表示成标准的二次规划(QP)问题,采用基于矩阵分裂的超松弛法同投影梯度法相结合的算法来解这一QP问题.根据超松弛法的特点,这一算法可以处理大量数据的情形.     

最小二乘支持向量机分类器的高稀疏化及应用

为减少训练完毕之后的最小二乘支持向量机的分类计算量,借鉴神经网络的快速剪枝策略,提出了一种新的稀疏化算法:HS-LSSVM。它在主成分分析基础上,筛选出样本子集作为支持向量,它们既包含较多核函数矩阵信息,又相互独立性强,具有较好的代表性。算法将其余个体的信息转移至支持向量上,在实现高度稀疏化的同时,良好地保持了LSSVM的分类性能,并能适用于多类问题。对多个分类问题的测试表明,HS-LSS-VM具有稀疏率高,分类性能强,且稀疏化速度较快等优点。     

基于GA优化小波LS-SVR的惯性器件故障预报

为了提高最小二乘支持向量回归机的性能,将Morlet小波核函数引入其中,形成了最小二乘小波支持向量回归机模型。利用待优化的参数重构模型的目标函数和约束条件,并在此基础上通过遗传算法进行参数选择,从而提高了该模型的泛化能力。将最小二乘小波支持向量回归机应用于导弹陀螺仪的漂移趋势预测,仿真实验结果表明了该方法的有效性和可行性,因此可以为陀螺仪的故障预报、可靠性辅助决策提供依据。     

不平衡最小二乘支持向量机

针对标准的最小二乘支持向量机(LSSVM)没有考虑样本分布不平衡的问题提出一种称为不平衡最小二乘支持向量机的算法.首先用标准的最小二乘支持向量机对原始数据进行初步训练,产生一个分离超平面的法向量.然后把高雏样本投影到该法向量上得到一维数据.最后由该一维数据的标准差以及样本数量差异所提供的信息,给出两类数据惩罚因子比例,再用标准的最小二乘支持向量机进行第二次训练,对分离超平面进行调整.该方法克服传统方法只考虑数量的不平衡的不足,将原有样本集中具有的分类信息充分提取出来,提高了最小二乘支持向量机的泛化能力.实验结果表明,所提方法可以有效提高不平衡数据的分类性能.     

最小二乘支持向量机在强化学习系统中的应用

将连续状态空间下的Q学习构建为最小二乘支持向量机的回归估计问题,利用最小二乘支持向量机良好的泛化以及非线性逼近性能实现由系统状态-动作对到Q值函数的映射。为了保证计算速度以及适应Q学习系统在线学习的需要,最小二乘支持向量机的训练样本是窗式移动的,即在Q学习系统学习的同时获取样本数据并进行最小二乘支持向量机的训练。小车爬山控制问题的仿真结果表明该方法学习效率高,能够有效解决强化学习系统连续状态空间的泛化问题。     

基于粒子群最小二乘支持向量机的软测量建模

针对最小二乘支持向量机处理大规模样本软测量建模问题时出现模型结构复杂、失去支持向量稀疏性且正规化参数和核参数难以确定的情况,提出了一种改进的算法。利用样本间马氏距离进行样本相似程度分析,去除样本集中部分样本以简化模型结构并提高计算速度,此外应用改进的带扰动项粒子群算法优化模型参数以提高模型的拟合精度和泛化能力。将提出的改进算法用于丙烯腈收率软测量建模,研究结果表明模型精度较高、泛化性能好,满足现场测量要求。     

基于均匀试验设计的支持向量回归参数选择方法

支持向量机通过引入核函数将低维空间的非线性问题转化为高维空间的线性问题,克服了维数灾难,并展现了极好的学习能力.但是在支持向量回归分析中,核函数的选取和模型参数的选择目前都没有十分有效的方法.针对高斯核函数的情况,首先通过理论分析和数值仿真,给出了模型参数的选取范围,然后结合均匀试验设计和偏最小二乘回归,提出了一种快速有效的模型参数选择方法.理论分析和实例计算表明该方法选取的模型参数确实能够得到泛化能力较好的回归模型.     

基于核主元分析和最小二乘支持向量机的软测量建模

软测量技术是工业过程控制和分析的有力工具，它的核心问题是如何建立学习速度快且泛化性能优良的软测量模型。提出了一种基于棱主元分析（KPCA）和最小二乘支持向量机（LSSVM）的软测量建模方法，利用核主元分析提取软测量输入数据空间中的非线性主元，然后用最小二乘支持向量机进行建模，不但降低模型复杂性，而且提高了模型泛化能力。最后将上述方法用于PTA结晶过程的软测量建模，仿真结果表明：与SVM、PCA-SVM建模方法相比，该KPCA-LSSVM方法具有学习速度快、跟踪性能好、泛化能力强等优点，是一种有效的软测量建模方法。     

基于最优LS-SVM的制导工具误差分离与折合

将最小二乘支持向量机方法应用于制导工具误差分离于折合。利用线性核函数获得了工具误差系数的估计,然后利用交叉验证技术推导了最小二乘支持向量机最优参数的选择准则。该准则的计算是基于模型求解的中间参数,所以并没有增加很多的计算量。最后根据六自由度弹道仿真软件进行了特殊弹道与全程弹道的仿真。仿真计算表明,与最小二乘和主成份方法相比,最优最小二乘支持向量机获得的误差系数估计与真值更加接近,折合得到的全程弹道遥外差更加准确。     

改进的稀疏孪生支持向量回归算法

相比传统支持向量机,尽管孪生支持向量机具有较快的计算速度,然而不具备结构风险最小化和稀疏性,易产生过拟合现象。针对这一问题,提出了一种具有稀疏性的改进的孪生支持向量回归算法。通过在目标函数中加入正则项将结构风险最小化原则引入到孪生支持向量回归算法中,改善了算法的回归性能|同时选择训练样本的一个子集代替全部的训练样本,使核函数由方阵转变成矩形阵,从而使算法具有稀疏性,有效减少运算时间。仿真结果证明了该算法的有效性。     

Improved adaptive pruning algorithm for least squares support vector regression

As the solutions of the least squares support vector regression machine(LS-SVRM) are not sparse,it leads to slow prediction speed and limits its applications.The defects of the existing adaptive pruning algorithm for LS-SVRM are that the training speed is slow,and the generalization performance is not satisfactory,especially for large scale problems.Hence an improved algorithm is proposed.In order to accelerate the training speed,the pruned data point and fast leave-one-out error are employed to validate the temporary model obtained after decremental learning.The novel objective function in the termination condition which involves the whole constraints generated by all training data points and three pruning strategies are employed to improve the generalization performance.The effectiveness of the proposed algorithm is tested on six benchmark datasets.The sparse LS-SVRM model has a faster training speed and better generalization performance.     

直接支持向量回归机

将超平面偏置项平方加入到最小二乘支持向量回归机(LSSVMR)的目标函数中,提出直接支持向量回归机(DSVMR)。该方法增强了求解问题的凸性,与LSSVMR相比,只需要求解一个与核矩阵类似的对称正定矩阵的逆就可以得到问题的解,再使用Cholesky分解和SMW(Sherman-Morrison-Woodbury)求逆公式,降低了计算复杂度,加快了学习速度,而且逼近能力与LSSVMR近乎相同。最后数值试验表明DSVMR可行且完全具有上述优势。     

基于遗传算法的改进径向基支持向量机及其应用

通过对径向基核函数进行分析后发现:根据样本各个特征的识别能力赋予其不同大小的核参数,可以提高支持向量机的推广能力。此结论基础上,提出了一种基于遗传算法的多核参数径向基支持向量机算法,通过遗传算法最小化验证误差,实现了根据各个特征的识别能力赋予其不同大小的核参数。将该算法用于轴承故障诊断,实验结果表明,与传统支持向量机相比,多核参数径向基支持向量机具有更好的推广能力,同时,核参数的大小反映了对应特征识别能力的大小。     

基于多核学习的在线非线性自适应滤波算法

在在线非线性自适应滤波应用中,由于基于多核学习的算法具有更高自由度并且能够利用更多数据特征,相比基于单核学习的算法在性能上有很大提升。首先给出具有相同“字典”的多核仿射投影算法,该算法是多核学习方法和仿射投影算法的结合。然后基于相干准则针对多核仿射投影算法的特例,对应不同高斯核带宽,利用相干稀疏准则构造不同“字典”,提出利用自适应l₁范数正则项来解决归一化多核最小均方非线性自适应滤波算法在非平稳信号下“字典”存在冗余核函数的问题。最后数值仿真结果与比较验证了所提算法的有效性。     

模糊偏最小二乘支持向量机的应用研究

基于偏最小二乘回归法和模糊隶属度函数,提出了一种模糊偏最小二乘支持向量机.传统最小二乘支持向量机引入模糊加权系数后,可以根据训练样本点的情况调整折衷系数,有效地提高了最小二乘支持向量机的抗噪性能.同时利用偏最小二乘回归法,克服了求解线性回归方程中自变量向量间的多重相关性问题.利用 sinc 函数对该建模方法进行了测试,并进一步对铜转炉吹炼时间的预测问题进行了仿真研究.仿真结果表明,该建模方法具有预测准确、跟踪性能好的优点.     

Toeplitz矩阵有限等距特性研究

在压缩感知热潮的影响下,观测矩阵的有限等距特性（restricted isometry property, RIP）也受到广泛关注。大多数理论研究表明高斯随机矩阵是满足RIP特性的,但由于其存储成本较高,物理实现较复杂,在实际使用中托普利兹（Toeplitz）随机矩阵由于可以使用快速离散傅里叶变换实现而受到青睐。该文将图论中点均匀着色定理和盖尔圆盘定理应用于压缩感知中,对托普利兹观测矩阵的RIP特性进行了证明,证明结果表明,由服从某种特定概率分布的项构造的Toeplitz矩阵以较大概率满足有限等距特性。最后,对最小二乘算法（least square,LS）、线性最小均方误差（linear minimum mean square error,LMMSE）算法和高斯观测矩阵的压缩感知算法以及Toeplitz观测矩阵的压缩感知算法进行了对比分析,Toeplitz观测矩阵的压缩感知算法在性能方面要优于高斯观测矩阵的压缩感知算法和传统算法,运算复杂度方面要优于高斯随机矩阵,为压缩感知实现无失真地重构原始信号提供了理论和应用参考。     

基于极限学习机和boosting多核学习的目标跟踪算法

如何构造鲁棒的分类器一直是基于判别式的目标跟踪算法研究的热点,近些年多核学习通过线性组合多个核分类器达到了更好的分类性能,受到了广泛的关注。传统的多核学习需要解复杂的最优化问题,很难直接应用到目标跟踪中,因此提出一种基于boosting学习框架的多核学习算法,使目标跟踪在复杂场景下可以保持跟踪的实时性和准确性。为了进一步减少计算量和提升分类性能,采用极限学习机(extreme learning machine,ELM)作为基分类器,ELM结构简单,训练速度非常快,并且比支持向量机有更好的泛化能力。最后,将本文算法与其他先进的跟踪算法在多个公开视频序列中进行比较,验证了本文算法性能的有效性。     

基于导频的OFDM信道估计小波核SVM算法

针对传统多径衰落下的OFDM导频信道估计性能低下,地板效应的缺陷,提出了基于导频的小波递归最小二乘支持向量机(WRLS-SVM)时变信道频率估计算法。首先讨论了小波成为核函数的条件,构造了小波核。然后将根据结构风险递归二乘最小化准则回归估计支持向量机原理,把导频训练序列映射到高维空间,并在高维空间采用结构小波核函数,达到了将低维空间的非线性估计转化为高维空间的线性估计的目的。仿真结果表明,在快衰落信道条件下,小波递归最小二乘支持向量机导频信道估计方法可以获得较好误码性能。该方法优于传统的信道插值方法。