最小二乘支持向量机鲁棒回归算法研究

最小二乘支持向量机因模型学习过程中以二次损失函数为经验风险,造成学习结果对噪声特别敏感。鉴于实际问题中噪声不可避免、不可预测,且分布规律难寻,该文主要研究最小二乘支持向量机的鲁棒性增强算法,以提高其抵抗噪声与异常值的能力。通过分析得知,样本的局部异常因子与噪声大小间具有很大的相关性,因此提出了用于非线性回归问题的局部异常因子概念;并将其应用于最小二乘支持向量机模型学习时最优损失函数的确定中,提出了基于样本局部异常因子的直接加权最小二乘支持向量机鲁棒回归算法。为验证所提出算法的性能,该文最后以2个典型非线性对象为例,将其与原最小二乘支持向量机、文献中已有的基于预估噪声分布的加权最小二乘支持向量机进行了对比。对比结果表明,所提出的直接加权最小二乘支持向量机算法具有更好的鲁棒性。     

基于贝叶斯最小二乘支持向量机的时用水量预测模型

为解决传统最小二乘支持向量机采用交叉验证确定模型参数耗时长的问题，提出利用贝叶斯置信框架推断最小二乘支持向量机的模型参数．通过第1级推断确定最小二乘支持向量机的权矢量w和偏置项b，通过第2级推断确定模型的超参数μ和ξ，通过第3级推断的模型对比自动选择核函数的系数．根据时用水序列具有周期性和趋势性的特点，建立了基于贝叶斯推断最小二乘支持向量机的时用水量模型．实例分析结果表明，与基于传统最小二乘支持向量机和基于BP网络的预测模型相比，基于贝叶斯最小二乘支持向量机的时用水量预测模型的建模速度更快，预测精度更高．     

最小二乘支持向量机的理论及应用研究

介绍了支持向量机(SVM)的数学原理和最小二乘支持向量机(Least Squares Support Vector Machines,LSSVM)的数学原理与应用研究。在支持向量机中采用的是二次规划方法,而最小二乘支持向量机则用最小二乘线性系统作为损失函数从而取代它,这样就利用等式约束的方法取代了不等式约束,最终演变为对线性方程组的求解,使求解的速度得到提高,求解的收敛精度得到提升。将最小二乘支持向量机与偏最小二乘法、标准支持向量机进行了对比。最终表明,LS-SVM计算结果更准确,更简单,内存的占有量也较少,计算时间短,耗时少,是一个很有应用价值的研究方向。     

基于改进最小二乘支持向量机的导弹备件消耗预测

在系统分析武器装备备件预测方法研究现状和导弹备件消耗特点的基础上,提出把粗糙集、熵权法、自适应粒子群优化算法与加权最小二乘支持向量机的组合预测模型应用于导弹备件消耗预测的构想。首先阐述了粗糙集、信息熵、自适应粒子群优化算法和加权最小二乘支持机的基本原理,并改进了自适应粒子群优化算法的搜索方式和最小二乘支持向量机的加权方法;然后建立了基于粗糙集、熵权法和自适应粒子群优化加权最小二乘支持向量机的导弹备件消耗预测模型,并分析了其实现过程。实例结果表明,所建立的组合预测模型在进行导弹备件消耗预测时具有较高的精度和重要的实用价值。     

基于多核对称最小二乘支持向量机的永磁同步电机混沌建模

针对永磁同步电机在一定情况下呈现混沌特性且混沌模型难以精确获得的情况,提出了一种基于多核对称最小二乘支持向量机的回归建模方法.在最小二乘支持向量机模型中增加对称性的约束条件,构成对称最小二乘支持向量机.将多核学习的方法与对称最小二乘支持向量机相结合,构造由多个基本核函数线性组合而成的新的等价核,用于建立永磁同步电机的混沌回归模型.仿真结果表明,与一般最小二乘支持向量机相比,该方法能够降低单个核函数的选择对建模精度的影响,提高混沌建模精度.     

基于改进克隆选择算法的最小二乘支持向量机

针对最小二乘支持向量机的参数选取问题,引入了克隆选择算法,提出了一种基于改进克隆选择算法的最小二乘支持向量机。同时根据最小二乘支持向量机的学习能力和泛化能力,在克隆选择算法的目标函数中加入两者的动态调节机制,这样改进的克隆选择算法在寻优过程中能够准确、快速地搜索到最小二乘支持向量机的最优参数。将本文模型用于乙烯裂解炉裂解深度值的学习和预测,经仿真实验表明：该预测模型的训练速度快,预测精度高。     

基于最小二乘支持向量机的滤波器设计

为了改善传统方法设计滤波器的幅频响应性能,提出了基于最小二乘支持向量机的滤波器设计方法．优化选择最小二乘支持向量机参数,以理想滤波器的幅度响应作为学习样本,通过最小二乘支持向量机训练,使得实际滤波器的幅度响应逼近理想滤波器的幅度响应．仿真结果表明,由该方法设计的一维和二维滤波器性能接近于理想滤波器．     

基于加权最小二乘支持向量机的下水道可燃气体分析

下水道可燃气体分析是城市下水道可燃气体监测预警系统的重要组成部分.该文针对BP神经网络对下水道可燃混合气体分析存在速度慢、容易陷入局部最优,以及标准最小二乘支持向量机鲁棒性差的缺点,建立了一种基于加权最小二乘支持向量机(WLS-SVM)的下水道可燃气体分析模型.加权最小二乘支持向量机模型采用最小二乘线性系统,对误差变量进行权值设定,提高了学习速度和学习精度.仿真结果表明:基于WLS-SVM的下水道可燃气体分析模型优于所比较的BP神经网络和最小二乘支持向量回归机2种模型,具有优良的预测精度和鲁棒性.     

一种基于最小二乘支持向量机的葡萄酒品质评判模型

对源自UCI数据库的葡萄酒数据进行预处理,选取径向基函数作为最小二乘支持向量机的核函数;然后,根据"一对一"算法设计出最小二乘支持向量机多元分类器,并应用交叉验证算法对参数寻优,建立葡萄酒质量评判模型.同时,用BP神经网络、标准支持向量机分类器对葡萄酒进行训练.对比实验结果表明:最小二乘支持向量机比BP神经网络、标准支持向量机的平均分类准确率高,最高分类准确率为100%.     

基于最小二乘支持向量机的信号回归

基于支持向量机核函数的条件和Sobolev Hilbert空间H1(R;a,b)的再生核,提出了一种称为最小二乘支持向量机的新的回归模型,并将该回归模型应用于信号回归的仿真实验中.实验表明,最小二乘支持向量机的核函数采用再生核是可行的,它优于常用的高斯核函数.     

支持向量机与最小二乘法的关系研究

研究了支持向量机 (SVM)在二次损失函数下的优化问题解的形式 ,并与普通的最小二乘 (L S)估计问题进行了比较 ,得到了几乎完全一致的优化问题形式。由于 SVM在二次损失函数下的优化问题对应于一个欠定问题 ,该问题在最小二乘估计中有最小范数解。如果 SVM的参数选择合适 ,从理论上可以证明采用二次损失函数的 SVM函数拟合问题实际为约束最小二乘估计问题 ,并且该问题的解对应于最小范数最小二乘解。由于最小化范数解实际是 SVM在取某些参数时的一个特例 ,如果能够自动调整这些参数 ,则得到一类最小化范数解。由此提出了采用 SVM解决最小二乘法问题的思想 ,由于 SVM的优点 ,使解更加符合实际情况     

基于相对误差的曲线最小二乘拟合

分析了最小二乘法的研究历史与现状,给出了高斯最小二乘法的几种研究思路,但是这些研究方法都没有考虑到高斯最小二乘法本身的缺陷。将通过一个实际的算例来分析高斯最小二乘法的缺陷基于绝对误差大体相同的前提之下,否则会产生很大的误差。在绝对误差相差不多的情况下,较小的数据的有可能产生较大的相对误差,这显然与实际情况不符。但通常情况下,观测数据往往按被观测量的相对误差进行评价,也就是说,被观测量越大,允许的实际观测量的误差也越大。从这个角度出发,将给出改进的最小二乘法。同时,从理论上证明其对应的法方程组的解是存在且唯一。最后给出相应的仿真算例,与高斯最小二乘法作比较,得到较好的结论。     

偏最小二乘建模及其多重共线抑制能力分析

首先,分析偏最小二乘法解决问题的思路,进而从数学角度刻画偏最小二乘法的四步建模过程.然后,利用数学归纳法证实偏最小二乘法对多重共线的抑制能力.最后,以某地区的供水能力评价为研究实例,证实偏最小二乘法的有效性.结果表明:偏最小二乘法完全适用于多变量复杂关系的求解.     

最小二乘模糊支撑向量机研究

支撑向量机是以统计学习理论为基础,以结构风险最小化（Structure Risk Minimization,SRM）为原则的新型学习机,已经广泛地用于模式识别、回归估计、函数逼近、密度估计等方面。在对已有的分类问题的SVM算法的研究分析基础上,结合Lin和Wang提出的模糊支撑向量机模型和现有的最小二乘支撑向量机模型得出最小二乘模糊支撑向量机模型。     

线性流形上W准反对称矩阵的加权最小二乘解

通过矩阵的奇异值分解得到了线性流形上w准反对称矩阵在加权范数下的最小二乘解,同时导出了解集合中与给定矩阵的加权最佳逼近解的表达式．     

径向基函数局部插值的加权最小二乘配点法

基于径向基函数局部插值的加权最小二乘法,给出了方法的基本原理及求解的一般过程．通过对Poisson方程和悬臂梁弯曲的计算验证了该方法的有效性,并讨论了几个关键因素对收敛性的影响,得出了一些有益的结论．     

用最小二乘法求无限深势阱基态能量和波函数

用最小二乘法求出了粒子在无限深势阱中运动时的基态能量和波函数,并与精确解进行比较,结果表明二者相差很小.     

局部区域三维坐标变换的两步解法

在局部区域三维坐标变换中,布尔萨模型的旋转参数和平移参数存在相关性,容易出现解算模型病态问题.为此提出将旋转参数和平移参数分开解算的两步解法,在去掉平移参数后采用最小二乘法估计旋转参数,再用加权整体最小二乘法估计尺度参数和平移参数.该方法既可避免解算复杂的病态整体最小二乘问题,也顾及了原系统坐标误差影响.模拟实验表明:与最小二乘法和整体最小二乘法比较,两步法提高了尺度参数和平移参数的估计精度,特别是尺度参数,外围坐标变换精度明显提高.     

整体最小二乘法直线拟合

针对在直线拟合中,因变量选取不同拟合的结果有差异现象,提出采用整体最小二乘法进行直线拟合。文章在分析直线方程特点的基础上,采用EIV模型描述直线方程,在解算中根据系数矩阵的特点应用QR分解分为将方程两部分,采用了混合最小二乘法求解。理论分析和实际计算结果表明,整体最小二乘法顾及了因变量和自变量的误差。拟合精度高于普通最小二乘法,采用整体最小二乘拟合直线,整体上优于普通最小二乘法。