基于聚类的鲁棒最小二乘支持向量机

现实数据集通常是呈非线性分布的,虽然很多最小二乘支持向量机算法利用分治策略可以对这一类数据集进行建模,但是由于子模型缺乏鲁棒性,所建的总体模型易受噪声的干扰进而失效。为了对带有噪声的数据集建模,提出了一种基于聚类的鲁棒的最小二乘支持向量机。首先,使用聚类方法将样本分成几个子数据集,每一个子数据集对可以相应地建立一个局部的最小二乘支持向量机来获取对应子数据集的局部动态性。其次,通过在损失函数里加入一个全局正则化因子,使得局部子模型间能够智能地协调,保证建立的全局模型不仅是光滑连续的,同时具有良好的泛化性和鲁棒性。数学和实际例子表明,对于含有噪声的样本集,所提出的方法具有更好的建模效果。     

基于加权最小二乘支持向量机的下水道可燃气体分析

下水道可燃气体分析是城市下水道可燃气体监测预警系统的重要组成部分.该文针对BP神经网络对下水道可燃混合气体分析存在速度慢、容易陷入局部最优,以及标准最小二乘支持向量机鲁棒性差的缺点,建立了一种基于加权最小二乘支持向量机(WLS-SVM)的下水道可燃气体分析模型.加权最小二乘支持向量机模型采用最小二乘线性系统,对误差变量进行权值设定,提高了学习速度和学习精度.仿真结果表明:基于WLS-SVM的下水道可燃气体分析模型优于所比较的BP神经网络和最小二乘支持向量回归机2种模型,具有优良的预测精度和鲁棒性.     

基于矢量基学习的自适应迭代最小二乘支持向量机回归算法

为增强最小二乘支持向量机(LS-SVM)回归建模的稀疏性、鲁棒性和实时性,在加权LS-SVM的基础上,提出了基于矢量基学习的自适应迭代回归算法。在训练过程中,该算法通过矢量基学习和自适应迭代相结合的方法得到1个小的支持向量集,同时采用加权方法确定权值以减小训练样本中非高斯噪声的影响。回归学习和动态系统辩识的仿真结果表明:在回归建模精度相似的情况下,该算法确定的支持向量为全部学习样本的4.9%~8.9%,训练时间为标准LS-SVM的0.011%~0.383%;由于能够鲁棒跟踪时变非线性系统的动态特性,适合在线实时训练;可进一步用于非线性系统的建模和实时控制研究。     

加权最小二乘支持向量机与最小二乘问题的关系

研究了加权最小二乘支持向量机与最小二乘法的关系．证明了用加权最小二乘支持向量机作函数估计与在特征空间中用最小二乘法得到的解是一致的．加权最小二乘支持向量机选择核相当于最小二乘法选择基函数组．由此提出了采用加权最小二乘支持向量机解决最小二乘法问题的思想,保证解具有良好的推广性、鲁棒性与稀疏性．     

基于支持向量机的线性模型鲁棒参数估计

探讨了基于支持向量机的线性系统参数估计问题,利用最小二乘支持向量机来估计自回归滑动平均模型(ARMA)的参数,并在理论上证明了在高斯噪声下比最小二乘估计方法具有更小的均方差;随后利用标准支持向量机来估计ARMA的参数,并利用它的性质从理论上分析了其对大噪声和小噪声的鲁棒性.仿真结果表明支持向量机方法能有效克服样本中的异常点和噪声对参数估计的干扰,比最小二乘估计方法具有更好的鲁棒性.     

基于局部密度比的模糊隶属度设置算法

基于知识发现中的局部异常因子思想, 提出一种基于局部密度比的模糊隶属度设置算法, 该算法根据样本的邻域密度比设置样本的隶属度, 并采用一种单参数选择策略. 数值实验表明, 所提出的算法在带噪声的非线性函数估计方面具有很好的鲁棒性, 有效地解决了模糊支持向量机中的模糊隶属度设置问题, 对处理带噪声的分类和非线性函数估计问题具有重要的意义.     

一种改进的最小二乘支持向量机算法

最小二乘支持向量机是标准支持向量机的一种扩展,它是支持向量机在二次损失函数下的一种形式.它用等式约束代替不等式约束,求解过程变为解一组等式方程,避免了求解耗时的二次规划问题,但同时也丧失了标准支持向量机的稀疏性,影响了二次学习的效率.针对上述问题,本文提出了一种改进的最小二乘支持向量机增量学习方法.改进的最小二乘支持向量机算法采用自适应剪枝方法对解进行稀疏,根据每次训练得到的分类器性能来设定剪枝阚值和样本增量的大小,如果得到的分类器性能好,剪枝阈值和样本增量就大,反之,剪枝阚值和样本增量就小,从而提高了最小二乘支持向量机训练效率,解决了稀疏性问题.最后,仿真实验表明该算法方案可行.     

基于优化最小二乘支持向量机的数控机床热误差建模分析

数控机床热误差是降低加工精度的主要因素之一.针对热误差建模问题, 结合布谷鸟算法的随机莱维飞行机制和最小二乘支持向量机结构风险最小化与线性规划等优点, 提出基于布谷鸟算法优化最小二乘支持向量机的热误差建模方法.在最小二乘支持向量机将低维非线性问题转化为高维线性问题时, 构建了混合核函数.同时,采用布谷鸟算法对最小二乘支持向量机惩罚因子γ、核宽度参数σ和混合核权值λ进行了优化.以GMC2000A机床为实验对象, 分别对热误差数据进行了聚类分析和建模分析.通过误差预测对比分析得出结论, 基于布谷鸟算法优化混合核最小二乘支持向量机建立的误差模型取得了良好的预测效果, 且明显优于BP神经网络模型和未优化的最小二乘支持向量机模型的预测效果.     

一种总体最小二乘算法及在Volterra滤波器中的应用

针对输入输出观测数据均含有噪声的滤波问题，提出了一种鲁棒的总体最小二乘自适应算法．该算法利用滤波器的增广权向量的瑞利商为损失函数，导出了其自适应迭代公式，并利用随机离散学习规律对权向量模的分析进行算法梯度修正，提高了算法的噪声鲁棒性，而且使得算法简单，稳定性好，收敛精度高．将该算法应用于Volterra滤波器，可使滤波器在非线性系统中的信噪比达到10dB，在学习因子为0．01时，算法仍然能够保持良好的收敛性．仿真结果表明，即使在高噪声环境或使用较大学习因子的情况下，该算法的鲁棒抗噪性能和稳态收敛精度均明显高于其他总体最小二乘方法．     

基于PSO优化LSSVR的三维WSN节点定位方法

提出了一种基于粒子群优化最小二乘支持向量回归机的三维无线传感器网络节点定位方法。该方法首先运用最小二乘支持向量回归机构建三维节点定位模型,再利用粒子群优化算法对最小二乘支持向量回归机核函数参数和规则化参数寻优。然后,根据若干虚拟节点定位的预测位置与实际位置的均方差构造粒子群算法适应度函数,通过有限次建模参数迭代寻优获得最小二乘支持向量回归机全局最优参数。最后,返回回归模型中进行定位计算,实现节点定位。仿真结果表明,所提出的方法与最小二乘和最小二乘支持向量回归机定位方法相比,可以提高节点定位精度。     

基于PSO优化LSSVR的三维WSN节点定位方法简

提出了一种基于粒子群优化最小二乘支持向量回归机的三维无线传感器网络节点定位方法。该方法首先运用最小二乘支持向量回归机构建三维节点定位模型,再利用粒子群优化算法对最小二乘支持向量回归机核函数参数和规则化参数寻优。然后,根据若干虚拟节点定位的预测位置与实际位置的均方差构造粒子群算法适应度函数,通过有限次建模参数迭代寻优获得最小二乘支持向量回归机全局最优参数。最后,返回回归模型中进行定位计算,实现节点定位。仿真结果表明,所提出的方法与最小二乘和最小二乘支持向量回归机定位方法相比,可以提高节点定位精度。     

最小二乘支持向量机在信道均衡中的应用

为抵消信道时变多径传播特性引起的码间干扰、准确地识别数字通信系统中的发送信号,满足信道均衡的实时性要求,采用最小二乘支持向量机回归算法对信道进行均衡。首先,分析了最小二乘支持向量机算法应用于信道均衡的机理,与传统的信道均衡方法相比,该算法无需对信道进行估计可直接得到均衡器的参数。其次,与ε-支持向量机算法进行比较,最小二乘支持向量机均衡性能不减,时间复杂度大大降低,可以更好的满足信道更新的实时性要求。同时探讨了2种改善低信噪比下信道均衡性能的方法。结果表明:对于信道环境复杂的通信系统,利用最小二乘支持向量机的非线性均衡速度快、效果良好。在低信噪比情况下,可以通过增加训练序列长度和利用非线性核函数来改善信道均衡的性能。     

一种改进的LSTSVM增量学习算法

基于Sherman Morrison定理和迭代算法, 提出一种改进最小二乘孪生支持向量机（SMI ILSTSVM）的增量学习算法, 解决了最小二乘孪生支持向量机（LSTSVM）不具备结构风险最小化和稀疏性的问题. 实验结果表明, 该算法分类精度和效率均较高, 适用于含有噪声的交叉样本集分类.     

一种基于密度加权的最小二乘支持向量机稀疏化算法

针对最小二乘支持向量机失去标准支持向量机稀疏特性的问题,提出了一种基于密度加权的稀疏化算法.首先计算样本的密度信息,对样本估计误差进行密度加权获得该样本对模型的可能贡献度;然后选取具有最大可能贡献度的样本作为支持向量,同时对支持向量样本邻域内的其他样本密度信息进行削减,从而避免相似样本被选中为支持向量;再选择剩余样本中具有最大可能贡献度的样本添加到支持向量集中,直到模型性能满足要求.仿真和实际应用表明,与Suykens提出的标准稀疏化算法相比,所提出的算法能有效剔除冗余支持向量,具有更好的稀疏性和鲁棒性.     

基于改进的加权最小二乘支持向量机的空间桁架建模

针对空间桁架结构的非线性因素导致其建模困难的问题,利用基于Hilbert变换的动力学系统非线性检测因子作为加权因子,提出了一种改进的加权最小二乘支持向量机非线性建模方法,不仅使支持向量机的解具有稀疏性和鲁棒性,而且对系统动力学参数变化敏感,从而能比较快速而精确地实现动力学系统的非线性动态建模.数值仿真和桁架结构建模试验结果表明,该方法能较好地模拟结构的非线性特性,适用于动力学系统的非线性动态建模.     

基于pinball损失的一对一加权孪生支持向量机

孪生支持向量机通过求解2个较小二次规划问题得到一对非平行超平面,从时间和准确率方面提高了分类器的性能.由于此方法使用Hinge损失函数,造成孪生支持向量机对噪声较为敏感以及重采样的不稳定.为此,针对多分类问题,将pinball损失函数与样本权重引入到孪生支持向量机中,采用一对一方法组合二分类器,提出了基于pinball损失的一对一加权孪生支持向量机,较好地解决了孪生支持向量机对噪声的敏感性以及重采样的不稳定性.另外,对于样本的不同影响,给出了多种求取样本权重的方法.实验中选取标准数据集和人工合成数据集对提出的算法进行了验证,并与一对一孪生支持向量机(OVO-TWSVM)、一对多孪生支持向量机(OVA-TWSVM)以及基于pinball损失的一对一加权孪生支持向量机(Pin-OVO-TWSVM)进行了比较,表明了提出方法的有效性.     

最小二乘支持向量机的算法研究

最小二乘支持向量机(LS-SVM)作为一种新颖的人工智能技术,已越来越广泛地运用于各个学科领域。该文阐述了最小二乘支持向量机的主要思想和基本算法;结合统计学习理论和算例分析了模型参数对模型精度、复杂度和计算量等的影响,为模型参数的确定提供了理论参考;还提出了最小二乘支持向量机的一种改进算法,通过工程实例对比了基于改进算法和原算法的最小二乘支持向量机模型的性能。算例表明该改进算法可以有效地提高模型的整体性能,便于模型在工程上推广使用。     

基于多核对称最小二乘支持向量机的永磁同步电机混沌建模

针对永磁同步电机在一定情况下呈现混沌特性且混沌模型难以精确获得的情况,提出了一种基于多核对称最小二乘支持向量机的回归建模方法.在最小二乘支持向量机模型中增加对称性的约束条件,构成对称最小二乘支持向量机.将多核学习的方法与对称最小二乘支持向量机相结合,构造由多个基本核函数线性组合而成的新的等价核,用于建立永磁同步电机的混沌回归模型.仿真结果表明,与一般最小二乘支持向量机相比,该方法能够降低单个核函数的选择对建模精度的影响,提高混沌建模精度.     

基于多重回归LSSVM的并发故障诊断

提出了一种基于多重回归最小二乘支持向量机模型的并发故障诊断方法,并将其应用于诊断某船舶主柴油机冷却系统的并发故障.仿真结果表明,该方法具有良好的效果,能够对系统的单个故障和并发故障进行检测.仿真结果还表明,多重回归最小二乘支持向量机模型适合于小样本条件下多输入多输出数据样本的建模,在一定噪声的影响下仍能够得到相对准确的诊断结果,因此多重回归最小二乘支持向量机模型为一种有效的并发故障诊断方法.     

基于自适应最小二乘支持向量机的预测函数控制

提出一种基于最小二乘支持向量机在线建模的自适应函数预测控制算法.该方法提出一种新样本与模型节点的相似性计算方法,结合预测误差与过程先验知识给出控制模型节点的加入准则,使其自适应调整模型的复杂度,保证模型系数的稀疏性,有效地提高建模的精度和速度;给出增加节点和删除最早节点时最小二乘支持向量机模型更新的在线递推形式;基于局部在线最小二乘支持向量机的线性化模型,给出了自适应预测函数控制算法.以pH中和控制作为仿真实例,结果表明该算法的有效性.