最小二乘支持向量机鲁棒回归算法研究

最小二乘支持向量机因模型学习过程中以二次损失函数为经验风险,造成学习结果对噪声特别敏感。鉴于实际问题中噪声不可避免、不可预测,且分布规律难寻,该文主要研究最小二乘支持向量机的鲁棒性增强算法,以提高其抵抗噪声与异常值的能力。通过分析得知,样本的局部异常因子与噪声大小间具有很大的相关性,因此提出了用于非线性回归问题的局部异常因子概念;并将其应用于最小二乘支持向量机模型学习时最优损失函数的确定中,提出了基于样本局部异常因子的直接加权最小二乘支持向量机鲁棒回归算法。为验证所提出算法的性能,该文最后以2个典型非线性对象为例,将其与原最小二乘支持向量机、文献中已有的基于预估噪声分布的加权最小二乘支持向量机进行了对比。对比结果表明,所提出的直接加权最小二乘支持向量机算法具有更好的鲁棒性。     

加权最小二乘支持向量机与最小二乘问题的关系

研究了加权最小二乘支持向量机与最小二乘法的关系．证明了用加权最小二乘支持向量机作函数估计与在特征空间中用最小二乘法得到的解是一致的．加权最小二乘支持向量机选择核相当于最小二乘法选择基函数组．由此提出了采用加权最小二乘支持向量机解决最小二乘法问题的思想,保证解具有良好的推广性、鲁棒性与稀疏性．     

基于稀疏化鲁棒LS--SVR与多目标优化的铁水硅含量软测量建模

针对高炉炼铁过程的关键工艺指标———铁水硅含量[ Si]难以直接在线检测且化验过程滞后的问题,提出一种基于稀疏化鲁棒最小二乘支持向量机( R-S-LS-SVR)与多目标遗传参数优化的铁水[ Si]动态软测量建模方法。首先,针对标准最小二乘支持向量机( LS-SVR)的拉格朗日乘子与误差项成正比导致最终解缺少稀疏性的问题,提取样本数据在特征空间映射集的极大无关组来实现训练样本集的稀疏化,降低建模的计算复杂度;其次,标准最小二乘支持向量机的目标函数鲁棒性不足的问题将IGGIII加权函数引入稀疏化后的最小二乘支持向量机模型进行鲁棒性改进,得到鲁棒性较强的稀疏化鲁棒最小二乘支持向量机模型;最后,针对常规均方根误差评价模型性能的不足,提出从建模误差与估计趋势评价建模性能的多目标评价指标。在此基础上,利用非支配排序的带有精英策略的多目标遗传算法优化模型参数,从而获得具有最优参数的铁水[ Si]在线软测量模型。工业实验及比较分析验证了所提方法的有效性和先进性。     

采用最小二乘支持向量机的部分相依函数型线性模型估计与应用

提出一种基于无截断Bartlett核函数的重构方法,有效避免长期方差函数估计方法面临的核函数与窗宽选择问题,并将其应用到部分相依函数型线性模型中.利用考虑函数型数据相依性的最小二乘支持向量机对模型进行参数估计,数值模拟结果表明:与未考虑函数型数据相依特征的最小二乘估计方法相比,提出的考虑函数型数据相依性的最小二乘支持向量机估计方法能更稳健地估计向量系数,有效提高样本外的预测精度;将部分相依函数型线性模型应用到上证指数开盘价的预测中,得到较好的预测效果.     

基于支持向量机的软测量建模方法的应用

利用基于最小二乘支持向量机(LS-SVM)的软测量建模方法,通过工业现场数据来对丁二烯精馏装置建立软测量模型.对于该软测量模型,支持向量机方法比BP神经网络方法具有更好的泛化能力.研究结果表明,基于最小二乘的支持向量机建模方法是一种有效的软测量建模方法.     

基于最小二乘支持向量机的福建省GDP预测研究

提出一种基于最小二乘支持向量机的福建省GDP预测方法.采用径向基核函数进行仿真模拟,经过参数选优建立了精度较高的预测模型.预测结果表明,利用最小二乘支持向量机进行预测具有误差小、拟合程度高等优点,可适用于GDP的预测.     

构造稀疏最小二乘支持向量机的网络入侵检测模型

从最小二乘支持向量机的稀疏表达出发,构建高效的基于稀疏最小二乘支持向量机的网络入侵检测模型,提出了一种通过基于核空间近似策略的有效低秩逼近来有效减小原始训练样本集中的支持向量数来实现最终模型的稀疏表达.以MIT KDD99数据集为基础,对所提出方法进行有效性验证,并与利用剪枝策略通过递归过程中不断减少模型中支持向量个数的稀疏化方法、基本最小二乘支持向量机以及标准支持向量机方法的性能进行对比.结果表明:基于核空间近似的最小二乘支持向量机稀疏化与标准最小二乘支持向量机相当;此外稀疏最小二乘支持向量机能够提高入侵检测响应速度.     

基于最小二乘支持向量机的网络流量预测

为了提高网络流量预测准确性,将最小二乘支持向量机应用于网络流量预测。介绍了最小二乘支持向量机的原理与方法,并将该模型应用于实际网络流量预测计算。结果表明,该方法能有效地进行流量预测,相对于BP神经网络和ARMA模型方法,该方法具有更好的预测精度。     

基于聚类的鲁棒最小二乘支持向量机

现实数据集通常是呈非线性分布的,虽然很多最小二乘支持向量机算法利用分治策略可以对这一类数据集进行建模,但是由于子模型缺乏鲁棒性,所建的总体模型易受噪声的干扰进而失效。为了对带有噪声的数据集建模,提出了一种基于聚类的鲁棒的最小二乘支持向量机。首先,使用聚类方法将样本分成几个子数据集,每一个子数据集对可以相应地建立一个局部的最小二乘支持向量机来获取对应子数据集的局部动态性。其次,通过在损失函数里加入一个全局正则化因子,使得局部子模型间能够智能地协调,保证建立的全局模型不仅是光滑连续的,同时具有良好的泛化性和鲁棒性。数学和实际例子表明,对于含有噪声的样本集,所提出的方法具有更好的建模效果。     

基于最小二乘支持向量机的自适应逆控制

主要针对基于最小二乘支持向量机的自适应逆控制方法进行了研究.初始过程的逆模型,建立了基于最小二乘支持向量机,并通过剪枝算法将支持向量的数量减少.在这种自适应逆控制机制中,逆模型通过递归最小二乘算法更新,控制器依据ε-滤波进行在线调整.仿真结果表明,该辨识方法具有良好的逼近能力,且自适应逆控制系统具有良好的鲁棒性.     

基于加权最小二乘支持向量机的下水道可燃气体分析

下水道可燃气体分析是城市下水道可燃气体监测预警系统的重要组成部分.该文针对BP神经网络对下水道可燃混合气体分析存在速度慢、容易陷入局部最优,以及标准最小二乘支持向量机鲁棒性差的缺点,建立了一种基于加权最小二乘支持向量机(WLS-SVM)的下水道可燃气体分析模型.加权最小二乘支持向量机模型采用最小二乘线性系统,对误差变量进行权值设定,提高了学习速度和学习精度.仿真结果表明:基于WLS-SVM的下水道可燃气体分析模型优于所比较的BP神经网络和最小二乘支持向量回归机2种模型,具有优良的预测精度和鲁棒性.     

改进的加权最小二乘支持向量机在德士古炉温软测量中的应用

根据某企业德士古气化炉装置在线估计炉温的需要,将现场数据采样样本中的离群点分为高杠杆点和高残差点两类,将一种新的加权方法应用到最小二乘支持向量机(LS-SVM),使其对两种离群点都具有抑制作用,提高模型鲁棒性。加权最小二乘支持向量机(Weighted LeastSquare Support Vector Machine,WLS-SVM))参数的选择基于LS-SVM的最优参数,根据模型训练误差对参数进行二次寻优,进一步提高模型精度。利用测试函数验证了改进方法,对提高模型精度有明显效果;并将改进方法应用到实际生产装置的炉温软测量系统中,也取得了满意的应用效果。     

信号相位匹配原理的正弦信号参数的最小二乘估计

根据信号相位匹配原理,提出了一种正弦信号频率、振幅和相位参数的最小二乘估计方法.推导了利用单传感器接收信号的参数估计的最小二乘估计计算公式,给出了已知频带内的未知频率,振幅和相位的信号参数估计的搜索算法.分析了最小二乘法使用的方程数、信噪比和采样频率确定后FFT的序列长度对参数估计精度的影响.理论和仿真结果说明,该方法不仅能降低估计频率带宽以外的噪声,而且还可降低被估计频率信号带宽内的噪声,提高了低信噪比时的信号参数估计精度.该算法简单、快速,具有工程应用前景.     

基于LS-SVM的边坡稳定性预测研究

针对边坡工程稳定性估计的复杂性,将最小二乘支持向量机引入到边坡稳定性估计的研究中,分别建立了边坡安全系数预测的最小二乘支持向量机模型和边坡稳定状态预测的最小二乘支持向量机模型,以实例数据为学习样本和测试样本,讨论了基于最小二乘支持向量机的边坡稳定性分析方法及其可行性．该方法具有一定的工程参考和实用价值．     

基于多重回归LSSVM的并发故障诊断

提出了一种基于多重回归最小二乘支持向量机模型的并发故障诊断方法,并将其应用于诊断某船舶主柴油机冷却系统的并发故障.仿真结果表明,该方法具有良好的效果,能够对系统的单个故障和并发故障进行检测.仿真结果还表明,多重回归最小二乘支持向量机模型适合于小样本条件下多输入多输出数据样本的建模,在一定噪声的影响下仍能够得到相对准确的诊断结果,因此多重回归最小二乘支持向量机模型为一种有效的并发故障诊断方法.     

CARMA模型离线最小二乘迭代辨识方法

基于迭代最小二乘原理,提出了辨识CARMA模型和输出误差模型参数的最小迭代算法。两个最小二乘迭代算法分别比递推增广最小二乘算法和辅助模型递推算法具有更高的参数精度和具有很快的收敛速度。最小二乘迭代辨识的基本思想是:采用交互估计理论和递阶辨识原理,在每步迭代计算中,参数估计依赖于噪声估计,反过来噪声估计通过前一次迭代的参数估计计算,二者执行了一个递阶计算过程。最后用仿真例子验证了提出的算法。     

滑动平均模型的最小二乘辨识方法比较研究

滑动平均模型辩识的困难是信息向量中存在不可测噪声项。借助于递阶辩识的交互估计理论,用估计残差代替信息向量中中不可测噪声项,借助于多新息辨识理论扩展新息长度和充分利用系统观测数据的思想,提出估计滑动平均模型参数的多新息递推最小二乘辨识方法和最小二乘迭代辨识方法。与常规递推增广最小二乘算法相比,提出的方法具有更快的收敛速度,能产生更高精度的参数估计。仿真例子验证了算法的性能。     

最小二乘支持向量机在信道均衡中的应用

为抵消信道时变多径传播特性引起的码间干扰、准确地识别数字通信系统中的发送信号,满足信道均衡的实时性要求,采用最小二乘支持向量机回归算法对信道进行均衡。首先,分析了最小二乘支持向量机算法应用于信道均衡的机理,与传统的信道均衡方法相比,该算法无需对信道进行估计可直接得到均衡器的参数。其次,与ε-支持向量机算法进行比较,最小二乘支持向量机均衡性能不减,时间复杂度大大降低,可以更好的满足信道更新的实时性要求。同时探讨了2种改善低信噪比下信道均衡性能的方法。结果表明:对于信道环境复杂的通信系统,利用最小二乘支持向量机的非线性均衡速度快、效果良好。在低信噪比情况下,可以通过增加训练序列长度和利用非线性核函数来改善信道均衡的性能。     

小样本贫信息条件下高炉冶炼烧结终点组合预测法

由于烧结过程具有不确定性、多变量耦合、时变时滞的特点,并且烧结终点受多种因素的影响,采用传统控制方法难以将烧结终点控制在要求的范围内,提出应用支持向量机优良的时序预测性能,以及贝叶斯理论能够利用样本信息和先验知识来简化预测模型和优化参数的特性,建立了贝叶斯支持向量机烧结终点的预报模型。首先对烧结终点的机理分析,后分别叙述贝叶斯框架理论和LS-SVM算法,并将贝叶斯证据框架应用于最小二乘支持向量机模型参数的自动选择,建立起时间序列的烧结终点非线性预测模型。在贝叶斯推断的第一层,进行模型参数的选择;在贝叶斯推断的第二层,进行模型超参数的选择;在贝叶斯推断的第三层,估计模型核参数,然后利用贝叶斯最小二乘支持向量机算法(LS-SVM)对烧结终点进行预测,并在此基础上构造了烧结终点的贝叶斯最小二乘支持向量机模型。仿真结果和多种模型比较表明,本模型能在小样本贫信息条件下对烧结终点做出比较准确的预测,并具有预测精度高、所需样本少、计算简便等优点,取得了令人满意的结果。     

广义最小二乘限定记忆参数辨识方法与仿真研究

最小二乘参数辨识法可用于动态系统、静态系统、线性系统、非线性系统的参数估计.可用于离线估计,也可用于在线估计.最小二乘辨识法简单、实用,其递推算法收敛可靠,并且当模型噪声为白噪声时,可得到无偏、一致和有效的估计,从而得到广泛的应用.但当模型噪声是有色噪声时,最小二乘参数估计不是无偏、一致估计,并且随着数据的增长,最小二乘递推辨识算法将出现数据饱和现象,以致递推算法慢慢失去修正的能力.广义最小二乘递推算法解决了模型噪声是有色噪声时,最小二乘参数估计的无偏性和一致性问题,并能给出噪声模型的参数估计值,但依然存在数据饱和问题.论文在广义最小二乘递推算法的基础上引入限定记忆方式,获得了广义最小二乘限定记忆参数估计递推算法(RFMGLS),解决了广义最小二乘递推算法的数据饱问题.仿真结果表明了RFMGLS算法的有效性.