最小二乘双胞支持向量回归机的研究

 利用最小二乘方法和临近支持向量机(PSVM)算法,并结合双胞支持向量机(TSVR),提出了最小二乘双胞支持向量回归机(LSTSVR).作为对照,TSVR需要求解2个二次规划问题,而LSTSVR仅需求解2个线性方程组.最后利用不同的实例验证了所提算法的可行性和有效性.     

基于梯度信息的最小二乘支持向量回归机

为了解决传统最小二乘支持向量回归机(LS-SVR)对训练样本量要求过高的问题,提出了基于梯度信息的支持向量回归机(GE-LS-SVR)模型.通过修改目标函数及约束条件,将梯度信息引入模型的构建中,重新构造了决策函数.采用了三个基准函数对模型进行了验证,并用三个常用度量准则对实验结果进行了比较.结果表明提出的模型能在较少样本的情况下达到较为理想的回归精度.     

基于混合核函数支持向量机的回归模型

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数和Sig核函数进行有效的线性混合,给出一种新的支持向量机的混合核函数,并提出一种基于再生核的混合核函数支持向量机回归模型,该回归模型兼具了全局核函数与局部核函数的优点,且算法的复杂度被降低.仿真实验结果表明:最小二乘支持向量机的核函数采用基于再生核的混合核函数是可行的,回归的效果比单核函数可以更为细腻.     

混沌时间序列的最小二乘支持向量机预测

提出了最小二乘支持向量机混沌时间序列预测方法,并研究了三种混沌信号的预测性能。该方法在优化指标中采用了平方项,且只有等式约束,将传统支持向量机求解二次规划问题转化为求解线性方程组,因而简化了计算复杂性。仿真实验结果表明该方法预测模型参数选择容易、在较大范围内取值时对预测误差影响很小,而且即使在输入维数m小于Takens嵌入定理所确定的维数时,也具有很好的预测性能。     

回归函数的支持向量机估计法

回归估计是统计学中基本问题之一，本文在归纳了其经典的估计方法之后，总结了支持向量机估计回归函数方法。并从理论和应用角度阐述了支持向量机的基本思想。     

基于最小二乘支持向量机回归的基坑变形预测

将最小二乘支持向量机回归用于基坑变形预测.根据基坑位移的实测时间序列资料,应用最小二乘支持向量机回归建立了基坑位移与时间的关系模型.研究结果表明,最小二乘支持向量机回归用于基坑变形预测,具有较高的预测精度.与通常采用的BP神经网络相比,该方法具有预测误差小、计算快速、所需数据少等优点.     

尺度核函数在最小二乘支持向量机信号逼近中的应用

针对目前常采用高斯核的最小二乘支持向量机(LS-SVM)不能对信号多尺度逼近的问题,提出一种采用尺度核的LS-SVM.首先,在再生核希尔伯特空间的框架下构建了一种点积型的尺度核函数,它满足Mercer条件,并具备平移和扩张的特性,是尺度子空间的一组完备的基.然后,利用拉格朗日乘子法求解LS-SVM逼近的约束规划问题.在结构风险最小化逼近准则下获得了逼近系数.与传统核函数相比,采用尺度核的LS-SVM可以实现多尺度逼近任意信号,且应用时仅需对尺度参数调节选优,简便、实用.实验结果表明:所提算法的逼近性能与小波核性能相当;与传统的高斯核函数相比,其均方根误差提高8.4%.     

基于最小二乘支持向量机的TSK模糊模型

为了提高模糊系统处理高维问题的推广能力, 本文提出用最小二乘支持向量回归机(LSSVR)的思想设计TSK模糊模型.TSK模糊模型的传统算法普遍存在过学习问题, 为此我们在目标函数中考虑了结构风险从而避免了过学习现象.并且,我们将模糊系统的参数寻优问题转化为一个二次规划问题进行求解.由于该规划问题的求解与输入数据维数无关,适用于处理高维数据.算法分为两步：首先用Gustafsonk-Kessel (GK)算法确定模糊规则的前件;然后用最小二乘支持向量算法确定模糊规则的后件,这里的核函数是由模糊聚类确定的, 经证明它是Mercer核.三个著名数据的实验结果表明,与TSK模糊系统的传统算法相比,本文所提的算法提高了TSK模糊系统处理高维问题的推广能力;与LSSVR相比,,本文所提的算法具有良好的鲁棒性.     

基于最小二乘支持向量机的人脸识别算法

通过计算机对人脸进行分析,从而确定身份的技术统称为人脸识别,其具体内容包括图像预处理、特征选择和提取、分类。首先介绍了支持向量机和最小二乘支持向量机的基本思想和数学模型,推导了最小二乘支持向量机的算法步骤,在对人脸图像进行预处理的基础上,采用奇异值分解扩展算法提取人脸特征,然后再采用上述算法对人脸图像进行分类。通过实验可知本文中的算法可以对人脸图像进行有效分类,对解决小样本分类问题是有效的、可行的。     

多输出支持向量回归算法

支持向量机是一种基于统计学习理论的新颖的机器学习方法,由于其出色的学习性能。该技术已成为当前国际机器学习界的研究热点．这种方法已广泛用于解决分类和回归问题．在回归中。目前的研究和应用都限于单输出的情况,而实际中有很多属于多输出回归问题．针对这一点,将支持向量回归算法推广到多输出情况．仿真实例说明了该算法的可行性．     

一种基于支持向量机的多分辨率信号逼近算法

为了进一步提升多分辨率信号逼近算法(MSA)的逼近性能,提出了一种基于支持向量机(SVM)的信号多分辨率逼近算法(SVM-MSA).SVM-MSA以尺度子空间是再生核希尔伯特空间为前提,先在MSA中集成SVM的逼近准则并得到一个无约束规划,再引入松弛变量将无约束规划转化为约束规划,最后借助拉格朗日乘子法求解约束规划,获得逼近系数与逼近表达式.SVM-MSA不仅保留了MSA的多分辨率逐级逼近特点,而且兼具SVM良好的逼近准确度与平滑度.实验结果表明:在逼近sinc信号时,SVM-MSA具有比MSA更好的逼近准确度与平滑度;在噪声环境下,当输入信噪比大于约2 dB时,具有更强的稳健性.     

一种新型加权支持向量回归机

与统计学习理论结合,并把数据样本映射到高维空间,有时标准支持向量回归机运算速度和精度不理想.针对线性不可分的情况,在支持向量回归机目标函数中增加两个平方松弛项,这样可以减少两个约束条件.每个松弛项赋予不同的加权系数,可根据实际需要调节它们的权重.这种新算法称为新型加权支持向量回归机(weighted support vector regression machine,WSVRM),并把它用于函数逼近.实验结果表明,所提出的新型加权支持向量回归机具有良好的函数估计能力和数据预测能力.     

基于支持向量机的信号滤波研究

提出了基于支持向量机（SVM）的信号滤波方法．由于利用了SVM泛化能力强、全局最优等特点，因此该方法与传统方法相比，能更有效地抑制随机加性噪声．在时域和频域分别讨论了参数对核函数的影响，通过对基于SVM的函数回归形式的变换，得出了一种能描述滤波原理的表达式．从该表达式中可以看出，核函数的作用相当于低通滤波，而其参数决定了滤波器的截止频率，从而可以通过对核函数参数进行优化，以取得最佳的滤波效果，达到抑制随机加性噪声的目的．仿真结果表明，基于SVM的滤波方法有效地抑制了随机加性噪声，为信号滤波提供了一种以结构风险最小化为理论框架的新手段．     

支持向量机的研究

支持向量机可以引入特征变换将原空间的非线性问题转化为新空间的线性问题。本文在论述支持向量机模型创建的基础上,着重对核函数的选取及参数的确定进行了研究,通过实验数据表明,文中创建的组合核函数,在人体下肢动作模式识别中,有较高的识别率。     

基于最小二乘支持向量机的膨胀土判别与分类

膨胀土在我国分布广泛,对工程影响巨大,如何对其进行判别一直是岩土工程中一项重要的工作.现有的膨胀土判别与分类方法,大多仅以简单的双变量分析为依据.所选取的判别指标大多具有相同信息.针对于此,提出两种方法对膨胀土进行分类,第一种是从胀缩机理出发,采用逐步回归分析选取能够表征膨胀土的6项独立指标,再利用最小二乘支持向量机进行分类;第二种是对全部指标进行分类.结果表明最小二乘支持向量机在两种情况下都能对膨胀土进行准确的分类,也证明了最小二乘支持向量机功能的强大性.     

基于模糊回归支持向量机的短期负荷预测

支持向量机(SVM)是一种新颖的机器学习方法,具有泛化能力强、全局最优和计算速度快等突出优点.模糊数学在不确定性、不精确性及噪声引起的问题上,有其特有的计算分析操作,能有效地分析和处理模糊信息.研究了一种模糊回归支持向量机模型,该模型将两者有机结合,发挥了各自的优点.将其应用到电力系统短期负荷预测,仿真结果表明,所提方法不仅具有与支持向量机方法相同的预测精度,且提供了更多的有用信息.     

一种基于非线性回归和支持向量机的混合建模方法

针对采用单一的建模方法存在的局限性,提出了一种基于非线性回归和支持向量机的混合建模方法.该方法将模型分为两部分,一部分由简单的非线性回归模型估计对象的总体变化趋势,另一部分由一个支持向量机组合模型来描述对象的局部变化特性,最后将该组合模型与非线性回归模型叠加,构成混合软测量模型.将该建模方法应用到双酚A反应的催化剂活性软测量建模中,仿真结果表明了该方法的有效性.     

支持向量回归机训练集的并行预处理方法

为加快支持向量回归机在求解大样本集问题时的训练速度,提出了并行支持向量回归机。该方法根据核矩阵把数据集分成k个子集,通过并行预处理过滤掉非支持向量,再对剩余的支持向量进行训练得到决策函数。实验表明,本算法不仅预测准确度跟标准的分解算法基本一致,而且大大缩减训练时间,具有很高的加速比,同时需要的训练时间大大少于Graf等人提出的级联结构的算法,另外,算法还可有效地缩减支持向量的数目。