最小二乘支持向量机的理论及应用研究

介绍了支持向量机(SVM)的数学原理和最小二乘支持向量机(Least Squares Support Vector Machines,LSSVM)的数学原理与应用研究。在支持向量机中采用的是二次规划方法,而最小二乘支持向量机则用最小二乘线性系统作为损失函数从而取代它,这样就利用等式约束的方法取代了不等式约束,最终演变为对线性方程组的求解,使求解的速度得到提高,求解的收敛精度得到提升。将最小二乘支持向量机与偏最小二乘法、标准支持向量机进行了对比。最终表明,LS-SVM计算结果更准确,更简单,内存的占有量也较少,计算时间短,耗时少,是一个很有应用价值的研究方向。     

波束形成算法指向误差时的稳健性研究

为有效克服期望信号方向存在指向误差而导致的阵列流形向量失配的问题,提出了一种基于支持向量回归机的波束形成方法.该方法在分析线性约束最小方差波束形成器的基础上,将支持向量机的损失函数引入到线性约束最小方差波束形成器的最优化问题中,从而使基于结构风险最小化原理的支持向量回归机算法与波束形成算法相结合.通过MATLAB仿真实验,在没有失配的理想情况和期望信号存在方向向量失配的情况下,选取不同的支持向量机参数以及信噪比,分析对2种损失函数的基于支持向量机的波束形成算法.仿真实验结果表明,该算法在期望信号方向存在指向误差时,依然能够保持较好的系统输出信噪比,具有一定的稳健性.     

基于标准支持向量回归的阵列波束优化研究

针对支持向量机在解决小样本、非线性和高维模式处理问题上的优势,将支持向量回归与波束优化理论进行对比,修正支持向量回归价值损失函数,分析支持向量回归波束优化的基本方法及其应用条件,建立标准支持向量回归波束优化模型,研究了基于标准支持向量回归波束形成器的优化模型及具体实现过程,并进行了数值仿真实验.仿真实验结果表明,在不同的阵型、不同的价值损失函数、不同的数据样本和不同的信噪比下,基于标准支持向量回归的波束形成器在指向性和旁瓣级等性能指标上均取得了较好的效果,为波束形成器的优化设计提供了一种有效且可行的方法.     

基于最小二乘支持向量机的复杂金融时间序列预测

为了解决神经网络算法预测海量金融时间序列数据会出现训练速度慢,内存开销大等问题,提出一种基于最小二乘支持向量机的复杂金融数据时间序列预测方法.该方法将传统的支持向量机中的不等式约束改为等式约束,且将误差平方和的损失函数作为训练集的经验函数,这样把二次规划问题转化为求解线性方程组问题,提高求解问题的速度和收敛精度.实验中以证券指数为实验数据,对大批量金融数据进行了时间序列预测,相比于神经网络预测方法,该方法在大批量金融数据时间序列预测的训练时间、训练次数和预测误差上都有了明显提高,对复杂金融时间序列具有较好的预测效果.     

分类大规模数据的核向量机方法研究

标准的支持向量机算法需要求解二次规划问题,因此,在处理大规模样本的时候,求解二次规划问题的时间复杂度和空间复杂度就成为支持向量机应用的一个瓶颈.核向量机将传统支持向量机中的二次规划问题转化为求解最小包围球问题,从而显著降低了二次规划的复杂程度.使用核向量机对大规模数据进行分类,所选用的数据样本数均超过2000,并与标准的支持向量机作了对比实验结果表明:核向量机在处理大规模数据分类时,比标准的支持向量机计算复杂度低,训练速度快,耗费空间少.     

一种改进的最小二乘支持向量机算法

最小二乘支持向量机是标准支持向量机的一种扩展,它是支持向量机在二次损失函数下的一种形式.它用等式约束代替不等式约束,求解过程变为解一组等式方程,避免了求解耗时的二次规划问题,但同时也丧失了标准支持向量机的稀疏性,影响了二次学习的效率.针对上述问题,本文提出了一种改进的最小二乘支持向量机增量学习方法.改进的最小二乘支持向量机算法采用自适应剪枝方法对解进行稀疏,根据每次训练得到的分类器性能来设定剪枝阚值和样本增量的大小,如果得到的分类器性能好,剪枝阈值和样本增量就大,反之,剪枝阚值和样本增量就小,从而提高了最小二乘支持向量机训练效率,解决了稀疏性问题.最后,仿真实验表明该算法方案可行.     

基于缩减策略的混沌时间序列LSSVM预测模型

 由于混沌时间序列具有样本大等特点,使用最小二乘支持向量机(LSSVM)建立其预测模型具有内存开销大、训练速度慢等缺点,因此,在混沌序列数据特性的基础上,利用样本集分割与样本相关性的思想,提出一种基于缩减策略的混沌时间序列LSSVM预测模型。该模型利用混沌时间序列的平均周期将大样本数据分解成不同的子集,把最后一个子集之外的其他子集利用拉格朗日乘子的值缩减一部分非支持向量,将缩减后样本与最后一个子集合并,利用相关系数缩减法缩减合并后的样本集,并利用最小二乘支持向量机进行回归预测。最后通过相关实验,验证了本模型在基本不损失预测精度的基础上具有较快的计算速度。     

线性规划支持向量机

通过对统计学习理论中的支持向量回归问题,特别是结构风险问题和ε-不敏感函数的分析,得到了一种新的支持向量回归算法.新算法将传统的支持向量回归问题中的二次优化问题改进为线性规划问题,这一改进大大降低了求解的复杂度,其训练时间快了至少一个数量级以上.最后对人工和实际的样本进行了试验,结果说明了线性规划支持向量回归能较好地逼近被估计函数,且计算复杂度明显降低.     

改进SVM及其在时间序列数据预测中的应用

运用标准支持向量机预测海量金融时间序列数据会出现训练速度慢、内存开销大的问题,文中提出一种分解合作加权的回归支持向量机,将大样本集分解成若干工作子集,分段提炼出支持向量机,同时根据支持向量的重要性给出不同的错误惩罚度,并将其应用于证券指数预测．与标准算法相比较,文中方法在保证泛化精度一致的前提下,极大地加快了训练速度．     

鲁棒自适应波束形成算法比较与实验研究

传统的自适应波束形成算法对基阵的轻微误差非常敏感,为提高自适应波束形成技术对阵列误差的鲁棒性,在分析线性约束最小方差波束形成的基础上,研究并比较了对角加载算法和支持向量机算法对自适应波束形成器鲁棒性能的改善,和对对角加载算法和支持向量机算法进行了鲁棒性能分析与比较。水池实验结果表明,传统的对角加载算法能够提高波束形成器对信号导向向量失配与样本协方差矩阵误差的鲁棒性。而基于支持向量机算法的波束形成器在波达方向失配的较高信噪比或存在大量干扰信号时表现出更好的鲁棒性,为提高波束形成器的鲁棒性提供了一种新的有效途径。     

自训练半监督加权球结构支持向量机多分类方法

针对自训练半监督支持向量机算法中的低效问题,采用加权球结构支持向量机代替传统支持向量机,提出自训练半监督加权球结构支持向量机。传统支持向量机需要求解二次凸规划问题,在处理大规模数据时会消耗大量存储空间和计算时间,特别是在多分类问题上更加困难。利用球结构支持向量机进行多类别分类,大大缩短了训练时间,降低了算法复杂度。球结构支持向量机在不同类别样本数目不均衡时训练分类错误倾向于样本数目较小的类别,通过权值的引入,降低了球结构支持向量机对样本不均衡的敏感性,补偿了类别差异对算法推广性能造成的不利影响。在人工数据集和UCI(university of california irvine)数据集上的实验结果表明,该方法对有标记样本的鲁棒性较好,不仅能够提高效率,且分类精度也有显著提高。     

基于改进自适应粒子群算法的混合核函数最小二乘支持向量机大坝变形预测

针对大坝变形影响因素的复杂性以及监测数据的非线性、随机波动大和预测难度大等问题,提出一种改进自适应粒子群(particle swarm,PSO)算法的混合核函数最小二乘支持向量机(least squares support vector machine,LSSVM)模型,实现了大坝水平变形的时间序列预测方法.基于Mer...     

基于pinball损失的一对一加权孪生支持向量机

孪生支持向量机通过求解2个较小二次规划问题得到一对非平行超平面,从时间和准确率方面提高了分类器的性能.由于此方法使用Hinge损失函数,造成孪生支持向量机对噪声较为敏感以及重采样的不稳定.为此,针对多分类问题,将pinball损失函数与样本权重引入到孪生支持向量机中,采用一对一方法组合二分类器,提出了基于pinball损失的一对一加权孪生支持向量机,较好地解决了孪生支持向量机对噪声的敏感性以及重采样的不稳定性.另外,对于样本的不同影响,给出了多种求取样本权重的方法.实验中选取标准数据集和人工合成数据集对提出的算法进行了验证,并与一对一孪生支持向量机(OVO-TWSVM)、一对多孪生支持向量机(OVA-TWSVM)以及基于pinball损失的一对一加权孪生支持向量机(Pin-OVO-TWSVM)进行了比较,表明了提出方法的有效性.     

基于稀疏化鲁棒LS--SVR与多目标优化的铁水硅含量软测量建模

针对高炉炼铁过程的关键工艺指标———铁水硅含量[ Si]难以直接在线检测且化验过程滞后的问题,提出一种基于稀疏化鲁棒最小二乘支持向量机( R-S-LS-SVR)与多目标遗传参数优化的铁水[ Si]动态软测量建模方法。首先,针对标准最小二乘支持向量机( LS-SVR)的拉格朗日乘子与误差项成正比导致最终解缺少稀疏性的问题,提取样本数据在特征空间映射集的极大无关组来实现训练样本集的稀疏化,降低建模的计算复杂度;其次,标准最小二乘支持向量机的目标函数鲁棒性不足的问题将IGGIII加权函数引入稀疏化后的最小二乘支持向量机模型进行鲁棒性改进,得到鲁棒性较强的稀疏化鲁棒最小二乘支持向量机模型;最后,针对常规均方根误差评价模型性能的不足,提出从建模误差与估计趋势评价建模性能的多目标评价指标。在此基础上,利用非支配排序的带有精英策略的多目标遗传算法优化模型参数,从而获得具有最优参数的铁水[ Si]在线软测量模型。工业实验及比较分析验证了所提方法的有效性和先进性。     

基于多参数二次规划的零陷展宽和旁瓣控制方法

自适应波束形成算法能将零陷自动对准干扰方向,但在干扰源角度抖动等情况下,会使自适应权和数据失配.此外,在快拍数较少的情况下,传统的自适应波束形成方法可能会出现很高的旁瓣.针对上述问题,提出了一种有效的基于多参数二次规划的零陷展宽和旁瓣控制方法.首先,利用锥化矩阵修正采样协方差矩阵展宽干扰源的零陷;然后,用主瓣区域外的多个二次不等式控制旁瓣;最后用多参数二次规划方法求解优化问题.该方法不仅能获得更高的阵列输出增益,而且可以通过实值计算得到最优权向量.仿真结果验证了算法的有效性.     

基于改进蚁群算法优化参数的LSSVM短期负荷预测

提出一种自动优选最小二乘支持向量机(LSSVM)模型参数的改进蚁群(MACO)算法.该算法将LSSVM模型的参数作为蚂蚁的位置向量,然后采用动态随机抽取的方法来确定目标个体引导蚁群进行全局搜索,同时在最优蚂蚁邻域内进行小步长局部搜索,找到模型的最优参数,得到基于MACO算法优化的LSSVM(MACO-LSSVM)预测模型.将优化后的LSSVM模型应用于短期电力负荷预测问题,选择湖南某地区日期为2009-08-01至2009-08-30各小时点的数据进行分析,对2009-08-31该日24 h的负荷进行预测,并与BP神经网络和SVM模型进行比较.研究结果表明:本文方法得到的均方根相对误差为1.71％,比用BP神经网络和SVM模型得到的均方根相对误差分别低1.61％和1.05％.     

优化极限学习机的序列最小优化方法

针对传统二次规划求解方法训练优化极限学习机(OMELM)存在速度慢和效率低的问题,提出了单变量迭代序列最小优化(SSMO)算法.该算法通过在框式约束中优化拉格朗日乘子来实现目标函数的最小化:首先在初始化拉格朗日乘子中选择使目标函数值下降最大的拉格朗日乘子,将该拉格朗日乘子作为目标函数的唯一变量;然后求解目标函数的最小值并更新该变量的值;重复这个过程直到所有的拉格朗日乘子都满足二次规划问题的Karush-Kuhn-Tucker条件为止.实验结果表明:SSMO算法只需调节很少的参数值便可得到足够好的泛化性能;采用SSMO算法的OMELM方法在泛化性能上要好于采用序列最小优化算法的支持向量机方法;在随机数据集测试中,SSMO算法具有较好的鲁棒性.     

最小二乘Littlewood-Paley小波支持向量机在发酵过程建模中的应用

针对谷氨酸发酵过程一些关键参数不能在线测量而导致的建模精度不高问题,利用最小二乘支持向量机(LSSVM)和小波的理论,建立了一种新的模型.首先,选取Littlewood-Paley小波函数作为LS-WSVM的核函数,进而设计出最小二乘小波支持向量机(LS-WSVM),然后利用该算法对谷氨酸发酵过程进行建模.通过实际应用,实现了对残糖浓度、菌体浓度、谷氨酸浓度等不能在线测量变量的较准确预测,相对于LSSVM建模而言,提高了一个数量级,预测误差也明显得到改善,说明了该建模方法的有效性,具有一定的推广和应用价值.