多输出支持向量回归算法

支持向量机是一种基于统计学习理论的新颖的机器学习方法,由于其出色的学习性能。该技术已成为当前国际机器学习界的研究热点．这种方法已广泛用于解决分类和回归问题．在回归中。目前的研究和应用都限于单输出的情况,而实际中有很多属于多输出回归问题．针对这一点,将支持向量回归算法推广到多输出情况．仿真实例说明了该算法的可行性．     

回归函数的支持向量机估计法

回归估计是统计学中基本问题之一，本文在归纳了其经典的估计方法之后，总结了支持向量机估计回归函数方法。并从理论和应用角度阐述了支持向量机的基本思想。     

应用支持向量机回归确定岩体强度指标

在确定岩体力学参数中引入支持向量机,介绍了其具体的回归算法.并用这一方法回归预测岩体强度指标,通过实例证明支持向量机用于多影响因素、小样本容量的岩体强度指标回归问题,能够保证较理想的推广预测能力.     

应用支持向量机回归求解不规则边界边值问题

本文给出了应用支持向量机回归和径向基函数网络求解不规则边界边值问题的算法.两种方法协同使用不包含可调参数的支持向量机回归作为基本的逼近元,它部分影响边界条件;径向基函数网络用来精确的满足边界条件.我们用这种方法求解了一个二维的偏微分方程边值问题并且得到了较好的逼近解.     

新型非平行平面支持向量回归机及其应用

支持向量回归机(SVR)和孪生支持向量回归机(TSVR)是机器学习中的常用算法.受TSVR启发,针对SVR训练速度和预测精度问题,提出一种新型非平行平面支持向量回归机(NNHSVR).NNHSVR的优势如下:(1)NNHSVR模型构造的是两个较小规模的二次规划问题,最终求解得到2个非平行平面,训练速度较SVR快;(2)NNHS-VR在目标函数中加入调节参数u,对边界函数进行约束,使得模型对离群点更加鲁棒.人工数据集和UCI数据集上的实验表明:NNHSVR算法不仅有较好的泛化性能,而且训练速度快.将NNHSVR算法应用于传染病预测问题,取得了比传统传染病预测模型BP神经网络更好的效果.     

支持向量机在电信话务量预测中的应用分析

电信话务量预测是移动通信运营分析的一个很重要的问题,通过话务量预测,运营商可以方便地做出有针对性的决策。支持向量机（support Vector Machine或SVM）是vapnik等人在统计学习理论（statistical Learning Theory或SLT）基础上提出的一种新的通用学习方法。这种方法改变了传统的经验风险最小化原则,是针对结构风险最小化原则提出的。将支持向量机应用于电信话务量预测,在非线性回归分析中显示了良好的性能,有效地实现了有限样本数据的分析预测,保证了较好的精确性和推广性,体现了很好的泛化能力。     

最小二乘双胞支持向量回归机的研究

 利用最小二乘方法和临近支持向量机(PSVM)算法,并结合双胞支持向量机(TSVR),提出了最小二乘双胞支持向量回归机(LSTSVR).作为对照,TSVR需要求解2个二次规划问题,而LSTSVR仅需求解2个线性方程组.最后利用不同的实例验证了所提算法的可行性和有效性.     

基于支持向量机的非对称区间回归分析

针对区间回归中上、下2个端点的误差范围不相同的非对称问题,建立了Fitness、Possibility 和Necessity 3个回归模型,对区间样本的中心趋势和最大、最小可能边界进行综合分析,并引入支持向量机,区分线性和非线性两种情况,提出了非对称区间回归支持向量机AIR-SVM(asymmetrical interval regression SVM)算法,对非对称区间数据集回归估计进行了分析.通过3个数据仿真实验,检验了提出算法的良好性能,有效地解决了非对称情况下精确数输入-区间数输出的区间数据回归问题.     

牛顿法在求解支持向量机中的应用

支持向量机作为一种重要的机器学习工具,近年来受到了广泛的关注,并得以迅速发展.但在处理大数据时,求解支持向量机对应的二次规划问题是非常棘手的,计算时间长,存储空间大.如何有效求解支持向量机是一个不可回避的研究课题.本文主要研究了如何利用牛顿法求解支持向量机和双生支持向量机,并提出了两个新算法.实验结果表明,所提算法是有效和高效的.     

一种新的支持向量回归预测模型

综合最小二乘回归估计和支持向量机回归估计算法的各自在回归理论上的优势,通过理论推导,提出一种改进的支持向量机回归估计算法--SVR-LS方法.然后通过实验对比验证,发现新方法不但在拟合逼近方面有不错的效果,而且在回归估计方面,其学习速度和精度都要优于标准的支持向量机回归估计算法.     

一种新的模糊支持向量回归方法

为克服传统的模糊支持向量机隶属度函数都是基于样本与类中心距离进行设计所带来的局限性问题,提出了基于样本到超平面距离的新隶属度函数设计方法。该方法从支持向量机的回归本质出发,通过更加合理地设计隶属度函数,提高支持向量机的回归的泛化鲁棒能力。仿真结果证明,该方法具有更好的鲁棒性,提高了模糊支持向量机的泛化能力。     

基于SVM的函数模拟

支持向量机在高维空间中表示复杂函数是一种有效的通用方法, 提出了采用基于支持向量机的非线性回归法求解函数模拟问题.     

支持向量机回归与分类解的关系

将线性Lp(p=1)和Lε损失函数下的支持向量机回归与分类解的关系及支持向量机回归与υ-支持向量机分类解的关系,推广到非线性Lp(p≥1)和Lε损失函数上,得到这些解关系更一般的形式.     

用光滑的支持向量机解回归问题

解回归问题通常采用平方损失函数,传统方法在函数类的选择上是一个难点。采用ε-不敏感损失函数,用光滑的支持向量机解回归问题。数值实验表明,只需选一个核函数就可较好地解决这个难点,使支持向量的个数明显少于样本点的个数,简化了回归函数的表达式,回避了传统回归方法选择函数类的困难。所以,光滑支持向量回归机是解决回归问题的一个有效方法。     

一种新型加权支持向量回归机

与统计学习理论结合,并把数据样本映射到高维空间,有时标准支持向量回归机运算速度和精度不理想.针对线性不可分的情况,在支持向量回归机目标函数中增加两个平方松弛项,这样可以减少两个约束条件.每个松弛项赋予不同的加权系数,可根据实际需要调节它们的权重.这种新算法称为新型加权支持向量回归机(weighted support vector regression machine,WSVRM),并把它用于函数逼近.实验结果表明,所提出的新型加权支持向量回归机具有良好的函数估计能力和数据预测能力.     

回归函数的小波支持向量机鲁棒估计法

小波网络具有小波的多尺度特性和神经网络的自学习功能,在回归估计中得到广泛的应用,但其性能受到样本中粗差的严重影响.虽然以M-估计作为目标函数可以解决这个问题,但由于其对应的影响函数由残差绝对值决定,因此如何选择初始参数值成为一个关键问题.为此,提出回归函数的小波支持向量机鲁棒估计方法(小波支持向量回归,WSVR,Wavelet Support Vector Regression).该方法中首先提出并证明了一种新的小波支持向量机(WSVM,Wavelet Support Vector Machine),用于确定初始参数值方法,这种方法能够确定合理的网络结构和合适的初始参数值,保证含有粗差的样本点的残差绝对值较大;然后使用一种构造的M-估计作为目标函数,并提出了自适应确定阈值方法.仿真结果表明,使用这种方法得到的回归模型不仅具有良好的多尺度逼近特性,而且有较好的鲁棒性和较高的推广性能,具有较高的理论和应用价值.     

支持向量回归机训练集的并行预处理方法

为加快支持向量回归机在求解大样本集问题时的训练速度,提出了并行支持向量回归机。该方法根据核矩阵把数据集分成k个子集,通过并行预处理过滤掉非支持向量,再对剩余的支持向量进行训练得到决策函数。实验表明,本算法不仅预测准确度跟标准的分解算法基本一致,而且大大缩减训练时间,具有很高的加速比,同时需要的训练时间大大少于Graf等人提出的级联结构的算法,另外,算法还可有效地缩减支持向量的数目。     

一种支持向量机的动态自适应加权算法

针对现有回归型加权支持向量机直接选择加权系数法存在的不足,提出了一种对加权系数进行寻优的新方法——动态自适应加权算法.通过对权系数进行的自适应迭代调整,以确定其最优值,并进行了实验仿真.仿真结果表明：采用该方法确定的最优加权系数,可以对预测样本数据进行更准确的回归估计.