回归函数的支持向量机估计法

回归估计是统计学中基本问题之一，本文在归纳了其经典的估计方法之后，总结了支持向量机估计回归函数方法。并从理论和应用角度阐述了支持向量机的基本思想。     

ε不敏感损失函数支持向量机分类性能研究

将原先用于支持向量回归的ε不敏感损失函数引入到支持向量分类中,提出ε不敏感损失函数支持向量分类算法(-εSVC).同标准支持向量分类方法(C-SVC)和最小二乘支持向量分类方法(LS-SVC)相比较,试验结果表明:当赋予参数ε一个足够大的接近于1的值时,-εSVC的分类正确率略低于C-SVC和LS-SVC,但是-εSVC的训练、测试和参数选择的速度要高于C-SVC和LS-SVC.特别是对于大规模数据集,这种优势将更加明显.另外,通过精确选择参数ε的值,-εSVC能够获得比C-SVC和LS-SVC更高的分类正确率,但是训练、测试和参数选择的速度却随着ε的减小而降低.     

基于L1范数损失的非平行支持向量回归机

针对NPSVR训练速度和预测精度问题,提出一种基于L1范数损失的非平行支持向量回归机L1NPSVR模型,用于预测数值输出。L1NPSVR通过求解两个较小规模的凸规划问题,建立一个ε1-不敏感的下界函数和一个ε₂-不敏感的上界函数。在L1NPSVR模型中,每个优化问题同时最小化训练样本的L1范数损失和铰链损失,以保证模型的稳定性,减轻噪声和异常值的影响。L1NPSVR通过求解一对更小的优化问题来提高模型的运行效率。仿真结果验证了所提出方法的可行性及有效性。     

支持向量机回归与分类解的关系

将线性Lp(p=1)和Lε损失函数下的支持向量机回归与分类解的关系及支持向量机回归与υ-支持向量机分类解的关系,推广到非线性Lp(p≥1)和Lε损失函数上,得到这些解关系更一般的形式.     

用光滑的支持向量机解回归问题

解回归问题通常采用平方损失函数,传统方法在函数类的选择上是一个难点。采用ε-不敏感损失函数,用光滑的支持向量机解回归问题。数值实验表明,只需选一个核函数就可较好地解决这个难点,使支持向量的个数明显少于样本点的个数,简化了回归函数的表达式,回避了传统回归方法选择函数类的困难。所以,光滑支持向量回归机是解决回归问题的一个有效方法。     

基于混合核函数支持向量机的回归模型

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数和Sig核函数进行有效的线性混合,给出一种新的支持向量机的混合核函数,并提出一种基于再生核的混合核函数支持向量机回归模型,该回归模型兼具了全局核函数与局部核函数的优点,且算法的复杂度被降低.仿真实验结果表明:最小二乘支持向量机的核函数采用基于再生核的混合核函数是可行的,回归的效果比单核函数可以更为细腻.     

核函数支持向量机的研究进展

核函数支持向量机是机器学习的最新尖端技术,并且成功应用于许多领域。本文叙述了核函数支持向量机的基本理论,并介绍了相关的基础研究和应用研究,同时探讨了未来的发展趋势。     

局部密度函数的支持向量机估计法

研究了用局部密度函数表示连续型随机变量的未确知信息问题，给出了估计局部密度函数的支持向量机算法．     

基于支持向量机(SVM)的工业过程辨识

将支持向量机应用到典型的时变、非线性工业过程——连续搅拌反应釜的辨识中，并与BP神经网络建模相比较，仿真结果表明了支持向量机的有效性与优越性．支持向量机以其出色的学习能力为工业过程的辨识提出了一种新的途径。     

回归函数的小波支持向量机鲁棒估计法

小波网络具有小波的多尺度特性和神经网络的自学习功能,在回归估计中得到广泛的应用,但其性能受到样本中粗差的严重影响.虽然以M-估计作为目标函数可以解决这个问题,但由于其对应的影响函数由残差绝对值决定,因此如何选择初始参数值成为一个关键问题.为此,提出回归函数的小波支持向量机鲁棒估计方法(小波支持向量回归,WSVR,Wavelet Support Vector Regression).该方法中首先提出并证明了一种新的小波支持向量机(WSVM,Wavelet Support Vector Machine),用于确定初始参数值方法,这种方法能够确定合理的网络结构和合适的初始参数值,保证含有粗差的样本点的残差绝对值较大;然后使用一种构造的M-估计作为目标函数,并提出了自适应确定阈值方法.仿真结果表明,使用这种方法得到的回归模型不仅具有良好的多尺度逼近特性,而且有较好的鲁棒性和较高的推广性能,具有较高的理论和应用价值.     

支持向量机原始问题研究综述

支持向量机学习器往往是通过求解原二次优化问题的对偶问题获得的.诸多研究表明,支持向量机原始问题同样可以适当地处理约束项,同时,突破以前原二次优化问题不能利用核函数的认识误区,通过引入核函数建立一个无约束优化问题,利用传统优化方法进行求解.理论分析和实验表明,支持向量机原始问题也能实现对数据的高效学习,而且在大规模数据学习问题上,较之求解对应的对偶问题获得的近似解更可靠,参数选择也更好进行.     

基于核可能性c-均值算法的支持向量机

提出一种基于核可能性c-均值算法的支持向量机分类算法,该算法改进了SVM训练过程中噪声和孤立点的敏感问题.其基本思想是:用核可能性c-均值算法对每个模式类训练样本进行聚类,得到不同的可能性度量值,根据得到的可能性度量值对训练样本进行修剪,删除具有较低可能性度量值的训练样本,最后用生成的新训练样本训练支持向量机.实验结果表明,该算法可以有效地解决由噪声和孤立点引发的分类错误问题以及重要样本的错分问题.     

基于支持向量机的无线传感器网络分布式检测

为减少基于似然比检测的无线传感器网络最优分布式检测方法对信道状态、噪声分布和传感器检测性能等信息的依赖,满足实际系统的需要,提出使用支持向量机实现无线传感器网络分布式信号检测的方法.该方法无需预知信道状态和噪声分布信息,简化了无线传感器的节点功能.该方法将传感器节点测量结果以模拟非编码方式发送至数据中心,数据中心利用训练好的支持向量机对接收到的信号进行判决.仿真结果表明,该方法可获得较高的检测精度.     

基于支持向量机的相关反馈图像检索算法

相关反馈技术是近年来在图像检索中较为重要的研究方法 ,从机器学习的角度 ,以支持向量机 (SVM)为分类器 ,提出了一种新的相关反馈方法。在每次反馈中对用户标记的正例和反例样本进行学习 ,建立 SVM分类器作为模型 ,并根据学习所得的模型进行检索。由于 SVM分类器在一定程度上勾勒出了相关图像在特征空间中的分布 ,因而对整个图像库进行检索时可以查找到更多的相关图像。使用由9918幅图像组成的图像库进行实验 ,结果表明 :该方法可以通过交互的反馈过程 ,有效地检索出更多的相关图像 ,并且在有限训练样本情况下具有良好的泛化能力     

基于pinball损失的一对一加权孪生支持向量机

孪生支持向量机通过求解2个较小二次规划问题得到一对非平行超平面,从时间和准确率方面提高了分类器的性能.由于此方法使用Hinge损失函数,造成孪生支持向量机对噪声较为敏感以及重采样的不稳定.为此,针对多分类问题,将pinball损失函数与样本权重引入到孪生支持向量机中,采用一对一方法组合二分类器,提出了基于pinball损失的一对一加权孪生支持向量机,较好地解决了孪生支持向量机对噪声的敏感性以及重采样的不稳定性.另外,对于样本的不同影响,给出了多种求取样本权重的方法.实验中选取标准数据集和人工合成数据集对提出的算法进行了验证,并与一对一孪生支持向量机(OVO-TWSVM)、一对多孪生支持向量机(OVA-TWSVM)以及基于pinball损失的一对一加权孪生支持向量机(Pin-OVO-TWSVM)进行了比较,表明了提出方法的有效性.     

基于MARMA模型的SAR图像SVM分割

在分析SAR图像特征的基础上,提出一种新的基于多尺度自回归滑动平均(multiscale autoregressive moving average,MARMA)模型的SAR图像分割方法.首先建立多尺度序列,然后通过研究SAR纹理图像的MARMA模型,建立适合SAR图像的多尺度特征矢量,最后采用提出的广义加权支持向量机进行特征分类.实验结果表明,采用此分割方法可以获得很好的分割结果.     

不平衡数据分类问题的基于间隔放大损失的支持向量机

针对不平衡数据分类问题,提出了一种带有间隔感知标签分布损失函数的支持向量机,称为基于间隔放大损失的支持向量机(support vector machine with margin magnification loss,MM-SVM)。考虑各类样本的分布情况以及数据不平衡比,设计了一种间隔放大损失函数,最小化基于间隔的泛化误差界;将间隔放大损失函数应用于SVM模型中,增强了少数类样本对分类超平面的影响,实现对少数类样本的准确分类。在Keel和UCI数据库上的实验表明,MM-SVM在不平衡数据分类精度和时间效率上均优于其他5种对比方法,实现了对不平衡数据的有效分类。     

基于支持向量机与多观测复合特征矢量的语音端点检测

该文提出了一种新的多观测复合特征(MO-CF)用于基于支持向量机(SVM)的语音端点检测(VAD)。该特征是由2个子特征经平衡因子加权构成。特征的优化目标是寻找能使VAD的性能曲线下面积(AUC)最大化的平衡因子,以综合各个子特征的优点。在子特征选择方面,要求各个子特征不仅本身具有较好的性能,而且存在互补性。针对该要求,提出2种组合特征MO-CF1和MO-CF2。由多观测信噪比(MO-SNR)特征与多观测最大概率(MO-MP)特征复合而成的MO-CF2比MO-CF1更稳健。实验结果表明:在多种噪声环境下,相比于已有的9种VAD算法,该算法具有更好的性能和更高的稳健性。