PSVM,LSVM和NLSVM三种SVM分类算法的比较

支持向量机(SVM)是数据分类的强大工具,本文对三个分类算法进行了比较.这三个算法是最近SVM(PSVM),Lagrangian SVM(LSVM)和有限牛顿LSVM(NLSVM),比较了三个算法给出线性分类器的过程以及算法的速度和精度,提供了用SVM方法分类问题时的导向.     

一种多核加权支持向量机的水质预测方法

提出一种基于多核加权支持向量机的水质预测方法.核函数及其参数选择与数据分布的情况密切相关,采用单一的核函数应对水资源质量评价指标的整个数据分布难以达到很好的预测结果.采用多核加权学习的核函数避免了核函数设计的盲目性和局部最优等非线性优化问题.实例表明,该方法的预测结果是合理可行的,且与以往同类预测方法相比,有着更为客观...     

人工冻土单轴抗压强度GA-SVM预测模型

为了预计冻结法凿井中井壁结构设计中的人工冻土单轴抗压强度,利用支持向量机在处理小样本分类学习的独到优越性及遗传算法全局并行搜索优化的特点,结合影响人工冻土单轴抗压强度因素,提出了人工冻土单轴抗压强度不同核函数的遗传支持向量机计算模型,并运用该模型预计了两淮地区第四系人工冻土单轴抗压强度。结果表明,多项式核函数的遗传支持向量机模型较高斯径向基核函数及Sigmoid核函数的遗传支持向量机模型较准确地预计人工冻土单轴抗压强度。该模型为人工冻土单轴抗压强度的预计提供了一条新途径。     

基于改进自适应粒子群算法的混合核函数最小二乘支持向量机大坝变形预测

针对大坝变形影响因素的复杂性以及监测数据的非线性、随机波动大和预测难度大等问题,提出一种改进自适应粒子群(particle swarm,PSO)算法的混合核函数最小二乘支持向量机(least squares support vector machine,LSSVM)模型,实现了大坝水平变形的时间序列预测方法.基于Mercer理论,将多项式核函数和高斯核函数进行线性组合,构建混合核函数,作为LSSVM模型的核函数,并以特征因子与大坝变形间的相互联系为基础,采用动态自适应惯性权重的PSO算法,对混合核函数的LSSVM模型进行参数寻优,以确保建立最佳LSSVM预测模型.将模型应用于丰满大坝,并与传统多项式核函数和传统高斯核函数的LSSVM模型进行对比仿真实验,对所提方法的有效性和准确性进行验证评估.结果表明,该模型在预测精度上有了明显提高,预测性能尤佳.可见改进自适应粒子群的混合核函数LSSVM模型对大坝变形的时间序列预测有良好的实用价值.     

牛顿法在求解支持向量机中的应用

支持向量机作为一种重要的机器学习工具,近年来受到了广泛的关注,并得以迅速发展.但在处理大数据时,求解支持向量机对应的二次规划问题是非常棘手的,计算时间长,存储空间大.如何有效求解支持向量机是一个不可回避的研究课题.本文主要研究了如何利用牛顿法求解支持向量机和双生支持向量机,并提出了两个新算法.实验结果表明,所提算法是有效和高效的.     

基于QR分解的稀疏LSSVM算法

传统最小二乘支持向量机(LSSVM)一般通过随机选择部分样本得到核矩阵的低秩近似提高解的稀疏性, 为了使该近似分解用尽可能小的低秩矩阵更好地近似原核矩阵, 提出一种]基于正交三角(QR)分解的QRP-LSSVM稀疏算法. 采用QR分解保持正交的特性挑选差异更大的样本, 迭代地精选核矩阵的部分列得到核矩阵的Nystr-m型低秩近似, 并利用分解结果快速求得最小二乘支持向量机的稀疏解. 实验分析表明, 该算法在不牺牲分类性能的前提下可得到更稀疏的解, 甚至在稀疏水平不超过0.05%的情况下准确率也较高, 可有效解决大规模训练问题.     

基于SVM的表面肌电信号动作模式识别*

为更好地将表面肌电信号应用于智能轮椅的人机接口,提出了一种基于SVM的表面肌电信号动作模式的识别算法。采用一对一的方式构造SVM多值分类器,按照投票原则确定测试样本的类别归属,并与动作模式识别的核fisher算法和RBF神经网络算法进行了对比分析。实验结果表明,支持向量机(SVM)算法识别率更高,可以取得理想的学习效果和泛化性能,很好地解决小样本、非线性及局部极小值问题。     

线性支持向量分类机的平凡解

对二类分类问题,在线性可分或近似线性可分情况下,对线性支持向量分类机的平凡解进行了讨论,得出了解为平凡解的充要条件,说明了其几何意义,指出了避免出现这一现象的解决办法.该充要条件表明:对给定的训练集T,最优解是否为平凡解取决于训练集T的样本点在空间的分布位置,与惩罚参数C值的选取无关.一旦出现平凡解,线性支持向量分类机将会失效.为解决这一问题,可通过增加或减少训练集T中的样本点来实现.     

A fast SVM training algorithm based on the set segmentation and k-means clustering

At present, studies on training algorithms for support vector machines (SVM) are important issues in the field of machine learning. It is a challenging task to improve the efficiency of the algorithm without reducing the generalization performance of SVM. To face this challenge, a new SVM training algorithm based on the set segmentation and k-means clustering is presented in this paper. The new idea is to divide all the original training data into many subsets, followed by clustering each subset using k-means clustering and finally train SVM using the new data set obtained from clustering centroids. Considering that the decomposition algorithm such as SVMlight is one of the major methods for solving support vector machines, the SVMlight is used in our experiments. Simulations on different types of problems show that the proposed method can solve efficiently not only large linear classification problems but also large nonlinear ones.     

最小二乘小波支持向量机在非线性系统辨识中的应用

基于小波分解和支持向量核函数的条件,提出了一种多维允许支持向量小波核函数.该核函数不仅是近似正交的,而且适用于信号的局部分析、信噪分离和突变信号的检测,从而提高了支持向量机的泛化能力.基于小波核函数和正则化理论提出了最小二乘小波支持向量机(LS WSVM)并将LS WSVM用于非线性系统的辨识,提高了辨识效果,减少了计算量.仿真结果表明:LS WSVM在同等条件下比传统支持向量机的辨识精度提高约13 1%,因而更适合于工程应用.     

基于多层自动编码机的fisher判别分析

在常见的特征提取方法中,Fisher判别分析（Fisher Discriminant Analysis,FDA）只能提取线性特征,基于核的方法具有提取非线性特征的能力,但对核函数类型及其参数十分敏感. 文中研究如何有效提取数据特征,提出了一种基于多层自动编码机（Stacked AutoEncoders,SAE）和Fisher标准的特征提取算法,该算法中所使用的深度学习网络模型在训练过程中结合无监督特征提取SAE以及有监督的特征提取FDA. 通过与多层自动编码机、极限学习机（Extreme Learning Machine,ELM）等模型提取的特征进行对比,在数据集Pendigits、mnist、ORL和AR上利用支持向量机对数据特征进行分类,结果表明基于SAE的Fisher变换（FDA-SAE）在分类结果准确率以及分类时间上都有较好的效果. 特别是在小数据集AR上,当样本特征较少的情况下效果非常明显.     

基于和声搜索算法的支持向量机参数优化

支持向量机是建立在统计学理论基础上,以结构风险最小为原则的一种机器学习算法,能够很好地解决小样本、高维数、非线性等问题,被广泛地应用于模式识别、函数估计及回归预测等领域.但是支持向量机性能的高低往往取决于其相关参数的正确选择.为提高优化参数的精度及效率,利用和声搜索算法的全局寻优能力,对支持向量机的惩罚参数及核参数进行优化选择.通过4个标准UCI数据集的仿真实验,结果表明本算法不仅减少了搜索时间,而且所获得的参数能大幅提高支持向量机的性能和预测精度,提高了泛化能力.     

基于奇异值特征和支持向量机的人脸识别

针对人脸识别中经常遇到的"小样本"和"过学习"等问题,同时为了进一步改善人脸图像的奇异值特征在人脸识别中的识别性能,提出了一种基于奇异值分解和支持向量机的人脸识别新方法.在特征提取阶段,首先对训练样本集中的每一个人脸图像矩阵进行奇异值分解,得到训练样本的奇异值特征,然后对每个样本的奇异值特征向量进行降维、归一化、奇异值向量的分量重新排列等处理.在识别阶段,运用支持向量机作为分类工具,为了提高分类能力,选取径向基函数作为支持向量机的核函数.最后在ORL人脸数据库上验证了该方法.实验结果表明,通过对奇异值特征的相关处理,提高了识别速度和正确识别率.从而证明了所提出方法的有效性,具有一定的应用价值.     

基于优化最小二乘支持向量机的数控机床热误差建模分析

数控机床热误差是降低加工精度的主要因素之一.针对热误差建模问题, 结合布谷鸟算法的随机莱维飞行机制和最小二乘支持向量机结构风险最小化与线性规划等优点, 提出基于布谷鸟算法优化最小二乘支持向量机的热误差建模方法.在最小二乘支持向量机将低维非线性问题转化为高维线性问题时, 构建了混合核函数.同时,采用布谷鸟算法对最小二乘支持向量机惩罚因子γ、核宽度参数σ和混合核权值λ进行了优化.以GMC2000A机床为实验对象, 分别对热误差数据进行了聚类分析和建模分析.通过误差预测对比分析得出结论, 基于布谷鸟算法优化混合核最小二乘支持向量机建立的误差模型取得了良好的预测效果, 且明显优于BP神经网络模型和未优化的最小二乘支持向量机模型的预测效果.     

基于多尺度最小二乘支持向量机的舰船备件器材多类分类

针对远海任务舰船备件器材的分类管理,通过运用支持向量机理论,充分发挥多尺度核在非线性分类中的优势,借助最小二乘原理,构建了多尺度最小二乘支持向量机学习模型。在实际运用中,通过选用高斯径向函数作为多尺度核函数,以训练样本数据分布的离散系数作为核函数宽度参数取值依据,采取ECOC方法建立了多类分类模型,实例计算表明,该方法对远海任务舰船备件器材的分类是有效、可行的。     

支持向量机在银行客户信用评估中的应用

贷款业务是银行极为重要的资产业务,构建一个适用的客户信用评估模型十分重要。由于近年来在智能学习系统领域发展起来的新理论,并引入小样本学习的通用学习算法——支持向量机（Support Vector Machines,简称SVM）,建立银行客户信用评估模型。由于在统计学习理论中的结构风险最小化的SVM算法,克服了传统信用评估模型中的过拟合和局部最优的缺点。同时,通过在模型中采用核函数,有效地解决了线性不可分问题。因此,使得基于这种技术的评估模型具有较强的实用性。通过与神经网络模型的比较,证实了该方法用于风险评估的有效性及优越性。     

自训练半监督加权球结构支持向量机多分类方法

针对自训练半监督支持向量机算法中的低效问题,采用加权球结构支持向量机代替传统支持向量机,提出自训练半监督加权球结构支持向量机。传统支持向量机需要求解二次凸规划问题,在处理大规模数据时会消耗大量存储空间和计算时间,特别是在多分类问题上更加困难。利用球结构支持向量机进行多类别分类,大大缩短了训练时间,降低了算法复杂度。球结构支持向量机在不同类别样本数目不均衡时训练分类错误倾向于样本数目较小的类别,通过权值的引入,降低了球结构支持向量机对样本不均衡的敏感性,补偿了类别差异对算法推广性能造成的不利影响。在人工数据集和UCI(university of california irvine)数据集上的实验结果表明,该方法对有标记样本的鲁棒性较好,不仅能够提高效率,且分类精度也有显著提高。     

支持向量机函数拟合在分形插值中的应用

为消除分形插值曲线的断裂和周期现象 ,论文提出在分形插值的后期使用基于统计学习理论 ( SL T)的支持向量机 ( SVM)函数拟合方法。统计学习理论 ( SL T)着重研究在小样本情况下的统计规律及学习方法性质。支持向量机是建立在 SL T理论框架上新的通用学习算法。用该方法对随机生成的分形模型进行拟合实验 ,达到很好的效果。所以 ,在分形插值后期使用 SVM函数拟合 ,不但可以消除插值曲线的不确定性 ,还可以保留分形曲线显示细节变化的优点。     

一种近似于支持向量机的分类模型

针对线性可分与非线性可分问题,讨论了支持向量机分类模型及核函数的选择.为避免支持向量机的核函数及参数选择的不确定性,提出一种近似于支持向量机的分类模型,并通过心脏病预测实例对两种模型进行了比较.     

泛化的统一切比雪夫多项式核函数

针对分布稀疏、特征不明显的小样本数据回归中的属性冗余问题,基于统一切比雪夫多项式,提出了一种向量形式输入的可变正交多项式核函数——泛化的统一切比雪夫多项式核函数.新的核函数通过利用统一切比雪夫多项式的正交性和可变性扩大了函数的搜索空间,通过调整多项式阶数有效地控制了特征空间维数,从而解决了稀疏数据回归中的属性冗余问题.另外,利用Mercer定理证明了该核函数的有效性.在多组标准数据集和实际工程数据集上对核函数的性能进行了实验对比,结果证明新的核函数预测精度较高,泛化能力较好,在大多数标准数据集上的性能优于其他切比雪夫多项式核函数.