基于支持向量机的分类方法

支持向量机是建立在统计学习理论基础上的一种小样本机器学习方法,用于解决二分类问题。本文阐述了支持向量机的理论基础并对核函数的参数选择进行了分析研究。     

基于最小二乘的孪生有界支持向量机分类算法

基于经典的孪生有界支持向量机(TBSVM),构造了一个既简单又快速的基于最小二乘的孪生有界支持向量机(LSTBSVM)的二分类算法.该算法简单地将TBSVM模型中的两个目标函数中不等式约束问题修改为等式约束,问题最终归结为求解两个最小二乘问题,以至于两个最优不平行平面可通过求解一对线性方程组获取.与TBSVM相比,LSTBSVM具有更低的时间复杂度,以至于可以有效地处理大数据集.通过理论分析和在传统的UCI和人工数据集上的实验显示,LSTBSVM不仅具较快的计算速度,且能得到与TBSVM相当的性能.     

支持向量机的人脸识别方法

简要介绍了基于统计学习理论中结构风险最小化原则的支撑向量机(SVMs)技术的国内外研究现状,分析了该技术的优越性和存在的某些局限,并提出了该技术的一些改进思路.     

核函数支持向量机的研究进展

核函数支持向量机是机器学习的最新尖端技术,并且成功应用于许多领域。本文叙述了核函数支持向量机的基本理论,并介绍了相关的基础研究和应用研究,同时探讨了未来的发展趋势。     

基于支持向量机的人脸识别身份验证技术研究

利用K-L变换首先对人脸图像进行特征参数提取,再利用支持向量机进行识别。由于支持向量机的推广性取决于核函数参数与误差惩罚因子的选择,为此采用思维进化算法对其参数进行优化选择,提出支持向量机与思维进化算法相结合的新型算法进行分类识别,算法解决了支持向量机参数选取的难题,利用ORL人脸库进行仿真实验,结果表明,基于改进的支持向量机的人脸识别技术识别效率高、方法有效。     

基于支持向量机的局域线性嵌入算法在图像检索中的应用

SVM算法复杂度与样本维数无关,具有的泛化能力强、分类精度高的特点,而LLE是有效的非线性降维方法,本文利用支持向量机(SVM)算法对局域线性嵌入(LLE)算法进行改进,有效地解决了基于内容的图像检索中的高维特征向量的降维问题,实验表明具有较高的查全率和查准率.     

回归函数的小波支持向量机鲁棒估计法

小波网络具有小波的多尺度特性和神经网络的自学习功能,在回归估计中得到广泛的应用,但其性能受到样本中粗差的严重影响.虽然以M-估计作为目标函数可以解决这个问题,但由于其对应的影响函数由残差绝对值决定,因此如何选择初始参数值成为一个关键问题.为此,提出回归函数的小波支持向量机鲁棒估计方法(小波支持向量回归,WSVR,Wavelet Support Vector Regression).该方法中首先提出并证明了一种新的小波支持向量机(WSVM,Wavelet Support Vector Machine),用于确定初始参数值方法,这种方法能够确定合理的网络结构和合适的初始参数值,保证含有粗差的样本点的残差绝对值较大;然后使用一种构造的M-估计作为目标函数,并提出了自适应确定阈值方法.仿真结果表明,使用这种方法得到的回归模型不仅具有良好的多尺度逼近特性,而且有较好的鲁棒性和较高的推广性能,具有较高的理论和应用价值.     

一种针对稀有类支持向量机的新算法

支持向量机方法是流行的数据分类方法,但支持向量机方法对稀有类的分类能力不强.针对稀有类数据的多超平面支持向量机是一种基于支持向量机方法的稀有点类分类方法,与支持向量机相似,使用超平面进行分类.与支持向量机不同的是,SVM_MH要求稀有类点在所有超平面正侧的交集中.SVM_MH对稀有类的分类要求更严格,而对非稀有类的条件相对宽松.支持向量机方法可以看作是一个特殊的SVM_MH.核函数在稀有类支持向量机中仍然适用.     

基于二维Gabor小波和孪生支持向量机的图像识别算法

为了提高图像识别性能,采用孪生支持向量机用于图像分类识别,并结合二维Gabor小波对图像纹理特征进行提取,借助局部线性嵌入(Locally linear embedding,LLE)降维,以进一步提高图像识别准确率和识别效率.采用二维Gabor小波对图像数据进行有效滤波,获得图像关键纹理特征,然后对大量纹理特征进行LL...     

基于参数嵌入算法的支持向量机分类可视化研究

针对常用的降维算法只能可视化高维数据某一方面或某几方面特征的不足,运用参数嵌入算法在低维空间可视化其所有的特征。首先假设数据的类别在嵌入空间服从高斯分布,通过支持向量机分类算法获得训练数据在高维空间类别属性的后验概率,然后运用参数嵌入算法得到测试数据在嵌入空间的坐标和类别属性,从而实现高维数据分类的可视化．在Usps,YaleB,Mini Newsgroups数据集上的实验结果表明,该方法不仅能在低维空间表示高维数据与所属类别的联系,而且能正确揭示出数据集内部和类别集内部的关系,有利于深入研究高维数据分类的性质,参数嵌入算法的可视化效果优于直接应用PCA,ISOMAP等算法得到的低维图形,并且计算复杂度仅是数据类别和相应个数的乘积,非常适合于数据量大,类别数较少的数据分类可视化。     

基于支持向量机的线性模型鲁棒参数估计

探讨了基于支持向量机的线性系统参数估计问题,利用最小二乘支持向量机来估计自回归滑动平均模型(ARMA)的参数,并在理论上证明了在高斯噪声下比最小二乘估计方法具有更小的均方差;随后利用标准支持向量机来估计ARMA的参数,并利用它的性质从理论上分析了其对大噪声和小噪声的鲁棒性.仿真结果表明支持向量机方法能有效克服样本中的异常点和噪声对参数估计的干扰,比最小二乘估计方法具有更好的鲁棒性.     

一种面向分类的核局部线性嵌入算法

局部线性嵌入算法(LLE)已被广泛运用于模式分类,但它存在两个缺点。首先LLE是一种无监督学习方法,没有很好地利用类别信息;其次,LLE算法假设数据在局部上的分布是线性的,如数据非线性分布则效果有限。对此,提出了一种解决分类问题的核局部线性嵌入算法。利用KLLE算法的思想寻找样本的内在流形分布,并通过重构误差来判定该样本的类别。所提方法考虑了样本的类别信息,也适合于处理局部非线性分布的数据。在Yale人脸库的实验结果验证了其有效性。     

基于迭代方法的模糊孪生支持向量机

模糊孪生支持向量机通过为每个训练样本赋予不同的模糊隶属度来构建2个最优非平行分类面,以便减少噪声或孤立点对非平行分类面的影响,进一步提高了支持向量机的性能.本文结合超松弛迭代法对模糊孪生支持向量机进行了研究,通过迭代技术求解凸二次规划问题中的拉格朗日乘子,减少了支持向量机的训练时间,在UCI标准数据集上分别对C-FTSVM和v-FTSVM进行了实验研究,并对使用传统求拉格朗日乘子的方法与超松弛迭代(SOR)的方法进行了对比,表明了使用超松弛迭代法不仅在时间性能上得到了提高,而且其分类正确率也优于传统的方法.     

一种新的支持向量机树学习模型

针对特征空间维数较高时,混淆交叉支持向量机树中间节点的学习结果可能包含冗余特征信息的情况,考虑各维特征之间的相互关系以及各数据点之间的相互关系对数据的分类影响,提出一种基于有监督局部线性嵌入的支持向量机树学习模型.考虑每个中间节点上需要不同的特征信息进行局部决策,分别对每个中间节点(包括根节点)上的样例进行有监督局部线性嵌入学习.实验以手写阿拉伯数字识别问题为例验证和分析了模型的结构和分类识别性能,与其他学习模型的对比结果表明,该模型能在有监督局部线性嵌入学习的基础上,以更精简的结构获得与其他学习模型可比的识别精确率.     

支持向量机的凸优化求解

支持向量机(SVM)是一种基于统计学习理论的机器学习方法,由于其优越的学习性能,已经成为当前模式识别、数据挖掘、大数据处理等机器学习领域的研究热点.查阅相关同类文章,发现其中对SVM理论中公式,如距离函数d、拉格朗日函数L(w,b,α)、二次凸优化函数f(x)等的来龙去脉缺少细致的阐述.本文对SVM理论中典型的线性最优二分类问题的求解进行了完整的推导,并给出了对岩屑岩性分类识别的结果,也为今后的非线性多类模式分解作出铺垫.     

局部影响分析在支持向量机中的应用

 讨论了通过对支持向量的局部扰动来确定支持向量集中的强影响点,并由这些强影响点构造相同精度下具有更强广义能力的支持向量机;对线性核函数和高斯径向基函数所构建的SVM进行了分析,并给出一个实例.     

基于空间降维和多核支持向量机的网络入侵检测

提出空间降维和多核支持向量机算法进行网络入侵检测;从网络中抓取数据包,通过局部线性嵌入数据降维获得属性降维后的数据样本;通过差异化设置参与局部线性嵌入运算的邻居数,验证适合样本集的邻居数,将多项式核函数、高斯核函数和Sigmoid核函数进行两两组合,分别验证多核支持向量机的网络入侵检测性能.结果表明,在合理设置局部线性...     

一种新的基于支持向量机的自动调制识别方案

为了解决在合作或非合作的通信应用领域中（如软件无线电,电子侦察系统等）多种调制信号之间的切换问题,提出1种基于多类别支持向量机（SVM）的模拟和数字信号的调制识别的新方案。SVM将特征向量非线性地映射到高维特征空间中,并建立1个最优超平面来实现信号调制方式的分类。这种方法避免了在人工神经网络中的过学习、欠学习以及局部最小化的问题。仿真中将应用于调制识别的SVM算法与人工神经网络算法（ANN）做了比较,结果表明SVM自动调制识别方法结构简单,识别率高,解决小样本的能力强,在信噪比SNR不低于5dB时,正确识别率达到94％以上,适于在工程中应用。     

一种新型支持向量机

讨论了现有的用于分类的支持向量机(SVM)所确定的边界在抗干扰方面的局限性.在此基础之上提出了一种新型支持向量机,即基于边界调节的支持向量机,并利用K-T条件得到了这种支持向量机的对偶目标函数.通过对人工数据集和真实数据集的仿真实验表明,相对于L1-SVM而言,基于边界调节的支持向量机具有更少的支持向量和更好的推广性能.     

基于总间隔与代价差异算法的支持向量机

针对支持向量机在实际应用中存在的最优分类超平面的倾斜问题和推广误差界的问题,引入了总间隔与代价差异算法,对标准的支持向量机算法进行了改进.同时,针对线性和非线性两种情况,给出了详细的公式推导过程,并得出结论:基于总间隔与代价差异算法的支持向量机的性能优于标准的支持向量机.