支持向量机的算法研究

支持向量机(support vector machine,SVM)是20世纪90年代发展起来的一种新型机器学习方法,是在统计学习理论基础上发展起来的一种新的数据挖掘方法,已广泛应用于模式识别与回归分析.并已成为国际机器学习界的研究热点.本文主要讨论其基本原理与SVM训练算法.     

支持向量机的算法研究

支持向量机(support vector machine,SVM)是20世纪90年代发展起来的一种新型机器学习方法,是在统计学习理论基础上发展起来的一种新的数据挖掘方法,已广泛应用于模式识别与回归分析。并已成为国际机器学习界的研究热点。本文主要讨论其基本原理与SVM训练算法。     

关于支持向量机DirectSVM算法的探讨

DirectSVM算法是求解支持向量机的一种简单快速迭代算法,具有最好的几何直观性.算法将线性可分的两类样本中距离最近的两个异类样本点作为支持向量,以该两点连线的垂直平分面作为初始分类超平面,然后根据分类情况逐步确定新的支持向量,即逐步优化出最优分类超平面.对该算法进行了测试,发现该算法具有局限性,并对算法局限性产生的根源进行了分析,对如何合理使用DirectSVM算法进行了讨论.结论是:用DirectSVM算法直接求解最优分类面是不可靠的,但可以作为支持向量机的一种近似算法,也可以作为求解候选支持向量集的方法,再与其他经典算法结合使用.     

支持向量机训练及分类算法研究

支持向量机(SVM)是在统计学习理论基础上发展起来的一种新的数据挖掘方法,已广泛应用于模式识别与回归分析等领域。针对一些主要的SVM训练算法,比较它们的特点,阐述其中最有代表性的序列最小优化(SMO)算法及其多种改进算法,还讨论一些典型的支持向量机多分类算法及支持向量机多标注算法。最后,指出亟待解决的一些问题。     

一种支持向量分类学习算法

分析样本与KKT条件之间的关系以及新增一个样本点对原支持向量分类学习结果的影响,并针对支持向量机在较多训练样本时需要较大的计算量和内存的问题,基于已有的算法提出了一种新的学习算法．实现了对样本集的有效压缩,有利于运算速度的改善．     

一种新的支持向量机增量算法

分析了增量学习过程中支持向量和非支持向量的转化情况。在此基础上提出一种误分点回溯SVM增量算法,该算法先找出新增样本中被误分的样本,然后在原样本集寻找距误分点最近的样本作为训练集的一部分,重新构建分类器,这样能有效保留样本的分类信息。实验结果表明:该算法比传统的支持向量机增量算法有更高的分类精度。     

一种支持向量机的动态自适应加权算法

针对现有回归型加权支持向量机直接选择加权系数法存在的不足,提出了一种对加权系数进行寻优的新方法——动态自适应加权算法.通过对权系数进行的自适应迭代调整,以确定其最优值,并进行了实验仿真.仿真结果表明：采用该方法确定的最优加权系数,可以对预测样本数据进行更准确的回归估计.     

面向分类去噪问题的模糊支持向量机新算法

针对面向分类去噪问题,提出了一种新的模糊支持向量机算法（ν-FSVM）,并给出了通过无穷次连续可微函数建立模糊关系的方法.该方法能对训练集中的点自动赋予模糊关系,并且对带有噪声的点和孤立的点赋予较小的模糊关系.与传统的ν支持向量机比较,该算法通过建立训练集的模糊关系,能够大大减小噪声对分类的影响,从而提高分类精度,减少误差.     

一种新的支持向量机光滑函数

推导并证明了一个高阶光滑函数,分析了其若干性能．结果表明：该函数具有比1～7阶光滑函数更好的逼近性能,为支持向量机的进一步研究提供了新的光滑函数．     

一种针对稀有类支持向量机的新算法

支持向量机方法是流行的数据分类方法,但支持向量机方法对稀有类的分类能力不强.针对稀有类数据的多超平面支持向量机是一种基于支持向量机方法的稀有点类分类方法,与支持向量机相似,使用超平面进行分类.与支持向量机不同的是,SVM_MH要求稀有类点在所有超平面正侧的交集中.SVM_MH对稀有类的分类要求更严格,而对非稀有类的条件相对宽松.支持向量机方法可以看作是一个特殊的SVM_MH.核函数在稀有类支持向量机中仍然适用.     

基于双支持向量机的偏二叉树多类分类算法

提出一种基于双支持向量机的偏二叉树多类分类算法,偏二叉树双支持向量机多类分类算法.该算法综合了二叉树支持向量机和双支持向量机的优势,实现了在不降低分类性能的前提下,大大缩短训练时间.理论分析和UCI（University of California Irvine）机器学习数据库数据集上的实验结果共同证明,偏二叉树双支持...     

Weighted Proximal Support Vector Machines： Robust Classification

Despite of its great efficiency for pattern classification, proximal support vector machines (PSVM), a new version of SVM proposed recently, is sensitive to noise and outliers. To overcome the drawback, this paper modifies PSVM by associating a weight value with each input data of PSVM. The distance between each data point and the center of corresponding class is used to calculate the weight value. In this way, the effect of noise is reduced. The experiments indicate that new SVM, weighted proximal support vector machine (WPSVM), is much more robust to noise than PSVM without loss of computationally attractive feature of PSVM.     

基于层次型支持向量机的人脸检测

复杂背景中的人脸检测可广泛应用于人脸识别、人机交互等方面。但目前大部分人脸检测方法中存在分类器训练困难和检测计算量大等问题。提出了一种基于层次型支持向量机的正面直立人脸检测方法,在这两方面作了改进。这种结构的分类器由一个线性支持向量机组合和一个非线性支持向量机组成,由前者在保证检测率的情况下快速排除掉图像中绝大部分非人脸区域,后者对人脸候选区域进行进一步确认。在卡内基梅隆CMU等数据库上的实验证明了这种方法不仅具有较高的检测率和较低的误检率,而且具有较小的计算量。     

一个广义三次样条光滑半监督支持向量机

研究半监督支持向量机分类优化模型的非光滑问题。建立了光滑半监督支持向量机模型,采用广义三弯矩法导出零点二阶光滑的广义三次样条函数,并以此逼近半监督支持向量机优化中的非光滑部分。构造出基于上述样条函数的具有一阶光滑的半监督支持向量机,从而可以用优化中的光滑算法来求解该模型。分析了广义三次样条函数逼近对称铰链损失函数的逼近精度,证明了新模型的收敛性。数值实验显示新模型有较好的分类效果。     

支持向量机多类分类的数字调制方式识别

针对神经网络存在的过学习、欠学习、局部极小值等问题,提出了一种基于支持向量机(SVM)的数字调制方式的识别方法。从信号的瞬时幅度,瞬时相位,瞬时频率,频谱,包络变化等特性中提取了7个特征参数,用于训练支持向量机。运用二叉树理论设计多类分类器,与已有算法相比,具有简单、高速、高精度的特点。仿真结果证明,在高斯白噪声(AWGN)下,当信噪比大于15dB时,对2ASK、4ASK、8ASK、2FSK、4FSK、8FSK、BPSK、QPSK、8PSK调制方式的识别率可以达到97% 以上。     

基于样条函数的光滑支持向量机模型

应用光滑函数改进支持向量机模型,得到无约束条件、可微的二次规划问题,从而可以采用快速的最优化算法求解光滑支持向量机模型.提出了一种广义三弯矩方法,用这个方法构造出新的五次样条光滑函数和七次样条光滑函数.证明了上述两个样条光滑函数的逼近精度均高于已有的各种光滑函数;基于上述两个样条函数的光滑支持向量机模型的收敛精度也高于已有的各种光滑支持向量机模型.     

基于自适应核函数的支持向量数据描述算法

为进一步提高支持向量分类器的分类精度和运行速度,提出了基于自适应核函数的支持向量数据描述分类算法。该算法的核心思想为：根据信息几何中保角映射的方法构造数据驱动的核函数修正算法,然后再利用修正的核函数训练支持向量数据描述分类算法。试验结果表明,该方法具有较好的分类精度和较快的运行速度。     

支持向量机子问题的算法研究

求解支持向量机大规模分类问题时,系数矩阵的存储和计算是非常困难的.借助分解技术,把问题分解成多个维数较低的二次规划问题.利用增广拉格朗日函数将子问题转化成只含有界约束的形式,再用修正子空间有限记忆BFGS方法解子问题,节省了存储空间,提高了求解效率.     

核PCA支持向量机算法研究

在核函数基础上,提出了一种融合支持向量机和核主元分析的核PCA支持向量机综合集成分类方法,给出了算法实现步骤。仿真实验表明了该算法具有很好的分类性能,特别适合于消除噪声情形的模式识别问题。     

基于公共矢量的总间隔v最小类内方差支持向量机在噪音人脸图像分类中的应用

为提高噪音人脸图像分类问题中的抗噪性能,在综合最小类内方差支持向量机(minimum class variance support vector machines,MCVSVMs)和总间隔v-支持向量机(total margin v support vector machine,TM-v-SVM)的优点的基础上,提出了基于公共矢量的总间隔v最小类内方差支持向量机(Total margin v minimum class variance support vector machines based on common vectors,TM-v-M(CV)²SVMs)。受公共矢量(common vectors,CVs)的启发,引入了散度矩阵以进一步提高算法的分类性能和抗噪性能,并给出了TM-v-M(CV)²SVMs的推导过程。经实验证明,在噪音人脸图像的分类问题中,TM-v-M(CV)²SVMs获得了比MCVSVMs和TM-v-SVM更好的分类性能和抗噪性能。