多类支持向量机算法的研究

支持向量机(SVM)是建立在统计学习理论的基础上的一种小样本机器学习方法,它是针对二分类问题而提出的,如何将二分类问题有效地推广至多分类问题是支持向量机研究的重要内容之一.介绍了现有提出的一些支持向量机多分类的方法,并比较其优缺点,在模糊支持向量机的基础上提出具有去噪声的模糊支持向量机的多分类的方法.     

基于可靠性测度的多类支持向量机

多类分类问题是我们经常遇到的问题,常用的方法是将多类问题转化为若干个二类问题,然后利用二类支持向量机(support vector machine,SVM)进行分类,如一对余SVM,一对一SVM,决策树SVM等.在这些方法中,大都没有考虑所生成的多个分类器之间的可靠性和重要性问题.为了改进这一点,本文以一对余SVM为例,提出了两种基于可靠性测度的多类分类算法,算法的思想可用于一对一SVM,决策树SVM等其他多种分类器中.为了检验所提算法的有效性,本文进行了比较试验,实验结果表明所提算法不仅提高了分类准确度,而且具有更为广泛的推广能力.     

四类基于支持向量机的多类分类器的性能比较

本文通过UCI数据库中的五个数据集,从分类准确性和运行时间两个方面,比较了四类基于支持向量机的多类分类器——多类支持向量机(MSVM),多元双生支持向量机(MTSVM),多生支持向量机(MBSVM)以及多元支持向量分类回归机(MSVCR)的性能.实验结果表明,MTSVM和MBSVM比MSVM和MSVCR更有效.     

基于双支持向量机的偏二叉树多类分类算法

提出一种基于双支持向量机的偏二叉树多类分类算法,偏二叉树双支持向量机多类分类算法.该算法综合了二叉树支持向量机和双支持向量机的优势,实现了在不降低分类性能的前提下,大大缩短训练时间.理论分析和UCI（University of California Irvine）机器学习数据库数据集上的实验结果共同证明,偏二叉树双支持...     

基于聚类的鲁棒最小二乘支持向量机

现实数据集通常是呈非线性分布的,虽然很多最小二乘支持向量机算法利用分治策略可以对这一类数据集进行建模,但是由于子模型缺乏鲁棒性,所建的总体模型易受噪声的干扰进而失效。为了对带有噪声的数据集建模,提出了一种基于聚类的鲁棒的最小二乘支持向量机。首先,使用聚类方法将样本分成几个子数据集,每一个子数据集对可以相应地建立一个局部的最小二乘支持向量机来获取对应子数据集的局部动态性。其次,通过在损失函数里加入一个全局正则化因子,使得局部子模型间能够智能地协调,保证建立的全局模型不仅是光滑连续的,同时具有良好的泛化性和鲁棒性。数学和实际例子表明,对于含有噪声的样本集,所提出的方法具有更好的建模效果。     

支持向量机的聚类补偿研究

主要研究支持向量机方法与聚类算法的配合问题.支持向量机的训练代价太大,如果直接把成千上万个特征向量直接用作训练,运算时间难以忍受.采取的策略是用聚类算法获得较少的聚类中心,然后将聚类中心作为支持向量机的训练样本.事实上,这样的组合方式有待改进.每一聚类的样本数有多有少,所以每一个聚类中心所体现出来的权重不一样.反映在支持向量机的算法中,改进思路为:在支持向量机的训练中,除了原有点以外,加入人工样本点,人工样本点的位置就是这些原有点之一,各个位置的数量与聚类大小成比例.     

基于密度聚类的支持向量机分类算法

为了解决支持向量机的分类仅应用于较小样本集的问题,提出了一种密度聚类与支持向量机相结合的分类算法.在密度聚类中,当一个样本点不存在拟密度可达的样本点,则其显著特征即表现为该簇的边缘点,将该点加入约简集合,直至选出样本集合中的所有边缘对象,然后再利用约简集合寻找支持向量.实验表明,采用该算法,分类的准确率可从基于无监督聚类的支持向量机算法的86.81%提升至95.43%,核函数计算量由原数量级109下降到106以下,采取限制密度聚类中的核心点ε-邻域内的反例百分比的方法,可以增加约简样本的个数,可将分类准确率提高5%~8%左右.     

基于支持向量机的多类形状识别系统

支持向量机是一种能在训练样本数很少的情况下达到很好分类推广能力的学习算法,文中研究了支持向量机的分类机理,并将其应用于形状识别中,利用一对一判别策略构建了多类形状识别系统,实验中以交通标志图像为实验对象进行分类,结果表明该方法的泛化能力优于一般的识别方法。     

K聚类加权最小二乘支持向量机在分类中的应用

数据分类作为模式识别、故障诊断技术的基础,在实际应用中常常由于系统的非线性、噪声性以及样本的不平衡采集,使得常规的分类算法存在一定的局限性。将最小二乘加权支持向量机用于分类问题,利用K聚类算法分析样本间内在关系从而确定权值系数,可以很好地减小噪声影响,补偿不同类样本数目上的不平衡,减少训练时间,提高分类正确率。通过一个图像识别过程中多类别分类实例,证明了算法在分类问题中的有效性。该方法可以成为现有方法的有效补充分析工具。     

基于遗传算法的最小平方支持向量机

支持向量机和最小平方支持向量机的分类中,采用人工方法选取特征子集和参数,需要付出较高的时间代价.为此,本文提出基于遗传算法的最小平方支持向量机,借助于遗传算法的全局随机搜索能力,自动确定特征子集、参数,为特征子集、参数的优化选择提供了一条有效途径.     

一种快速提取植物叶片最小外接矩形的算法

为了提高提取植物叶片最小外接矩形的计算效率与精确度,提出一种快速提取植物叶片最小外接矩形的算法.该算法首先使用Canny算子提取叶片轮廓,然后使用基于平面扫描法的Graham算法构造叶片轮廓凸包,最后提取叶片最小外接矩形.仿真实验结果表明:在Flavia植物叶片数据库中进行测试,该算法优于旋转法、顶点链码法.     

基于SVM的多类分类集成

为了解决单个SVM可能产生的泛化能力恶化问题以及当SVM采用一对多组合策略解决多类分类时可能产生的误差无界情况,本文采用Bagging方法构造了一个基于SVM的多类分类集成模型,利用MIT KDD 99数据集进行仿真实验,通过实验探讨了其中的两个参数——训练样本数和单分类器个数对集成学习效果的影响,并将其与采用全部样本进行训练及部分样本进行训练的单分类器检测进行了比较。结果表明：集成学习算法能够有效降低采用全部样本进行训练所带来的计算复杂性,提高检测精度,而且也能够避免基于采样学习带来检测的不稳定性和低精度。     

基于二叉树的SVM多类分类算法研究

支持向量机是一种高效的分类识别方法,在解决高维模式识别问题中表现出许多特有的优势.支持向量机本身是一个两类问题的判别方法,不能直接应用于多类问题.介绍了基于二叉树的SVM多类分类算法,通过对其原理和实现方法的分析,对这些方法的优缺点进行了归纳和总结,给出了进一步的研究方向.     

加权最小包容球问题的对偶光滑逼近算法

【目的】研究加权最小包容球问题,并给出一类求解该问题的算法。【方法】加权最小包容球问题是一个极大极小化的非光滑问题。首先利用对偶方法将该问题转化为极小化非光滑问题,然后利用光滑逼近思想,将该问题转化为极小化的光滑问题进行求解。【结果】根据数据实例表明该算法有效。【结论】得到求解加权最小包容球问题的一类对偶光滑逼近算法。     

基于微观模板的多类JPEG图像盲隐密分析方法

为准确判断一幅JPEG图像使用了何种隐密软件,针对JPEG隐密软件可能采用的DCT域隐密操作,建立了基于微观模板的统计特征空间,并在此基础上提出了一种多类JPEG图像盲隐密分析方法.实验结果表明:对JSteg、F5和Outguess 3种典型JPEG图像隐密软件各自生成的、含密量大于20%的JPEG隐密图像,该方法的隐密软件识别正确率均在97%以上.基于微观模板的统计特征提取方案可有效区分不同的DCT域隐密操作,有助于对JPEG隐密软件的检测判决.     

基于SVM的CPU-GPU异构系统任务分配模型

为了改善异构系统的性能和效率,提出并实现了一个两阶段的任务分配模型.该模型对预分配给CPU和GPU的任务集进行多轮调整,以此最大程度地缩短程序的执行时间.首先,使用支持向量机进行任务预处理,支持向量机将任务分成CPU型和GPU型;然后,根据预处理结果以及处理器的特征和状态,并在对分配集合进行多轮调整后实施实际的任务分配.本模型在具体的异构系统中实现,使用多种基准程序进行检测.实验结果表明,对比其他任务分配算法,本文算法能够使性能获得平均43.54%的提升.     

基于超长方体与KNN的分类算法

提出了超长方体与KNN相结合的分类算法.在训练阶段,该算法为训练集中的每一个类别构造多个超长方体,区域分离每一类训练样本.在测试阶段,该算法首先检查测试样本是否被某一个超长方体包围,如是则其类别被识别出,否则用KNN方法确定其类别.实验采用四个真实数据集进行测试.实验结果表明基于超长方体与KNN的分类算法在四个数据集全部优于两个基于多球覆盖的分类方法,是一种有效的分类方法.     

基于TWSVMs的改进说话人识别系统

实现了一个基于双分界面的支持向量机的文本无关说话人识别系统,该系统在建立模型的过程中使用高斯混合模型进行特征提取,有效地减少了数据集的规模。与传统的支持向量机方法相比,该方法不仅达到了更高的识别率,对环境具有良好的鲁棒性,并且降低了算法的时间复杂度。由于该方法对大规模数据集的处理能力,使其比传统的方法更适合应用于实际。在相关实验中,也证实了该方法的有效性。