支持向量机的一个边界样本修剪方法

支持向量机仅仅由支持向量所决定,而支持向量来自于边界的样本,如果样本集中存在较多的噪音或孤立点,特别是两类样本过分交叉,都会降低支持向量机的推广能力。为了改善支持向量机的推广性能,文章提出一个支持向量机的边界样本修剪方法:首先对边界样本进行抽取,然后用RemoveOnly算法对边界样本进行修剪,修剪后的边界样本就是最终的支持向量机训练样本。实验结果表明,修剪方法可以让支持向量机的推广能力有不同程度的提高。     

基于子空间选择的SVM快速算法及其在医学图像奇异点检测中的应用

支持向量机（SVM）花费大量时间用于对非支持向量样本的优化．根据支持向量都是位于两类边界的靠近分类超平面的样本点，本文提出首先利用基于中心距离比值法排除大部分远离分类超平面的样本，然后以最小类间距离样本数作为测度进一步选择边界样本．得到包含所有支持向量的最小样本集，构成新的训练样本集训练SVM．将提出的算法应用于解决医学图像奇异点检测问题．实验结果表明．该算法减小了训练样本集的规模，有效地缩短了SVM训练算法的时间．同时获得了较高的榆出率．     

基于双支持向量机的大样本分类算法

针对支持向量机(Support Vector Machine,SVM)处理大规模样本分类的学习效率降低问题,提出两阶段学习的支持向量机算法。该方法首先在正负类分别进行无监督聚类,提取各个聚类质心组成约简训练集,进行初次SVM训练;然后,根据初次训练结果选取边界样本集,参与第二次SVM训练。在UCI数据集上的实验结果表明,所提方法在保持分类泛化性能的同时,提高了模型的训练速度。     

双最小二乘支持向量数据描述

为了提高标准支持向量数据描述的分类精度和分类时间,构造双最小二乘支持向量数据描述,并对比分析在不同样本集上的分类性能以及分类性能随参数和样本规模的变化。在训练阶段,双最小二乘支持向量数据描述应用等式约束代替标准算法中的不等式约束,通过求解线性方程组而非凸二次规划得到正负2类样本的超球形描述边界,进而设计一个分段函数作为分类规则;在测试阶段,计算待测样本到正负2类样本的最小包围超球球心的距离,并根据距离的最小值选取相应的分类规则。数值试验结果表明双最小二乘支持向量数据描述的有效性和优越性。在基准数据集上,双最小二乘支持向量数据描述的分类精度比标准算法高1.68%,而分类时间仅为标准算法的16.51%;在正态分布数据集上,双最小二乘支持向量数据描述具有比标准算法高的分类精度和短的分类时间,而分类时间上的优势在大规模样本集上更加明显,其在2 000个和10 000个样本集上的分类时间为标准算法的78.06%和18.69%。     

基于边界支持向量的自适应增量支持向量机

该文提出一种基于边界支持向量的自适应增量支持向量机,对每轮训练的样本集提取其边界支持向量,从而减少训练向量数目,提高训练效率.通过自适应调整参数,可以更好地适应新增样本.采用UCI(University of California Irvine)机器学习数据库和Statlog数据库对本文方法进行验证,实验结果表明本文方法的训练时间优于标准支持向量机和一般增量支持向量机.其分类精度也明显优于一般增量支持向量机,在训练数据较少时,其分类精度与标准支持向量机相差不大,但随着训练数据的增加,分类精度逐渐超越标准支持向量机.该文的方法更适合大规模数据集的增量学习.     

一种改进的加权支持向量机

根据支持向量样本、边界向量样本、噪声样本、中心距离比值、百分位数和加权系数之间的关系,提出了基于中心距离比值的加权支持向量分类机,有效地处理了支持向量样本对加权系数的影响,并能够应用于非均衡数据和噪声数据,从而提高了加权支持向量机的分类能力.     

一种新的近邻密度SVM不平衡数据集分类算法

针对不平衡数据集数据分布不均匀及边界模糊的特点,提出一种新的近邻密度SVM(NNDSVM)不平衡数据集分类算法。该算法先计算多数类中每个样本K近邻范围内的密度值,依据该密度值分别选出边界区域、靠近边界区域的与少数类数目相等的样本与少数类完成SVM初始分类;用所得的支持向量机和剩余的多数类样本对初始分类器迭代优化。人工数据集和UCI数据集的实验结果表明,与SVM、ALSMOTE-SVM和WSVM算法相比,本文算法分类效果良好,能有效改进SVM算法在分布不均匀及边界模糊数据集上的分类性能。     

基于局部密度改进的SVM不平衡数据集分类算法

针对不平衡数据集数据分布不均匀及边界模糊的特点,提出基于局部密度改进的SVM不平衡数据集分类算法.该算法先将多数类划分成多个子类,并依据子类内每个样本的局部密度选出边界区域、靠近边界区域的与少数类数目相等的样本,与少数类完成SVM初始分类;用所得的支持向量机和剩余的多数类样本对初始分类器进行迭代优化.结果表明,与WSVM,ALSMOTE-SVM和基本SVM算法相比,该算法分类效果良好,能有效改进SVM算法在分布不均匀及边界模糊数据集上的分类性能.     

一种新型支持向量机

讨论了现有的用于分类的支持向量机(SVM)所确定的边界在抗干扰方面的局限性.在此基础之上提出了一种新型支持向量机,即基于边界调节的支持向量机,并利用K-T条件得到了这种支持向量机的对偶目标函数.通过对人工数据集和真实数据集的仿真实验表明,相对于L1-SVM而言,基于边界调节的支持向量机具有更少的支持向量和更好的推广性能.     

基于相对距离的加权支持向量机

根据支持向量样本、边界向量样本、相对距离和加权系数之间的关系,提出了基于相对距离的加权支持向量机.利用相对距离表示了每个样本的重要性.并构造函数计算出每个样本点的加权系数,体现了支持向量对加权系数的影响,并且有效地处理非均衡数据对分类的影响,从而提高了支持向量机的训练速度和分类能力.     

基于新改进的SVM不平衡数据集分类算法

针对不平衡数据集数据分布不均匀及边界模糊的特点,提出一种新改进的SVM(IMSVM)不平衡数据集分类算法。该算法先计算每个样本在距离临界区域内的密度值,依据样本的密度值分别选出边界区域、靠近边界区域的与少数类数目相等的样本与少数类完成SVM初始分类;再用所得的支持向量机和剩余的多数类样本对初始分类器迭代优化。人工数据集和UCI数据集的实验结果表明:与WSVM、ALSMOTE-SVM和基本SVM算法相比,对于不平衡性较高的Spectf Heart数据集;本文算法较其他算法的G-mean提高了5.59%,F-measure提高了6.43%,CPU运行时间降低了13%。上述结果表明:IMSVM算法分类效果良好,能有效改进SVM算法在分布不均匀及边界模糊数据集上的分类性能。     

一种新的基于局部密度改进SVM分类算法

针对不平衡数据集数据分布不均匀及边界模糊的特点,提出基于局部密度改进的SVM(NLDSVM)不平衡数据集分类算法。该算法先用层次k近邻法计算多数类中每个样本的局部密度,依据每个样本的局部密度值分别选出边界区域、靠近边界区域的与少数类数目相等的样本与少数类完成SVM初始分类;用所得的支持向量机和剩余的多数类样本对初始分类器迭代优化。人工数据集和UCI数据集的实验结果表明,与WSVM,ALSMOTE-SVM和基本SVM算法相比,NLDSVM算法G-mean的平均值提高了7%,F-measure的平均值提高了6%,AUC的平均值提高了6%。NLDSVM算法分类效果良好,能有效改进SVM算法在分布不均匀及边界模糊数据集上的分类性能。     

基于模糊支持向量的多标签分类方法

单实例多标签分类是指一个样本拥有多个标签的分类问题,对此提出了一种基于半模糊核聚类和模糊支持向量机的多标签分类算法.该算法采用一对一分解策略将多类多标签数据集分解为多个两类双标签数据子集,在每个子集上训练两类双标签模糊支持向量机.为提高分类器的性能引入了半模糊核聚类技术.实验结果表明,与现有的一些算法相比新算法具有其优...     

四类基于支持向量机的多类分类器的性能比较

本文通过UCI数据库中的五个数据集,从分类准确性和运行时间两个方面,比较了四类基于支持向量机的多类分类器——多类支持向量机(MSVM),多元双生支持向量机(MTSVM),多生支持向量机(MBSVM)以及多元支持向量分类回归机(MSVCR)的性能.实验结果表明,MTSVM和MBSVM比MSVM和MSVCR更有效.     

一种改进的数据挖掘模糊支持向量机分类算法

针对模糊支持向量机(FSVM)应用于数据挖掘分类中存在对大样本集训练速度及分类速度慢的缺点,提出一种改进的数据挖掘模糊支持向量机分类算法.该算法首先预选有效的候选支持向量缩减训练样本集的规模提高训练速度;其次提出一种新的模糊隶属度函数,增强支持向量对构建模糊支持向量机最优分类超平面的作用,并用经过预选的训练样本集进行训练FSVM得到支持向量集;最后,运用粒子群优化算法选择最优支持向量子集,使用平均分类误差作为适应度函数,最终粒子输出时,将样本隶属度与设定阈值相比较,选择出支持向量集中相对较大隶属度的样本作为新的支持向量,提高分类速度.实验结果表明,该算法在不损失分类精度的情况下,提高了模糊支持向量机的训练速度和分类速度.     

基于总类内分布的松弛约束双支持向量机

针对数据分类问题,考虑到实际应用中噪声数据对分类结果的影响,提出一种新的基于总类内分布的松弛约束双支持向量机模型;该双支持向量机算法从约束不等式集出发,通过模糊集的思想引入一对约束参数项来松弛约束条件,提出松弛约束的隶属度函数,以有效减少噪声数据对分类结果的影响;同时将样本总的类内分布信息引入到双支持向量机模型的构造中,提出总类内离散度矩阵正定的条件。结果表明,与4个常见的双支持向量机相比,提出的双支持向量机模型不仅有较好的减噪及分类性能,而且具有较强的鲁棒性。     

有新样本加入的支持向量机的学习策略

在支持向量机的学习过程中,有些情况下训练样本不能一次全部给出,这样当有新样本加入训练集时,支持向量集和训练样本集的等价关系将被打破.为了解决这个问题,本文提出了有新样本加入的支持向量机的学习策略.通过对新样本的分析,选出能代替原样本和新样本进行学习的样本,并给出这些样本应满足的条件,最后给出了相应的学习策略.对标准数据集的实验表明,本学习策略可以在新增样本增加后,有效压缩样本集的大小,提高分类的速度,舍弃无用的样本,同时保证了分类精度.     

基于pinball损失的一对一加权孪生支持向量机

孪生支持向量机通过求解2个较小二次规划问题得到一对非平行超平面,从时间和准确率方面提高了分类器的性能.由于此方法使用Hinge损失函数,造成孪生支持向量机对噪声较为敏感以及重采样的不稳定.为此,针对多分类问题,将pinball损失函数与样本权重引入到孪生支持向量机中,采用一对一方法组合二分类器,提出了基于pinball损失的一对一加权孪生支持向量机,较好地解决了孪生支持向量机对噪声的敏感性以及重采样的不稳定性.另外,对于样本的不同影响,给出了多种求取样本权重的方法.实验中选取标准数据集和人工合成数据集对提出的算法进行了验证,并与一对一孪生支持向量机(OVO-TWSVM)、一对多孪生支持向量机(OVA-TWSVM)以及基于pinball损失的一对一加权孪生支持向量机(Pin-OVO-TWSVM)进行了比较,表明了提出方法的有效性.     

模糊支持向量机中隶属度确定的新方法

针对目前模糊支持向量机方法中,一般使用样本与类中心之间的距离关系构建隶属度函数的不足,提出一种改进的隶属度确定方法.该方法不仅考虑样本与类中心之间的关系,还考虑样本之间的关系根据样本的类中心与传统支持向量机构造的分类面构建2个超球,由样本点与超球的位置关系计算其隶属度,能够有效地区分样本点、噪音点以及孤立点.通过文本分类实验表明,与其他两种隶属度函数方法相比,基于双超球的模糊支持向量机方法可以更有效地将文本训练集中的噪音剔除,具有较好的分类性能.     

模糊双超球学习机

受双支持向量机启发,提出模糊双超球学习机FTHLM。该方法试图为每类样本构造一个超球模型,通过构造一对超球模型将两类分类。模糊隶属度函数的引入有效地降低了奇异点和噪声点对分类结果的影响,从而保证FTHLM具有较高的分类效率。在UCI标准数据集上与支持向量机、双支持向量机的比较实验表明,所提FTHLM具有更优的分类能力。