半监督支持向量机的多分类学习算法

半监督支持向量机同支持向量机一样,已经在很多分类、归类问题上取得较好的效果,但是支持向量机需要求解二次凸规划,因此在处理大规模数据时会消耗大量存储空间和计算时同,特别是在多分类问题上则更加困难.因此,提出一种半监督支持向量机算法,适合多分类问题,并将其用于解决实际问题.     

自训练半监督加权球结构支持向量机多分类方法

针对自训练半监督支持向量机算法中的低效问题,采用加权球结构支持向量机代替传统支持向量机,提出自训练半监督加权球结构支持向量机。传统支持向量机需要求解二次凸规划问题,在处理大规模数据时会消耗大量存储空间和计算时间,特别是在多分类问题上更加困难。利用球结构支持向量机进行多类别分类,大大缩短了训练时间,降低了算法复杂度。球结构支持向量机在不同类别样本数目不均衡时训练分类错误倾向于样本数目较小的类别,通过权值的引入,降低了球结构支持向量机对样本不均衡的敏感性,补偿了类别差异对算法推广性能造成的不利影响。在人工数据集和UCI(university of california irvine)数据集上的实验结果表明,该方法对有标记样本的鲁棒性较好,不仅能够提高效率,且分类精度也有显著提高。     

支持向量机原始问题研究综述

支持向量机学习器往往是通过求解原二次优化问题的对偶问题获得的.诸多研究表明,支持向量机原始问题同样可以适当地处理约束项,同时,突破以前原二次优化问题不能利用核函数的认识误区,通过引入核函数建立一个无约束优化问题,利用传统优化方法进行求解.理论分析和实验表明,支持向量机原始问题也能实现对数据的高效学习,而且在大规模数据学习问题上,较之求解对应的对偶问题获得的近似解更可靠,参数选择也更好进行.     

基于多重核学习支持向量机的歼击机故障诊断

为了提高歼击机故障诊断的准确性与实时性，提出一种基于决策树型组合策略的多重核学习支持向量机诊断方法，决策树型组合策略利用树结构解决多分类问题，而多重核学习支持向量机通过混合核空间，将线性约束下二次规划问题转化为二次约束下二次规划问题，实验结果表明：多重核学习支持向量机的诊断精度明显优于标准支持向量机，且支持向量的数目也较少，决策树型细合策略的引入可以提高歼击机故障诊断的诊断速度，基于决策树型组合策略的多重核学习支持向量机方法能够准确且快速地解决歼击机故障诊断问题。     

基于预测-校正原对偶内点法的多分类支持向量机学习算法

支持向量机基于统计学习理论,是一种新型通用的有监督的机器学习方法,其核心思想是使结构风险极小化,但是由于需要求解二次规划,使得它在求解大规模数据上具有一定的局限性,尤其是对于多分类问题,现有的支持向量机算法具有很高的复杂性.本文构造了基于线性规划的一对一三类结构支持向量分类器,可以直接利用比较成熟的线性规划算法——预测-校正原对偶内点法,并在此基础上提出了基于预测-校正原对偶内点法的支持向量机的多分类学习算法,这种算法可用于比较庞大的多类别识别问题,并且克服了标准支持向量机的一些缺点,而且模型简单,容易实现.针对UCI数据库上数据进行了实验,结果证实该算法具有较高的可行性和实用性.     

牛顿法在求解支持向量机中的应用

支持向量机作为一种重要的机器学习工具,近年来受到了广泛的关注,并得以迅速发展.但在处理大数据时,求解支持向量机对应的二次规划问题是非常棘手的,计算时间长,存储空间大.如何有效求解支持向量机是一个不可回避的研究课题.本文主要研究了如何利用牛顿法求解支持向量机和双生支持向量机,并提出了两个新算法.实验结果表明,所提算法是有效和高效的.     

基于加权近似支持向量机的文本分类

随着因特网的迅速增长,能够分类大规模文档的高效文本分类算法变得非常重要.该文提出一种基于加权近似支持向量机模型的文本分类算法,加权近似支持向量机对近似支持向量机作了改进,通过为每个训练误差增加一个权值和使用在原空间直接求解的算法,克服了近似支持向量机模型不适合不平衡数据分类和高维数据分类的缺点.试验结果表明,与标准支持向量机算法相比,该算法的分类质量与训练速度都有提高,是一种适合文本分类的高效算法.     

基于约简支持向量机的快速入侵检测算法

标准支持向量机(SVM)算法受时间和空间复杂度约束,无法有效地处理大规模网络入侵检测问题.文中基于SVM的几何解释,提出了一种基于并行凸包分解计算和支持向量机的入侵检测分类算法(PCH-SVM).该算法借助凸包的分解和并行计算快速提取训练样本空间几何凸包的顶点,构建约简SVM训练样本集.实验结果表明,该算法可以在不造成...     

核向量机算法研究及应用

对训练样本规模为m的标准支持向量机(Support Vector Machine,SVM)进行训练,时间复杂度为O(m3),空间复杂度为O(m2).文章研究将其转换成等价的最小包含球(Minimum Enclosing Ball,MEB)形式,使用核心集向量机(Core Vector Machine,CVM)高效获得近似最优解.CVM的优点是时间复杂度与训练样本规模m呈线性关系,空间复杂度与m无关.实验证明,CVM可以对大规模数据集进行高效的分类.     

支持向量机子问题的算法研究

求解支持向量机大规模分类问题时,系数矩阵的存储和计算是非常困难的.借助分解技术,把问题分解成多个维数较低的二次规划问题.利用增广拉格朗日函数将子问题转化成只含有界约束的形式,再用修正子空间有限记忆BFGS方法解子问题,节省了存储空间,提高了求解效率.     

基于最小二乘支持向量机的阵列波束优化研究

针对标准支持向量机计算复杂度高、内存开销大、训练速度慢的缺点,为改善标准支持向量机的训练效率,快速优化阵列波束,提出了基于最小二乘支持向量机(least squares support vector machine,LSSVM)的阵列波束优化方法。LSSVM采用二次损失函数取代标准支持向量机中的不敏感损失函数,将不等式约束变为等式约束,从而将二次规划问题转化为一个线性矩阵求解问题,具有良好的快速性;与传统的标准支持向量机波束形成相比,所需计算资源更少,训练速度更快,计算效率更高,泛化能力更强。仿真实验结果表明:在保持波束形成的性能指标基本不变的情况下,LSSVM降低了计算复杂度,减少了内存开销,提高了运算速度和收敛精度,为波束形成器的优化设计提供了一种新的有效方法。     

基于投影中心距离的支持向量预选取

支持向量机是一种能在训练样本数很少的情况下达到很好分类推广能力的学习算法。支持向量机在选择支撑矢量时却进行了大量不必要的运算, 成为其应用的瓶颈问题.因此在基于支持向量的分类器学习算法中,预先选择支撑向量是非常重要的。投影中心距离算法是一种能够预选取支撑矢量的方法, 该方法可以有效地预选取出包含支持向量的边界集,在不影响支持向量机的分类能力情况下,大大地减少了训练样本,提高了支持向量机的训练速度。本文采用投影中心距离算法进行支撑矢量的预选取,通过对人工线性、非线性数据及MINST字符库的实验证明了该方法的有效性和可行性。     

基于投影中心距离的支持向量预选取

支持向量机是一种能在训练样本数很少的情况下达到很好分类推广能力的学习算法.支持向量机在选择支撑矢量时却进行了大量不必要的运算,成为其应用的瓶颈问题.因此在基于支持向量的分类器学习算法中,预先选择支撑向量是非常重要的.投影中心距离算法是一种能够预选取支撑矢量的方法,该方法可以有效地预选取出包含支持向量的边界集,在不影响支持向量机的分类能力情况下,大大地减少了训练样本,提高了支持向量机的训练速度.本文采用投影中心距离算法进行支撑矢量的预选取,通过对人工线性、非线性数据及MINST字符库的实验证明了该方法的有效性和可行性.     

关于支持向量机DirectSVM算法的探讨

DirectSVM算法是求解支持向量机的一种简单快速迭代算法,具有最好的几何直观性.算法将线性可分的两类样本中距离最近的两个异类样本点作为支持向量,以该两点连线的垂直平分面作为初始分类超平面,然后根据分类情况逐步确定新的支持向量,即逐步优化出最优分类超平面.对该算法进行了测试,发现该算法具有局限性,并对算法局限性产生的根源进行了分析,对如何合理使用DirectSVM算法进行了讨论.结论是:用DirectSVM算法直接求解最优分类面是不可靠的,但可以作为支持向量机的一种近似算法,也可以作为求解候选支持向量集的方法,再与其他经典算法结合使用.     

基于L_1范数支持向量分类机的算法扰动设计

普通向量分类机算法普遍有效率低下、算法复杂的缺点,为了进一步降低计算量,提高算法效率,提出了支持向量机算法.该算法将二次规划问题转换为线性规划问题,同时可以进行优化降次.结果显示,在数据量较大的情况下可以迅速并较为准确地处理大量数据,面对较为困难的数据处理时可以实现数据的有效分类.     

基于pinball损失的一对一加权孪生支持向量机

孪生支持向量机通过求解2个较小二次规划问题得到一对非平行超平面,从时间和准确率方面提高了分类器的性能.由于此方法使用Hinge损失函数,造成孪生支持向量机对噪声较为敏感以及重采样的不稳定.为此,针对多分类问题,将pinball损失函数与样本权重引入到孪生支持向量机中,采用一对一方法组合二分类器,提出了基于pinball损失的一对一加权孪生支持向量机,较好地解决了孪生支持向量机对噪声的敏感性以及重采样的不稳定性.另外,对于样本的不同影响,给出了多种求取样本权重的方法.实验中选取标准数据集和人工合成数据集对提出的算法进行了验证,并与一对一孪生支持向量机(OVO-TWSVM)、一对多孪生支持向量机(OVA-TWSVM)以及基于pinball损失的一对一加权孪生支持向量机(Pin-OVO-TWSVM)进行了比较,表明了提出方法的有效性.     

基于粗糙集的支持向量机故障诊断

该文结合粗糙集属性约简及支持向量机分类机理,提出了一种新的故障诊断方法。首先利用粗糙集对过程特征变量进行约简,去除冗余的过程信息,并降低过程数据的维数,获得具有代表性的过程特征信息。基于该特征信息建立支持向量分类机用于故障的诊断。以高压直流输电系统为例,对交流单相接地故障和直流接地故障进行诊断,诊断时间分别为12ms和11ms,诊断正确率分别为98.8%和96.8%。     

交叉验证KNN支持向量预选取算法在说话人识别上的应用

针对传统支持向量机算法时空复杂度较高的不足,提出了一种基于交叉验证KNN的支持向量预选取算法。该算法首先对原始样本求k个的邻近样本,然后计算邻近样本中异类样本的比例p1,最后选取满足p1大于阈值p的原始样本作为支持向量。通过交叉验证方法确定k与p的最合适的数值。在UCI标准数据集和说话人识别数据集上的仿真实验显示算法可有效地降低支持向量机分类器的运行时间,同时又具有较好的分类性能。