一种改进的最小二乘支持向量机算法

最小二乘支持向量机是标准支持向量机的一种扩展,它是支持向量机在二次损失函数下的一种形式.它用等式约束代替不等式约束,求解过程变为解一组等式方程,避免了求解耗时的二次规划问题,但同时也丧失了标准支持向量机的稀疏性,影响了二次学习的效率.针对上述问题,本文提出了一种改进的最小二乘支持向量机增量学习方法.改进的最小二乘支持向量机算法采用自适应剪枝方法对解进行稀疏,根据每次训练得到的分类器性能来设定剪枝阚值和样本增量的大小,如果得到的分类器性能好,剪枝阈值和样本增量就大,反之,剪枝阚值和样本增量就小,从而提高了最小二乘支持向量机训练效率,解决了稀疏性问题.最后,仿真实验表明该算法方案可行.     

固定尺度最小二乘支持向量机

针对最小二乘支持向量机(LS-SVM)在进行回归预测时存在的稀疏性缺陷问题,采用固定尺度最小二乘支持向量机,即固定支持向量数量进行改进。仿真结果表明:固定尺度最小二乘支持向量机在训练各种样本数据集时,有效地避开了LS-SVM中的稀疏性问题,且训练速度快,同时具有良好的预测精度。     

基于密度的稀疏最小二乘支持向量机

针对最小二乘支持向量机对训练样本内噪声比较敏感和其稀疏性差的问题,提出基于密度k-近邻向量的训练样本裁剪算法。对训练样本的各个样本类进行聚类,删除噪声数据,提高支持向量机的训练精度。通过计算出每个样本类的平均相似度和平均密度,得到样本的类相似度阈值;根据相似度阈值,将小于类相似度阈值的样本进行合并,减少训练样本总数。实验结果表明,该算法在保证训练精度的情况下,减少了支持向量数目。     

最小二乘支持向量机在人脸识别中的应用

 支持向量机(SVM)模式识别方法具备良好的分类性能和鲁棒性,在介绍了典型支持向量机与最小二乘支持向量机(LS_SVM)原理的基础上,给出最小二乘支持向量机的算法实现过程,将其应用于人脸识别当中,取得较典型支持向量机在时间上较好的效果.在OPL人脸库中的实验结果表明,基于LS_SVM的人脸自动识别系统更能适用于实时性要求较高的场合.     

基于最小二乘支持向量机的教学质量评价模型

教学质量评价是教育教学中重要的工作,评价工作的核心是建立评价模型。本文利用最小二乘支持向量机这种新的机器学习工具,建立了教学质量评价模型,并与BP神经网络建模比较,分析表明模型在泛化能力、收敛速度和最优性均优于神经网络模型。将模型用于教学质量评价中,既克服了专家在评价过程中的主观因素,又得到了满意的评价结果,具有广泛的适用性。     

最小二乘双胞支持向量回归机的研究

 利用最小二乘方法和临近支持向量机(PSVM)算法,并结合双胞支持向量机(TSVR),提出了最小二乘双胞支持向量回归机(LSTSVR).作为对照,TSVR需要求解2个二次规划问题,而LSTSVR仅需求解2个线性方程组.最后利用不同的实例验证了所提算法的可行性和有效性.     

基于最小二乘支持向量机的人脸识别算法

通过计算机对人脸进行分析,从而确定身份的技术统称为人脸识别,其具体内容包括图像预处理、特征选择和提取、分类。首先介绍了支持向量机和最小二乘支持向量机的基本思想和数学模型,推导了最小二乘支持向量机的算法步骤,在对人脸图像进行预处理的基础上,采用奇异值分解扩展算法提取人脸特征,然后再采用上述算法对人脸图像进行分类。通过实验可知本文中的算法可以对人脸图像进行有效分类,对解决小样本分类问题是有效的、可行的。     

一种基于密度加权的最小二乘支持向量机稀疏化算法

针对最小二乘支持向量机失去标准支持向量机稀疏特性的问题,提出了一种基于密度加权的稀疏化算法.首先计算样本的密度信息,对样本估计误差进行密度加权获得该样本对模型的可能贡献度;然后选取具有最大可能贡献度的样本作为支持向量,同时对支持向量样本邻域内的其他样本密度信息进行削减,从而避免相似样本被选中为支持向量;再选择剩余样本中具有最大可能贡献度的样本添加到支持向量集中,直到模型性能满足要求.仿真和实际应用表明,与Suykens提出的标准稀疏化算法相比,所提出的算法能有效剔除冗余支持向量,具有更好的稀疏性和鲁棒性.     

直觉模糊最小二乘支持向量机

将直觉模糊集的相关理论引入到最小二乘支持向量机中, 建立了直觉模糊最小二乘支持向量机的数学模型, 并对模型的求解过程进行推导. 为验证该算法的有效性, 在人工数据集和标准数据集上进行仿真实验. 实验结果表明, 直觉模糊最小二乘支持向量机算法可降低分类时样本中噪声和野点对分类效果的影响.     

最小二乘支持向量机的一个快速近似算法

最小二乘支持向量机(Least Squares Support Vector Machine,LS-SVM)已成功地应用于许多分类问题上,但由于其解不具有稀疏性,该方法无法应用到大数据集的学习与测试上.提出了LS-SVM的一个快速近似HBILS-SVM算法.该算法结合Backfitting与Invfitting法则迭代增加或减少一个支持向量,这一过程重复直到满足给定的停止条件,从而构建出最终的分类决策函数.对比已有的稀疏化算法,HBILS-SVM算法的计算复杂度低,解更加稀疏,且支持向量更具有全局最优性.数值模拟试验表明:HBILS-SVM算法能在取得同样的泛化性能的前提下使得分类器更加稀疏.     

基于支持向量机方法的网络入侵检测实验研究

网络信息不断增加和攻击手段日益复杂,给网络安全领域带来了日益严峻的挑战.为了改善网络入侵检测技术现状,提出了一种基于支持向量机和决策集合理论融合的网络入侵检测方法,通过对规则信息、攻击信息、边界信息的准确界定完成检测过程.选取了基于神经网络的入侵检测方法、基于遗传算法的入侵检测方法、基于传统支持向量机的入侵检测方法作为对比算法,在K-Cup测试数据集下展开实验研究.实验结果表明,该文提出的方法具有更高的召回率、精确率、查准率和更低的误检率,其性能明显优于其他3种方法,可应用于入侵检测领域.     

适用于大数据的最小二乘半监督支持向量机

为了有效地利用大数据中的无类别标签样本,将最小二乘支持向量机的思想和方法运用到半监督学习中,利用有类别标签和无类别标签样本构造支持向量机模型,通过Lagrange数乘法将其转化为一个线性规划问题,得到了一种适用于大数据的最小二乘半监督支持向量机.该算法有效地提高了支持向量机的测试准确率,具有较好的推广能力.     

基于最小二乘支持向量机的脑电信号分类

研究了基于运动想象脑电信号对大脑的想象运动状态进行分类识别的问题.根据事件相关同步和事件相关去同步现象识别出被试的想象运动状态,通过频带能量特征提取方法获得了想象左右手运动时的脑电信号特征,使用最小二乘支持向量机对提取到的频带能量特征进行分类.结果表明,使用最小二乘支持向量机可以对运动想象脑电信号的频带能量特征进行有效分类,分类正确率达到92%,其分类效果与使用标准支持向量机相当,但在计算速度上更有优势.     

一种基于多分类支持向量机的网络入侵检测方法

构造了一种基于异构数据距离的径向基核函数，可直接应用于异构的网络数据，并利用实验数据得到修正的基于异构数据距离的径向基核函数(I-HVDM-RBF)，从而减少了支持向量的个数，降低了运算量，采用I-HVDM-RBF核函数和一对一方法构造了多分类支持向量机来进行网络入侵检测，检测选用美国国防部高级研究计划局入侵检测评测数据，结果表明：与Ambwani方法比较，其检测精度提高了约3％，支持向量个数减少了268个，检测时间缩短了5min；与Lee方法比较，其拒绝服务攻击、远程到本地攻击和普通用户到超级用户攻击的检测精度分别高出73％、19％和3％。     

基于协同增量支持向量机的网络入侵检测

针对网络行为数据的不均衡、数量大、更新快的问题,结合均衡化、增量学习、分类器集成思想提出一种用于网络入侵检测的协同增量支持向量机算法,该算法利用多个分类器的协同工作,提高算法速度,每个子分类器依据类样本的空间分布计算类样本错分代价,避免分类超平面偏移,对多个子分类器进行加权集成获得最终分类器,提高最终分类器在不均衡数据集下的分类性能.最后,在KDDCUP1999数据集上的仿真实验结果表明,该算法对整体准确率、少数类及未知攻击都有较高的检测准确率.     

Hybrid Optimization of Support Vector Machine for Intrusion Detection

Support vector machine （SVM） technique has recently become a research focus in intrusion detection field for its better generalization performance when given less priori knowledge than other soft-computing techniques. But the randomicity of parameter selection in its implement often prevents it achieving expected performance. By utilizing genetic algorithm （GA） to optimize the parameters in data preprocessing and the training model of SVM simultaneously, a hybrid optimization algorithm is proposed in the paper to address this problem. The experimental results demonstrate that it＇s an effective method and can improve the performance of SVM-based intrusion detection system further.     

贝叶斯证据框架下最小二乘支持向量机的软件老化检测方法

针对当前软件老化的检测、分析和软件再生的不确定性问题,提出了一种基于贝叶斯证据框架的最小二乘支持向量机(LS-SVM)的软件老化检测方法,即:使用最小二乘支持向量机分类器进行数据分类,以此解决数据采集时出现的小样本、高纬度,非线性、局部最小值等问题;通过贝叶斯证据框架来优化LS-SVM的超参数,从而提高分类器的学习精度和泛化能力.实验结果表明,在状态清晰区间,软件老化的概率均在0.7至0.9之间,而高维模型检测出的软件老化的概率为0或1.如果从概率粒度层来描述软件老化,则软件再生的时间点选取效率更高,根据概率值的变化可进一步解析软件老化的不确定性.实验结果及分析显示,概率粒度所描述的软件健康状态更符合软件老化的客观状况.     

基于梯度信息的最小二乘支持向量回归机

为了解决传统最小二乘支持向量回归机(LS-SVR)对训练样本量要求过高的问题,提出了基于梯度信息的支持向量回归机(GE-LS-SVR)模型.通过修改目标函数及约束条件,将梯度信息引入模型的构建中,重新构造了决策函数.采用了三个基准函数对模型进行了验证,并用三个常用度量准则对实验结果进行了比较.结果表明提出的模型能在较少样本的情况下达到较为理想的回归精度.