构造稀疏最小二乘支持向量机的网络入侵检测模型

从最小二乘支持向量机的稀疏表达出发,构建高效的基于稀疏最小二乘支持向量机的网络入侵检测模型,提出了一种通过基于核空间近似策略的有效低秩逼近来有效减小原始训练样本集中的支持向量数来实现最终模型的稀疏表达.以MIT KDD99数据集为基础,对所提出方法进行有效性验证,并与利用剪枝策略通过递归过程中不断减少模型中支持向量个数的稀疏化方法、基本最小二乘支持向量机以及标准支持向量机方法的性能进行对比.结果表明:基于核空间近似的最小二乘支持向量机稀疏化与标准最小二乘支持向量机相当;此外稀疏最小二乘支持向量机能够提高入侵检测响应速度.     

基于最优间隔分布的最小二乘支持向量机

支持向量机(support vector machine,SVM)通过结构风险最小化构建模型,模型简单易理解,但求解过程较复杂;而最小二乘支持向量机(least squares support vector machine,LSSVM)求解的是一组线性方程组,其求解效率远高于SVM．然而,传统LSSVM忽略了样本点到超平面分布的影响．为了充分考虑数据的分布,本研究从LSSVM出发,加入最小化距离方差与最大化距离均值正则项,构建全新的LSSVM模型(LSSVM＿rv和LSSVM＿rm＿rv模型)．该模型的优势在于：依据数据的分布特征构建模型,分类效果更好;对偶问题仍是一组线性方程组,计算成本较小．大量的数值实验进一步验证上述模型的优越性,与传统SVM和LSSVM相比,在6个数据集上的分类准确率均有所提高,并且节省了大量的训练时间．     

一种改进的LSTSVM增量学习算法

基于Sherman Morrison定理和迭代算法, 提出一种改进最小二乘孪生支持向量机（SMI ILSTSVM）的增量学习算法, 解决了最小二乘孪生支持向量机（LSTSVM）不具备结构风险最小化和稀疏性的问题. 实验结果表明, 该算法分类精度和效率均较高, 适用于含有噪声的交叉样本集分类.     

加权最小二乘支持向量机与最小二乘问题的关系

研究了加权最小二乘支持向量机与最小二乘法的关系．证明了用加权最小二乘支持向量机作函数估计与在特征空间中用最小二乘法得到的解是一致的．加权最小二乘支持向量机选择核相当于最小二乘法选择基函数组．由此提出了采用加权最小二乘支持向量机解决最小二乘法问题的思想,保证解具有良好的推广性、鲁棒性与稀疏性．     

模糊均值聚类和最小二乘支持向量机相融合在遥感图像分类中的应用

为了提高遥感图像分类精度,提出一种模糊均值聚类(FCM)和最小二乘支持向量机(LSSVM)相融合的遥感图像分类方法(FCM-LSSVM).首先对遥感图像样本进行模糊均值聚类,得到隶属度矩阵,然后根据隶属度矩阵选择遥感图像的训练样本,最后将训练样本输入到最小二乘支持向量机进行学习,并采用粒子群优化最小二乘支持向量机参数,建立遥感图像分类模型.通过仿真实验对算法性能进行测试,结果表明FCM-LSSVM提高了遥感图像分类效率和分类精度.     

PSO-LSSVM分类模型在岩性识别中的应用

为了精确解决测井岩性识别问题,提出了一种将粒子群优化算法(PSO)与最小二乘支持向量机(LSSVM)相结合对实际测井资料进行岩性识别的方法.首先使用粒子群优化算法对LSSVM建模过程中的重要参数进行优化调整,然后利用参数优化调整后得到的具有较优分类效果的PSO-LSSVM模型对某油田的测井资料进行岩性识别.实验结果表明:同基于交叉验证的支持向量机模型以及单隐层的BP神经网络模型相比,该方法能够很好描述测井数据和岩性类别之间的非线性映射关系,识别精度高,并提高了算法的自动化程度.     

最小二乘支持向量机鲁棒回归算法研究

最小二乘支持向量机因模型学习过程中以二次损失函数为经验风险,造成学习结果对噪声特别敏感。鉴于实际问题中噪声不可避免、不可预测,且分布规律难寻,该文主要研究最小二乘支持向量机的鲁棒性增强算法,以提高其抵抗噪声与异常值的能力。通过分析得知,样本的局部异常因子与噪声大小间具有很大的相关性,因此提出了用于非线性回归问题的局部异常因子概念;并将其应用于最小二乘支持向量机模型学习时最优损失函数的确定中,提出了基于样本局部异常因子的直接加权最小二乘支持向量机鲁棒回归算法。为验证所提出算法的性能,该文最后以2个典型非线性对象为例,将其与原最小二乘支持向量机、文献中已有的基于预估噪声分布的加权最小二乘支持向量机进行了对比。对比结果表明,所提出的直接加权最小二乘支持向量机算法具有更好的鲁棒性。     

基于WLS-SVM的飞机状态监控与预测方法

介绍了加权最小二乘支持向量机(WLS-SVM)在时间序列预测中应用的基本方法,给出了一维时间序列建模预测的一般框架。提出采用BIC准则选取嵌入维数,并给出了基于统计量的模型性能评价方法。针对飞机发动机的典型状态参数,分别进行基于加权最小二乘支持向量机和AR模型的建模与预测,给出了详细的比较结果。试验表明,由于加权最小二乘支持向量机采用了新型的结构风险最小化准则,因而表现出优秀的推广能力,可预测区间较长且具有较高的准确度。     

鲁棒最小二乘支持向量机及其在软测量中的应用

针对最小二乘支持向量机在利用产生于工业现场的非理想数据集进行建模预测时,稀疏化模型鲁棒性差的问题,提出了一种基于模糊C均值聚类和密度加权的稀疏化方法.首先通过模糊C均值聚类将训练样本划分为若干个子类;然后计算每个子类中各样本的可能贡献度,依次从每个子类中选取具有最大可能贡献度的样本作为支持向量;最后更新每个样本的可能贡献度,继续从各个子集中增选支持向量,直至稀疏化后的模型性能满足要求.仿真结果和磨机负荷实际应用表明,该方法能够兼顾模型在整体样本集和各工况子集上的性能,在实现模型稀疏化的同时,能够显著改善最小二乘支持向量机模型的鲁棒性.     

基于QR分解的稀疏LSSVM算法

传统最小二乘支持向量机(LSSVM)一般通过随机选择部分样本得到核矩阵的低秩近似提高解的稀疏性, 为了使该近似分解用尽可能小的低秩矩阵更好地近似原核矩阵, 提出一种]基于正交三角(QR)分解的QRP-LSSVM稀疏算法. 采用QR分解保持正交的特性挑选差异更大的样本, 迭代地精选核矩阵的部分列得到核矩阵的Nystr-m型低秩近似, 并利用分解结果快速求得最小二乘支持向量机的稀疏解. 实验分析表明, 该算法在不牺牲分类性能的前提下可得到更稀疏的解, 甚至在稀疏水平不超过0.05%的情况下准确率也较高, 可有效解决大规模训练问题.     

基于k近邻和最小二乘支持向量机的Android恶意行为识别

针对单一k近邻算法(KNN)和最小二乘支持向量机(LSSVM)存在的缺陷, 提出一种基于KNN LSSVM的Android恶意行为识别模型. 先采集Android用户行为样本, 并提取相应特征组成特征向量; 再将训练集输入LSSVM中进行学习, 计算测试样本与最优分类平面间的距离, 如果该距离小于阈值, 则直接采用LSSVM恶意行为识别, 否则采用KNN算法进行恶意行为识别; 最后采用仿真实验测试KNN LSSVM的性能. 实验结果表明, 相对于单一KNN算法和LSSVM, KNN LSSVM提高了Android恶意行为的识别正确率,可以满足Android[KG*6]恶意行为的在线识别要求.     

基于加权最小二乘支持向量机的下水道可燃气体分析

下水道可燃气体分析是城市下水道可燃气体监测预警系统的重要组成部分.该文针对BP神经网络对下水道可燃混合气体分析存在速度慢、容易陷入局部最优,以及标准最小二乘支持向量机鲁棒性差的缺点,建立了一种基于加权最小二乘支持向量机(WLS-SVM)的下水道可燃气体分析模型.加权最小二乘支持向量机模型采用最小二乘线性系统,对误差变量进行权值设定,提高了学习速度和学习精度.仿真结果表明:基于WLS-SVM的下水道可燃气体分析模型优于所比较的BP神经网络和最小二乘支持向量回归机2种模型,具有优良的预测精度和鲁棒性.     

开放存取期刊站点自动分类方法

为了提高OA期刊站点分类识别的准确率,从抽取到的站点标题和正文中提取关键词构建语料库,并将其作为最小二乘支持向量机的输入矢量。针对最小二乘支持向量机参数选取和基本粒子群算法极易陷入局部最优解问题,借鉴遗传算法和自然选择机理,提出了基于混合粒子群的最小二乘支持向量机算法。实验结果表明,该分类方法提高了站点识别精度。     

基于稀疏化鲁棒LS--SVR与多目标优化的铁水硅含量软测量建模

针对高炉炼铁过程的关键工艺指标———铁水硅含量[ Si]难以直接在线检测且化验过程滞后的问题,提出一种基于稀疏化鲁棒最小二乘支持向量机( R-S-LS-SVR)与多目标遗传参数优化的铁水[ Si]动态软测量建模方法。首先,针对标准最小二乘支持向量机( LS-SVR)的拉格朗日乘子与误差项成正比导致最终解缺少稀疏性的问题,提取样本数据在特征空间映射集的极大无关组来实现训练样本集的稀疏化,降低建模的计算复杂度;其次,标准最小二乘支持向量机的目标函数鲁棒性不足的问题将IGGIII加权函数引入稀疏化后的最小二乘支持向量机模型进行鲁棒性改进,得到鲁棒性较强的稀疏化鲁棒最小二乘支持向量机模型;最后,针对常规均方根误差评价模型性能的不足,提出从建模误差与估计趋势评价建模性能的多目标评价指标。在此基础上,利用非支配排序的带有精英策略的多目标遗传算法优化模型参数,从而获得具有最优参数的铁水[ Si]在线软测量模型。工业实验及比较分析验证了所提方法的有效性和先进性。     

一种基于密度加权的最小二乘支持向量机稀疏化算法

针对最小二乘支持向量机失去标准支持向量机稀疏特性的问题,提出了一种基于密度加权的稀疏化算法.首先计算样本的密度信息,对样本估计误差进行密度加权获得该样本对模型的可能贡献度;然后选取具有最大可能贡献度的样本作为支持向量,同时对支持向量样本邻域内的其他样本密度信息进行削减,从而避免相似样本被选中为支持向量;再选择剩余样本中具有最大可能贡献度的样本添加到支持向量集中,直到模型性能满足要求.仿真和实际应用表明,与Suykens提出的标准稀疏化算法相比,所提出的算法能有效剔除冗余支持向量,具有更好的稀疏性和鲁棒性.     

基于免疫模糊聚类的LSSVM在短期负荷预测中的应用

最小二乘支持向量机(least square support vector machines,LSSVM)在解决小样本、非线性和高维度问题中表现出许多特有的优势.但是,如果输入的训练数据本身存在着大量的噪声和冗余,LSSVM在训练数据时会因抑制它们而削弱本身的推广能力,结构风险无法达到最小化,从而导致收敛速度慢、预测精度不高等缺点.提出了一种基于免疫模糊聚类(immune fuzzy clustering,IFC)的最小二乘支持向量机预测模型,运用免疫模糊聚类算法对历史数据进行预处理,从聚类后的数据提取LSSVM的训练样本,从而提高训练速度和预测精度,克服LSSVM的上述缺点.最后,将该模型运用到短期电力负荷预测中,与经典的SVM和BP神经网络相比具有更好的泛化性能和预测精度.     

基于自适应最小二乘支持向量机的预测函数控制

提出一种基于最小二乘支持向量机在线建模的自适应函数预测控制算法.该方法提出一种新样本与模型节点的相似性计算方法,结合预测误差与过程先验知识给出控制模型节点的加入准则,使其自适应调整模型的复杂度,保证模型系数的稀疏性,有效地提高建模的精度和速度;给出增加节点和删除最早节点时最小二乘支持向量机模型更新的在线递推形式;基于局部在线最小二乘支持向量机的线性化模型,给出了自适应预测函数控制算法.以pH中和控制作为仿真实例,结果表明该算法的有效性.     

基于AT的锅炉燃烧温度场重建算法研究

为了监控燃烧状态,实现炉内温度分布的测量,提出了一种基于声学层析成像法（AT）的三层递进式网格化温度场重建算法. 该算法在最小二乘法（LSM）确定稀疏网格温度信息的基础上,利用最小二乘支持向量机（LSSVM）建立温度场的细密网格模型描述, 同时为了进一步提高重建精度,LSSVM重建模型的参数通过差分进化算法（DE）进行整定（简称为LLD算法）,从而建立整个待测温度场的细致温度描述. 通过对东方锅炉厂提供的三种不同类型的温度场进行重建,结果及误差分析表明LLD算法可以对待测燃烧区域温度分布信息进行全局性的描述,能实现温度场的高精度重建.     

一种改进的最小二乘支持向量机算法

最小二乘支持向量机是标准支持向量机的一种扩展,它是支持向量机在二次损失函数下的一种形式.它用等式约束代替不等式约束,求解过程变为解一组等式方程,避免了求解耗时的二次规划问题,但同时也丧失了标准支持向量机的稀疏性,影响了二次学习的效率.针对上述问题,本文提出了一种改进的最小二乘支持向量机增量学习方法.改进的最小二乘支持向量机算法采用自适应剪枝方法对解进行稀疏,根据每次训练得到的分类器性能来设定剪枝阚值和样本增量的大小,如果得到的分类器性能好,剪枝阈值和样本增量就大,反之,剪枝阚值和样本增量就小,从而提高了最小二乘支持向量机训练效率,解决了稀疏性问题.最后,仿真实验表明该算法方案可行.     

基于优化最小二乘支持向量机的数控机床热误差建模分析

数控机床热误差是降低加工精度的主要因素之一.针对热误差建模问题, 结合布谷鸟算法的随机莱维飞行机制和最小二乘支持向量机结构风险最小化与线性规划等优点, 提出基于布谷鸟算法优化最小二乘支持向量机的热误差建模方法.在最小二乘支持向量机将低维非线性问题转化为高维线性问题时, 构建了混合核函数.同时,采用布谷鸟算法对最小二乘支持向量机惩罚因子γ、核宽度参数σ和混合核权值λ进行了优化.以GMC2000A机床为实验对象, 分别对热误差数据进行了聚类分析和建模分析.通过误差预测对比分析得出结论, 基于布谷鸟算法优化混合核最小二乘支持向量机建立的误差模型取得了良好的预测效果, 且明显优于BP神经网络模型和未优化的最小二乘支持向量机模型的预测效果.