特征选择和SVM训练模型的联合优化

提出了特征选择和支持向量机(SVM)训练模型的联合优化方法,利用特征选择和训练模型的互相依赖关系来提高SVM性能.该方法包括3个关键技术 优化目标是提高SVM性能,它是由ξα-estimate方法计算出来的; 用一个二进制向量表示特征选择,用混合核函数和折中控制参数来表示训练模型; 用演化算法来求解联合优化问题.通过使用入侵检测标准数据,比较了联合优化、单独优化和分开优化方法以及遗传算法(GA)和粒子群优化算法(PSO)的使用效果.结果表明 联合优化方法能更好地提高SVM性能,并且收敛速度更快; GA的效果比PSO要好.     

基于Fisher准则的SVM参数选择算法

支持向量机(support vector machine,SVM)分类性能主要受到SVM模型选择(包括核函数的选择和参数的选取)的影响,目前SVM模型参数选择的方法并不能较好地确定模型参数。为此基于Fisher准则提出了SVM参数选择算法。该算法利用样本在特征空间中的类别间的线性可分离性,结合梯度下降算法进行参数寻优,并基于Matlab实现选择算法。实验结果表明参数选择算法既提高了SVM训练性能,又大大减少了训练时间。     

一种基于凸包稀疏化与遗传算法优化的SVM算法

SVM(support vector machine)算法求解支持向量的过程涉及到N阶矩阵的计算,N为样本的个数,当样本数量很大时,高阶矩阵的计算将需要消耗大量运算时间;同时,SVM模型性能依赖于惩罚参数与核参数的优化,传统的循环验证参数优化法,时间复杂度高.为了解决上面两方面的问题,笔者采用凸包算法对训练样本进行稀疏化,同时通过遗传算法优化选择惩罚参数与核参数,提出了一种高性能的SVM模型训练算法.     

结构可靠度计算的自适应辅助域方法

提出了一种Metropolis算法与支持向量机(SVM)方法相结合的自适应辅助域方法.利用Metropolis算法生成目标失效域内的条件样本点,并以该过程中的备选点作为初始训练点训练SVM模型.根据训练得到的SVM模型再自适应地选择一部分样本点加入训练点集,并对SVM模型进行更新,直至满足迭代终止条件.以最终得到的SVM模型作为辅助失效域,计算近似失效概率和两个条件失效概率.对近似失效概率进行修正,使最终得到的目标失效概率渐进无偏且更加稳定.算例表明该算法具有较好的计算精度、效率和鲁棒性.     

基于自然梯度的概率主组件分析在线学习算法

对于主组件分析模型,传统方法利用特征值分解的方法求解,其计算复杂度为O(ND~2),其中N表示数据规模,D表示数据的维度.概率主组件分析是从概率的角度理解主组件分析模型,此时可以使用期望最大化算法迭代求解,其计算复杂度为O(NDM),其中M表示选取的维度,对于大规模高维数据可有效提高模型效率.但是,在参数更新过程中,概率主组件模型的期望最大化算法需要遍历整个数据集才能更新一次参数,参数更新较慢,同时该算法很难扩展到大规模数据集.本文提出基于自然梯度的概率主组件分析在线学习算法,通过结合概率主组件分析的自然梯度,实现在线增量学习模型.进一步将降维后的数据通过全连接神经网络进行分类,并通过实验证明,该方法在降维效果及算法运行效率上有明显提高.     

改进的并行SVM回归算法

针对目前SVM回归算法在大样本情况下,学习效率低、精度不高的问题,提出了基于Kmeans聚类的并行SVM回归算法。在Hadoop框架中,先对训练样本行进并行聚类,然后针对聚类后的不同簇,构造相应的SVM回归模型,使用顺次最小优化算法求解各模型参数。预测时,选择与待预测样本距离最近簇的对应SVM回归模型进行预测。实验验证了文中算法的可行性和有效性。     

支持向量机的训练算法

大量数据下支持向量机(SVM)的训练算法是SVM研究的一个重要方向和广大研究者关注的焦点。该文回顾了近几年来这一领域的研究情况。该文从分析SVM训练问题的实质和难点出发,结合目前一些主要的SVM训练方法及它们之间的联系,重点阐述当前最有代表性的一种算法——序贯最小优化(SMO)算法及其改进算法。从中可以看到,包括SMO在内的分解算法通过求解一系列规模较小的子问题逐步逼近最优解,从而避免存储整个Hessian矩阵,是解决大规模SVM训练问题的主要方法。而工作集的选择对于分解算法的收敛与否和收敛速度至关重要。     

基于特征选择和SVM参数同步优化的网络入侵检测

为了提高网络入侵检测正确率,利用特征选择和支持向量机(SVM)参数间的相互联系,提出一种特征选择和SVM参数联同步优化的网络入侵检测算法.该算法首先将网络入侵检测正确率作为问题优化的目标函数,网络特征和SVM参数作为约束条件建立数学模型,然后通过遗传算法对数学模型进行求解,找到最优特征子集和SVM参数,最后利用KDD 1999数据集对算法性能进行测试.结果表明,相对于其他入侵检测算法,同步优化算法能够较快选择最优特征与SVM参数,有效提高了网络入侵检测正确率,加快了网络入侵检测速度.     

基于支持向量机和遗传算法融合的入侵检测

为了研究网络异常入侵检测问题,将支持向量机（SVM）和遗传（GA）算法融合并应用于入侵检测领域,区分正常和异常的用户行为,实现对网络系统的入侵检测.传统SVM算法易产生训练参数选择不当,难以获得较高的检测效率和分类精度等问题.针对此问题,提出了一种优化的基于SVM-GA融合的入侵检测方法,首先对网络入侵数据进行归一化处理简化输入,然后通过遗传算法对SVM训练参数进行同步优化,最后采用SVM算法对网络数据进行检测,分类识别得到网络入侵结果.仿真实验结果表明,该融合算法训练时间短、检测精度高、误报率和漏报率低,是一种有效可行的入侵检测方法.     

基于最优间隔分布的最小二乘支持向量机

支持向量机(support vector machine,SVM)通过结构风险最小化构建模型,模型简单易理解,但求解过程较复杂;而最小二乘支持向量机(least squares support vector machine,LSSVM)求解的是一组线性方程组,其求解效率远高于SVM．然而,传统LSSVM忽略了样本点到超平面分布的影响．为了充分考虑数据的分布,本研究从LSSVM出发,加入最小化距离方差与最大化距离均值正则项,构建全新的LSSVM模型(LSSVM＿rv和LSSVM＿rm＿rv模型)．该模型的优势在于：依据数据的分布特征构建模型,分类效果更好;对偶问题仍是一组线性方程组,计算成本较小．大量的数值实验进一步验证上述模型的优越性,与传统SVM和LSSVM相比,在6个数据集上的分类准确率均有所提高,并且节省了大量的训练时间．