八种最小二乘SVM型学习算法的优势比较

我们知道,支持向量机(Support Vector Machine,SVM)型学习算法的计算复杂性和稀疏性对分析和处理大数据来说是非常重要的两个因素,尤其是对高维数据.学者们针对这两个因素做了大量的研究,提出了许多改进的SVM型算法,常见的有基于最小二乘技术的SVM型算法和孪生SVM型算法.它们当中,有些算法的出发点基本相同,但是求解方法上略有不同;有些算法有明显不同的出发点,其所构建的最优化模型也不相同.选取八个较具代表性的最小二乘SVM型算法,分析和比较它们之间的优势和劣势,以期读者更加深入的理解这类算法,且在应用于实际问题中时更具有选择性.     

LDPC码在基于类二分法SVM的MPPSK信号检测中的应用

为了降低基于多分类支持向量机(SVM)的多元位置相移键控(MPPSK)系统的信号检测复杂度,同时提升误码率性能,提出一种新的类似于二分法的SVM多分类方法.然后在此基础上引入LDPC信道编码,考虑到SVM输出转化为多进制后验概率的复杂性,采用简单的位比特翻转法进行LDPC译码,并利用一种进制转化机制简化多进制LDPC译码.结果显示,类二分法SVM判决方法可以有效降低多分类SVM检测算法的复杂度,且其检测性能相较于已有的MPPSK信号检测算法显著提升;所采用的进制转化机制实现了基于SVM多分类判决的MPPSK系统中的多进制LDPC编解码;引入LDPC编码以后,MPPSK信号性能进一步显著提升.     

基于循环谱特征的楼宇室内频谱感知算法

针对目前楼宇室内环境中,信道多径衰落和噪声不确定性等低信噪比情况下主用户信号检测性能较低的问题,提出了一种基于支持向量机(SVM)的主用户信号频谱感知算法.该算法融合了循环平稳特征检测和SVM算法的特点,对信号循环平稳特征参数进行特征提取,作为训练样本和待测样本,再采用SVM算法分别对有无主用户情况下的信号进行分类检测.仿真实验表明与人工神经网络(ANN)和最大最小特征值法(MME)相比较,所提算法可在低信噪比情况下,有效地实现对主用户信号的感知,具有较好的稳健性.     

支持向量机训练及分类算法研究

支持向量机(SVM)是在统计学习理论基础上发展起来的一种新的数据挖掘方法,已广泛应用于模式识别与回归分析等领域。针对一些主要的SVM训练算法,比较它们的特点,阐述其中最有代表性的序列最小优化(SMO)算法及其多种改进算法,还讨论一些典型的支持向量机多分类算法及支持向量机多标注算法。最后,指出亟待解决的一些问题。     

支持向量机的训练算法

大量数据下支持向量机(SVM)的训练算法是SVM研究的一个重要方向和广大研究者关注的焦点。该文回顾了近几年来这一领域的研究情况。该文从分析SVM训练问题的实质和难点出发,结合目前一些主要的SVM训练方法及它们之间的联系,重点阐述当前最有代表性的一种算法——序贯最小优化(SMO)算法及其改进算法。从中可以看到,包括SMO在内的分解算法通过求解一系列规模较小的子问题逐步逼近最优解,从而避免存储整个Hessian矩阵,是解决大规模SVM训练问题的主要方法。而工作集的选择对于分解算法的收敛与否和收敛速度至关重要。     

基于EM的MIMO-OFDM系统LMMSE信道估计

最小均方误差(MMSE)信道估计算法应用于MIMO-OFDM系统时将带来高计算复杂度且不易实现,根据这个问题,提出了一种基于期望最大化(EM)的线性最小均方误差(LMMSE)信道估计算法,并分析了该算法的性能.EM算法可以把多输入多输出(MIMO)信道估计问题转化为一系列单输入单输出(SISO)信道估计问题,避免了大规...     

基于可靠性测度的多类支持向量机

多类分类问题是我们经常遇到的问题,常用的方法是将多类问题转化为若干个二类问题,然后利用二类支持向量机(support vector machine,SVM)进行分类,如一对余SVM,一对一SVM,决策树SVM等.在这些方法中,大都没有考虑所生成的多个分类器之间的可靠性和重要性问题.为了改进这一点,本文以一对余SVM为例,提出了两种基于可靠性测度的多类分类算法,算法的思想可用于一对一SVM,决策树SVM等其他多种分类器中.为了检验所提算法的有效性,本文进行了比较试验,实验结果表明所提算法不仅提高了分类准确度,而且具有更为广泛的推广能力.     

一种新的SVM多类分类算法

给出了一种基于编码二叉树的支持向量机(SVM,Support Vector Machine)的多类分类算法.首先,定义了一种构造编码二叉树的方法,在此基础上合理的使用每个训练样本对应的编码来对多类样本进行划分,使之转化为两类分类问题.由算法的实现过程可以看出,本算法可以大大减少子分类器的构造个数,从而简化了多类SVM分类算法.     

一种基于网格的最近邻SVM新算法

支持向量机(SVM)算法往往由于分类面过分复杂或过学习而导致其泛化能力降低,现有的最近邻（NNSVM)或K近邻（KNNSVM）方法解决了这类样本问题,但算法时间复杂度高,处理海量样本的能力有限。在NNSVM算法的基础上引入了网格概念,提出了GNNSVM算法,该算法先对空间进行分块,然后在空间块内计算样本距离,找出最近邻,并结合分块序列最小优化算法(SMO)进行了算法实现。实验表明,该方法降低了计算复杂度,它在保持分类精度的同时,提高了训练和分类的速度,并具有较强的泛化能力,从而提高了原NNSVM算法的海量数据处理能力。     

基于支持向量机和条件随机场的MR图像分割

研究针对颅内各组织的MRI图像的新型分割算法.利用支持向量机(support vector machine, SVM)在解决高维及非线性问题的优势和条件随机场(conditional random field, CRF)有效学习数据之间局部依赖关系的优势,将SVM与CRF相结合,提出了多分类的支持向量机条件随机场分割算法(SVM-CRF),并应用于MR图像中各脑组织的分割.实验结果显示,对于较易识别的脑脊液,SVM-CRF算法比SVM算法和CRF算法的分割精度分别提高了1.83%和5.81%;对于较难识别的骨松质,SVM-CRF算法比SVM算法和CRF算法的分割精度分别提高了1.84%和7.60%.理论分析与实验结果表明,SVM-CRF算法的分割精度均明显优于SVM和CRF算法,并且对于较难识别的组织,该算法的优势更能得以体现.     

基于蚁群优化支持向量机模型的公路客运量预测

针对公路客运量预测难以建立精确预测模型的问题,文章引入基于蚁群优化的支持向量机算法对公路客运量进行预测。由于支持向量机的预测精度很大程度上取决于参数的选取,因此利用蚁群算法来优化其训练参数的选择,以得到优化的支持向量机预测模型,利用其对小样本及非线性数据优越的预测性能进行公路客运量的预测。以北京市的数据作为应用算例,并与BP神经网络及传统SVM的预测结果进行对比分析。实验结果表明,基于蚁群的支持向量机模型的预测精度更高,误差更小,可以更有效地对公路客运量进行预测;也说明利用蚁群算法进行支持向量机参数优选的方法是可行有效的。     

基于离群点剔除的SVM信用风险评价方法

针对信用评价数据存在离群点和噪声问题, 提出一种基于离群点剔除的支持向量机（SVM）信用风险评价模型. 该模型利用模糊c-均值聚类算法剔除样本离群点, 采用粒子群算法优化支持向量机分类参数, 进而提高支持向量机的分类性能. 将该方法应用于信用风险评价中的结果表明, 相比于其他模型, 该方法分类精度更高.     

用于不平衡数据分类的模糊支持向量机算法

作为一种有效的机器学习技术,支持向量机已经被成功地应用于各个领域.然而当数据不平衡时,支持向量机会产生次优的分类模型;另一方面,支持向量机算法对数据集中的噪声点和野点非常敏感.为了克服以上不足,提出了一种新的用于不平衡数据分类的模糊支持向量机算法.该算法在设计样本的模糊隶属度函数时,不仅考虑训练样本到其类中心距离,而且考虑样本周围的紧密度.实验结果表明,所提模糊支持向量机算法可以有效地处理不平衡和噪声问题.     

GA-SVM对上证综指走势的预测研究

将支持向量机和遗传算法结合,建立了一种智能数据挖掘技术(GA-SVM),并用于对上证综指市场走势进行了探索.在这个混合的数据挖掘方法中,GA用于RBF参数的设定以及特征集的选择,从而智能的找到SVM的最佳参数,减少SVM特征值的复杂度,提高了SVM算法速度.SVM用于判断未来股票市场的走势,并与统计模型、时间序列模型方法、神经网络进行了对比.实验证明,GA-SVM优于其他几种方法,这种方法对于股票上涨或下跌的预测研究是有效的.     

A fast SVM training algorithm based on the set segmentation and k-means clustering

At present, studies on training algorithms for support vector machines (SVM) are important issues in the field of machine learning. It is a challenging task to improve the efficiency of the algorithm without reducing the generalization performance of SVM. To face this challenge, a new SVM training algorithm based on the set segmentation and k-means clustering is presented in this paper. The new idea is to divide all the original training data into many subsets, followed by clustering each subset using k-means clustering and finally train SVM using the new data set obtained from clustering centroids. Considering that the decomposition algorithm such as SVMlight is one of the major methods for solving support vector machines, the SVMlight is used in our experiments. Simulations on different types of problems show that the proposed method can solve efficiently not only large linear classification problems but also large nonlinear ones.     

基于粒度和信息熵的并行支持向量机算法

针对大数据环境下并行支持向量机(support vector machine,SVM)算法存在噪声数据较敏感、训练样本数据冗余等问题,提出基于粒度和信息熵的GIESVM-MR(the SVM algorithm by using granularity and information entropy based on MapReduce)算法.该算法首先提出噪声清除策略(noise cleaning,NC)对每个特征属性的重要程度进行评价,获得样本与类别之间的相关度,以达到识别和删除噪声数据的目的;其次提出基于粒度的数据压缩策略(data compression based on granulation,GDC),通过筛选信息粒的方式保留类边界样本删除非支持向量,得到规模较小的数据集,从而解决了大数据环境下训练样本数据冗余问题;最后结合Bagging的思想和MapReduce计算模型并行化训练SVM,生成最终的分类模型.实验表明,GIESVM-MR算法的分类效果更佳,且在大规模的数据集下算法的执行效率更高.     

一种基于距离比值的支持向量机增量训练算法

由于支持向量机具有较好地学习性能和泛化能力,目前已经得到了广泛的应用。如何使支持向量机进行有效的增量学习是目前支持向量机应用中需要解决的问题。深入研究了支持向量分布特点,提出了一种新的支持向量机增量训练淘汰机制——距离比值算法。该算法根据遗忘规则,设定一个合适的参数,按距离比值法中的定义计算各个样本中心距离与其到最优分类面距离的比值,舍弃对后续训练影响不大的样本,即可对训练数据进行有效的淘汰。对标准数据集的实验结果表明,使用该方法进行增量训练在保证分类精度的同时,能有效地提高训练速度。     

基于DW-ICA-SVM的工业过程故障检测算法

为了有效提高支持向量机(SVM)算法的故障检测和监视性能,提出一种新的基于DW-ICA-SVM的工业过程故障检测算法.首先,对训练数据进行标准化,运用独立元分析(ICA)获取数据的独立元矩阵,提取隐藏的非高斯信息.其次,运用杜宾-瓦特森(Durbin-Watson,DW)准则计算独立元(ICs)的DW值,通过DW方法有...     

基于GA优化的VMD-SVM识别角度头故障特征

提出一种基于遗传算法优化的变分模态分解（variational mode decomposition,VMD）-支持向量机（support vector machine,SVM）方法来识别机床角度头故障特征。首先采用遗传算法对VMD算法的输入参数进行优化,将优化后的VMD算法用于振动信号的分解,得到各本征模态函数（IMF）后,求得对应的能量熵;然后通过SVM算法筛选出有效故障数据,再利用峭度和相关系数相结合的方法将其中的IMF筛选出来并重构信号;最后,对该信号作频谱分析,分析相关特征信息,识别并诊断出故障。根据仿真和实验结果,所提方法对于故障角度头的有效信号筛选正确率高,对于噪声抑制效果良好,特征提取快速有效,可用于机床故障诊断领域。     

基于GA优化的VMD-SVM识别角度头故障特征

提出一种基于遗传算法优化的变分模态分解（variational mode decomposition,VMD）-支持向量机（support vector machine,SVM）方法来识别机床角度头故障特征。首先采用遗传算法对VMD算法的输入参数进行优化,将优化后的VMD算法用于振动信号的分解,得到各本征模态函数（IMF）后,求得对应的能量熵;然后通过SVM算法筛选出有效故障数据,再利用峭度和相关系数相结合的方法将其中的IMF筛选出来并重构信号;最后,对该信号作频谱分析,分析相关特征信息,识别并诊断出故障。根据仿真和实验结果,所提方法对于故障角度头的有效信号筛选正确率高,对于噪声抑制效果良好,特征提取快速有效,可用于机床故障诊断领域。