一种新型的支持向量机约简方法及其应用

针对支持向量机(Support Vector Machine,SVM)处理大规模数据集常出现的训练速度慢、计算代价大以及实时性差等缺点,将基于密度的样本块划分法和基于欧式距离的边界样本筛选方法相结合,提出了一种新型的支持向量机约简方法。该方法首先进行空间块的划分,根据空间块的密度提取候选样本区域,并通过基于欧式距离改良的相对距离提取出大概率分布支持向量的边界样本。该方法既保证了训练样本的精度,又降低了计算代价,提高了泛化能力。工业应用结果表明了该方法不仅精度不低于SVM,并且计算速度远快于SVM。     

多属性决策的支持向量机方法

为获取和表达决策者的偏好,实现对决策方案的选择,提出了基于支持向量机的多属性决策方法.首先,分析了多属性决策支持向量机方法的原理.其次,提出了基于属性效用函数估计的学习样本构造方法,从决策问题本身抽取学习样本.最后给出了一个算例.     

Modified L-P小波最小二乘支持向量机及在动态系统辩识中的应用

为了提高动态系统的辩识品质,提出了-种新的可调带宽多维支持向量小波核函数-modifiedL-P小波核函数.理论E证明了这种核函数是满足平移不变核定理的支持向量核函数.由于该核函数具有平移伸缩正交性,而且适用于信号的局部分析、信噪分离和突变信号的检测,从而提升了支持向量机的泛化性能.应用Modified L-P小波核作为最小二乘支持向量机的核函数,可以简化计算复杂性,提高学习效率.回归实验和动态系统辩识的仿真结果表明,Modified L-P小波核函数最小二乘支持向量机的建模和逼近能力优于基于L-P小波核函数或高斯核函数最小二乘支持向量机,更适合工程应用.     

直接支持向量回归机

将超平面偏置项平方加入到最小二乘支持向量回归机(LSSVMR)的目标函数中,提出直接支持向量回归机(DSVMR)。该方法增强了求解问题的凸性,与LSSVMR相比,只需要求解一个与核矩阵类似的对称正定矩阵的逆就可以得到问题的解,再使用Cholesky分解和SMW(Sherman-Morrison-Woodbury)求逆公式,降低了计算复杂度,加快了学习速度,而且逼近能力与LSSVMR近乎相同。最后数值试验表明DSVMR可行且完全具有上述优势。     

支持向量机的多分类算法

系统介绍了统计学习理论(statistical learning theory,SLT)与支持向量机(support vector machine,SVM)的基本思想和算法,总结和比较了二分类和多分类两种情况下支持向量机的主要训练算法。与人工神经网络相比,分析了支持向量机算法的优点。归纳了支持向量机在诸如模式识别、函数逼近、时间序列预测、故障预测和识别、信息安全、电力系统以及电力电子领域中的应用。最后对SVM前景作了展望。     

训练支持向量机的低维Newton算法

支持向量机是基于统计学习理论的结构风险最小化原理提出来的一种新的学习算法,它把模式识别问题建模为一个简单约束的高维对偶二次规划问题.针对原二次规划的特点,线性分类问题可等价化为低维的无约束不可微优化问题,并可通过批处理训练来提高训练速度,降低存储空间复杂度.采用熵罚函数法处理不可微优化问题,对收敛性进行了验证,并提出了Newton型求解算法.数据仿真结果表明,该算法在低存储需求下可有效提高大数据量问题的训练学习速度.     

消费者信用评估中支持向量机方法研究

消费者信用评估是金融与银行界研究的重要内容，最近的研究显示统计学习理论(SLT)方法在信用评估中有优势。本文在信用评估中应用了一种新的方法——支持向量机方法(SVM)，该方法属于机器学习理论发展的最新阶段，具有专门针对有限样本、算法复杂度与样本维数无关等优点。使用真实的信用卡数据实证结果表明，本方法具有较好的预测能力，在与国内某商业银行现有信用卡个人信用评估方法的对比研究中，该方法具有明显的优势。     

基于支持向量机的智能决策方法

分析多属性决策问题及现有方法,提出了基于支持向量机的智能多属性决策方法.首先,介绍了支持向量回归估计的学习算法.其次,探讨了基于支持向量机的智能决策原理.然后,提出了多属性决策支持向量机方法的实现算法.最后给出了一个算例.     

一种新隶属度函数的模糊支持向量机

传统的模糊支持向量机隶属度函数都是基于样本与类中心距离进行设计,这对非球形分布数据很不合理.使用类内超平面代替类中心,提出基于样本到超平面距离的新隶属度函数设计方法.该方法克服传统方法的不足,降低隶属度函数对样本集几何形状的依赖,提高模糊支持向量机的泛化能力.数值实验表明,与支持向量机和三种不同隶属度函数的模糊支持向量机相比,新隶属度函数的模糊支持向量机达到最好的分类效果,而且新隶属度方法的简单易行,计算时间少.     

一类快速模糊支持向量机

由H.P.Huang、C.F.Lin等人和T.Inoue,S.Abe等人提出的两类模糊支持向量机是两种类型的改进支持向量机,分别克服了过学习问题和减少了多类问题分类时存在的不可分区域。如何处理异常数据和加速训练大规模数据集是支持向量机中的急需解决的两个问题。针对这两个问题,提出了一类将两类模糊支持向量机集成的快速模糊支持向量机。训练时,根据每类数据与其类中心的距离,定义隶属函数,以加大对容易被错分样本的惩罚,利用合适的参数λ选取了每类数据中隶属度值较大的边缘数据构造模糊支持向量机,测试时,利用1-a-1和模糊支持向量机的决策函数判定未知样本的类别。含有异常数据的两类问题和机器学习数据集中手写数字识别的多类问题的实验结果,验证了提出的快速模糊支持向量机减少了训练时间同时提高了学习机的推广能力。     

Incremental support vector machine algorithm based on multi-kernel learning

A new incremental support vector machine (SVM) algorithm is proposed which is based on multiple kernel learning.Through introducing multiple kernel learning into the SVM incremental learning,large scale data set learning problem can be solved effectively.Furthermore,different punishments are adopted in allusion to the training subset and the acquired support vectors,which may help to improve the performance of SVM.Simulation results indicate that the proposed algorithm can not only solve the model selection problem in SVM incremental learning,but also improve the classification or prediction precision.     

Adaptive support vector machine decision feedback equalizer

An adaptive support vector machine decision feedback equalizer(ASVM-DFE) based on the least square support vector machine(LS-SVM) is proposed,it solves linear system iteratively with less computational intensity.An adaptive non-singleton fuzzy support vector machine decision feedback equalizer(ANSFSVMDFE) is also presented,it adopts the non-singleton fuzzy Gaussian kernel function with similar characteristic of pre-filter and is modified with a space transformation based approach.Simulations under nonlinear time variant channels show that ASVM-DFE and ANSFSVM-DFE perform very well on nonlinear equalization and ANSFSVM-DFE acts especially well in resisting abrupt interference.     

Decision tree support vector machine based on genetic algorithm for multi-class classification

To solve the multi-class fault diagnosis tasks, decision tree support vector machine (DTSVM), which combines SVM and decision tree using the concept of dichotomy, is proposed. Since the classification performance of DTSVM highly depends on its structure, to cluster the multi-classes with maximum distance between the clustering centers of the two sub-classes, genetic algorithm is introduced into the formation of decision tree, so that the most separable classes would be separated at each node of decisions tree. Numerical simulations conducted on three datasets compared with "one-against-all" and "one-against-one" demonstrate the proposed method has better performance and higher generalization ability than the two conventional methods.     

利用概率估计和支持矢量机的信号调制分类

提出了一种常用数字通信信号调制分类算法。针对MASK、MFSK和MPSK调制,选取截获接收机输出信号的瞬时幅度、时频脊线和差分基带信号作为分类特征,利用概率密度估计算法求取分类特征的分布函数,通过构造支持矢量机分类器确定分布函数的峰值个数,从而在多种噪声背景下实现了信号调制类型的自动分类。仿真实验表明,当信噪比大于5 dB时识别率可达80%以上。     

基于支持向量机的典型宽带电磁干扰源识别

由于民航周围电磁环境复杂, 一旦产生电磁干扰(electromagnetic interference,EMI), 就不易被排查, 特别是随机性较强的宽带干扰。对此, 提出一种基于支持向量机(support vector machine, SVM)的干扰源识别方法。通过实时测量干扰信号的频谱数据, 并分析其特点, 选择包络因子、频谱能量、频谱峰值、均值和方差5个特征向量, 用主成分分析法降低数据冗余程度, 最后采用SVM来判断干扰源类型。仿真结果证明, 所提算法能有效识别6类典型机场宽带干扰源, 识别精度可达98.33%。     

Adjustable entropy function method for support vector machine

Based on KKT complementary condition in optimization theory, an unconstrained non-differential optimization model for support vector machine is proposed. An adjustable entropy function method is given to deal with the proposed optimization problem and the Newton algorithm is used to figure out the optimal solution. The proposed method can find an optimal solution with a relatively small parameter p, which avoids the numerical overflow in the traditional entropy function methods. It is a new approach to solve support vector machine. The theoretical analysis and experimental results illustrate the feasibility and efficiency of the proposed algorithm.     

GSVM优化问题的一种新的光滑函数法

提出求解广义支撑向量机(GSVM)优化问题的一种新的光滑函数法,克服了已有算法收敛速度慢且计算结构复杂的缺陷。首先利用最优化理论的KKT互补条件,将GSVM转化为无约束优化问题,然后给出了基于Newton型迭代的光滑函数的迭代方法。给出了这种光滑函数的有关性质、迭代算法的迭代格式及其收敛性。通过理论分析及数值实验证明了该算法对初始点不敏感,且收敛速度快、数值稳定。从而验证了算法的可行性和有效性。     

一种新的支持向量机快速训练算法

针对大规模数据集的分类中支持向量机的训练,为解决选取样本集合边界向量时需事先判定样本集合是否线性可分的问题,提出一种基于密度法的支持向量预选取方法。该方法不需要事先判定训练样本是否线性可分,具有较强的抗击噪音点和孤立点干扰的能力,并且计算简单,易于实现。实验结果证明了这种方法是有效的。     

多项式光滑的半监督支持向量分类机

为了处理半监督支持向量分类优化中的非凸非光滑问题,引入一族多项式光滑函数来逼近非凸的目标函数,给出的多项式函数在样本的高密度区逼近精度高,逼近精度低时出现在样本的低密度区,同时可以根据不同的精度要求选择不同的逼近函数.采用BFGS算法求解模型.在人工数据和UCI数据集上的实验结果显示,算法不仅能保证标号数据很少时的分类精度,而且不因标号数据的增多而明显提高分类性能,因此给出的分类器性能是稳定的.