支持向量机的多分类算法

系统介绍了统计学习理论(statistical learning theory,SLT)与支持向量机(support vector machine,SVM)的基本思想和算法,总结和比较了二分类和多分类两种情况下支持向量机的主要训练算法。与人工神经网络相比,分析了支持向量机算法的优点。归纳了支持向量机在诸如模式识别、函数逼近、时间序列预测、故障预测和识别、信息安全、电力系统以及电力电子领域中的应用。最后对SVM前景作了展望。     

基于特征概率分布的低分辨雷达地面目标分类

提取稳定有效的目标特征对于低分辨雷达的目标识别分类有着重要意义。在提取目标基本特征雷达散射截面积(radar cross section,RCS)与频谱熵值的基础上,提出了一种基于特征概率分布曲线的目标分类方法。该方法首先应用快速傅里叶变换计算目标回波频谱,提取目标RCS与频谱熵值,然后滑窗分段计算基本特征的概率分布曲线,从而利用概率分布曲线提取出稳定的目标特征,最后利用支持向量机对目标实现分类。基于实测数据的分类结果表明,该特征具有较好的稳健性和分类性能,同时算法便于工程实现。     

基于时间谱信息的低分辨雷达飞机目标分类

雷达目标空间状态随时间的变化特性从侧面揭示了的目标的本质,这种目标空间状态随时间呈现的分布特性称之为目标的时间谱,而利用目标的时谱信息(目标的航迹、速度、机动性、空间坐标信息)可以简化(或缩小)待识别目标的范围。用低分辨雷达测量得到的时间谱信息作为特征,采用模糊逻辑规则对五类飞机目标进行分类判决。结果表明:基于时间谱信息的飞机目标分类为低分辨雷达飞机目标识别提供了一个有效的辅助手段。     

训练支持向量机的低维Newton算法

支持向量机是基于统计学习理论的结构风险最小化原理提出来的一种新的学习算法,它把模式识别问题建模为一个简单约束的高维对偶二次规划问题.针对原二次规划的特点,线性分类问题可等价化为低维的无约束不可微优化问题,并可通过批处理训练来提高训练速度,降低存储空间复杂度.采用熵罚函数法处理不可微优化问题,对收敛性进行了验证,并提出了Newton型求解算法.数据仿真结果表明,该算法在低存储需求下可有效提高大数据量问题的训练学习速度.     

基于支持向量机的空中目标大类别分类

针对已有空中目标识别方法存在的经验风险大、识别率低等不足,依据空中目标的分类原则和纠错码设计原则,设计了针对该问题的纠错码,并训练了码位分类器,最后给出了基于支持向量机的空中目标大类别分类算法。该方法采用纠错编码支持向量机的多类分类技术,降低了经验风险,能对误差进行自动修正,有效地提高了识别率和识别速度。最后给出了一个算例,结果证实了该算法的有效性,并给出了与同类算法的比较结果。     

基于支持向量机的体数据分类算法研究

在由工业CT图像构成的体数据中,低密度材质的灰度与背景及伪影的灰度接近,影响了分类的准确性,进而影响体绘制的结果.针对这一问题,提出了一种基于支持向量机的体数据分类算法.首先以体素的灰度、梯度、局部直方图的熵和矩为样本特征进行训练,得到决策函数,并通过决策函数对体数据进行类别标记,再将具有相同标记的体素的灰度值变换到指定的灰度区间,最后利用阻光度传递函数对体素进行阻光度赋值,完成体数据的分类.实验结果表明,所提出的算法较好的实现了体数据的分类,体绘制结果清晰,且能够实现试件的模拟拆卸.     

改进的支持向量回归机

标准的支持向量回归机中原始最优化问题的目标函数有两部分：一部分是衡量经验风险的，另一部分是衡量推广能力的。本文引入一个凸函数来代替衡量推广能力的部分，讨论了当这个凸函数取不同的形式时支持向量回归机的变形，这些模型不再要求核函数必须对称正定，从而为我们可以得到更灵活的回归曲面提供了有效的工具。     

改进的渐进直推式支持向量机算法

针对半监督学习中渐进直推支持向量机(Progressive Transductive Support Vector Machines, PTSVM)算法存在训练速度慢, 回溯式学习多,学习性能不稳定的问题,提出一种改进的渐进直推支持向量机算法---IPTSVM.该算法利用支持向量的信息选择新标注的无标签的样本点,结合增量支持向量机的迭代更新算法, 继承渐进直推支持向量机渐进赋值和动态调整的规则, 与PTSVM相比,不仅在一般情况下提高了分类的精度,而且大大提高了算法的速度.在人工模拟数据和真实数据上的实验结果表明了该算法的有效性.     

基于新的决策规则的球形支持向量机分类算法

球形支持向量机是一种学习算法,它通过在高维特征空间中,对每一个模式类别构造一个覆盖其所有训练样本的具有最小体积的超球体,来实现对训练样本空间的划分.在此基础上,提出了一种基于新的决策规则的球形支持向量机算法,并在七个UCI数据集上进行了实验,实验结果表明提出的算法可以取得比标准的支持向量机算法更好的分类效果.     

一种基于低分辨雷达的目标识别方法

讨论了一种基于低分辨雷达的目标(飞机)识别方法,描述了这种识别方法所依赖的硬件平台即目标回波数据采集系统的组成及工作原理,阐述了一种基于低分辨雷达的目标粗分类(目标大、中、小等粗略属性的判别)的方法,研究了低分辨条件下目标特征描述的思路, 尝试利用这些方法进行目标属性的粗分类以及进行机群目标架次的判别。现场实验表明,这 些方法是可行有效的,对于提高常规低分辨雷达的性能有着重要的意义。     

Decision tree support vector machine based on genetic algorithm for multi-class classification

To solve the multi-class fault diagnosis tasks, decision tree support vector machine (DTSVM), which combines SVM and decision tree using the concept of dichotomy, is proposed. Since the classification performance of DTSVM highly depends on its structure, to cluster the multi-classes with maximum distance between the clustering centers of the two sub-classes, genetic algorithm is introduced into the formation of decision tree, so that the most separable classes would be separated at each node of decisions tree. Numerical simulations conducted on three datasets compared with "one-against-all" and "one-against-one" demonstrate the proposed method has better performance and higher generalization ability than the two conventional methods.     

Novel algorithm for constructing support vector machine regression ensemble

1 .INTRODUCTIONRecently , support vector machine (SVM)[1]is anovel and promising technique in the fields of ma-chine learning and classification or regression pre-diction accompanying artificial neural network.InSVM,several learning algorithms can be obtainedgiven different inner-product functions named ker-nel functions ,such as polynomial approach,Bayes-ian classification、radial basic function method、multilayer perceptron network[2]. By now,it hasbeen successfully applied in many ar…     

Hooke and Jeeves algorithm for linear support vector machine

Coordinate descent method is a unconstrained optimization technique. When it is applied to support vector machine (SVM), at each step the method updates one component of w by solving a one-variable sub-problem while fixing other components. All components of w update after one iteration. Then go to next iteration. Though the method converges and converges fast in the beginning, it converges slow for final convergence. To improve the speed of final convergence of coordinate descent method, Hooke and Jeeves a...     

改进的稀疏孪生支持向量回归算法

相比传统支持向量机,尽管孪生支持向量机具有较快的计算速度,然而不具备结构风险最小化和稀疏性,易产生过拟合现象。针对这一问题,提出了一种具有稀疏性的改进的孪生支持向量回归算法。通过在目标函数中加入正则项将结构风险最小化原则引入到孪生支持向量回归算法中,改善了算法的回归性能|同时选择训练样本的一个子集代替全部的训练样本,使核函数由方阵转变成矩形阵,从而使算法具有稀疏性,有效减少运算时间。仿真结果证明了该算法的有效性。     

一种新的支持向量机快速训练算法

针对大规模数据集的分类中支持向量机的训练,为解决选取样本集合边界向量时需事先判定样本集合是否线性可分的问题,提出一种基于密度法的支持向量预选取方法。该方法不需要事先判定训练样本是否线性可分,具有较强的抗击噪音点和孤立点干扰的能力,并且计算简单,易于实现。实验结果证明了这种方法是有效的。     

关于稀疏最小二乘支持向量回归机的改进剪枝算法

对于含有奇异点的系统而言,由于一般的剪枝算法不能成功抑制系统中的奇异点,在借鉴支持向量分类机选择支持向量方法的基础上,提出了改进的剪枝算法. 改进的剪枝算法能成功抑制系统中的奇异点,减少支持向量的数目, 增强最小二乘支持向量回归机的泛化能力.另外,仿真实例也验证了改进剪枝算法的有效性. 在 不含有奇异点系统中,改进的剪枝算法退化成了一般的剪枝算法,也就是说一般的剪枝算法是改进剪枝算法的一个特例.     

Improved adaptive pruning algorithm for least squares support vector regression

As the solutions of the least squares support vector regression machine(LS-SVRM) are not sparse,it leads to slow prediction speed and limits its applications.The defects of the existing adaptive pruning algorithm for LS-SVRM are that the training speed is slow,and the generalization performance is not satisfactory,especially for large scale problems.Hence an improved algorithm is proposed.In order to accelerate the training speed,the pruned data point and fast leave-one-out error are employed to validate the temporary model obtained after decremental learning.The novel objective function in the termination condition which involves the whole constraints generated by all training data points and three pruning strategies are employed to improve the generalization performance.The effectiveness of the proposed algorithm is tested on six benchmark datasets.The sparse LS-SVRM model has a faster training speed and better generalization performance.