基于数据域描述的模糊临近支持向量机算法

针对传统支持向量机由于样本中存在孤立点或噪声而导致的过学习问题,通过分析模糊支持向量机和临近支持向量机的特点,借鉴它们的优点:模糊隶属度和临近超平面,提出了一种数据处理方法。该方法考虑了样本点到类中心的距离与样本对分类的贡献率的关系。这种改进使分类更为清晰和准确。结果表明:采用新的模糊隶属度模糊临近支持向量机算法有较高的识别率,但也耗费了较多的训练时间。     

LSVDD: 基于局部支持向量数据描述的稀有类分析算法

在单类支持向量数据描述算法的基础上, 提出了一种基于局部支持向量数据描述的稀有类分析算法: LSVDD, 能够处理存在类重叠的类不平衡问题. 该算法利用支持向量数据描述算法对各类样本分别进行单类学习, 从而获得单类模型; 然后对单类模型的概念重叠区域使用属性选择进一步进行局部单类学习, 最后得到综合分类模型. 在仿真数据集和UCI数据集上的实验结果表明, LSVDD能够有效和稳定地提高稀有类分析精度.     

基于支持向量机的空中目标大类别分类

针对已有空中目标识别方法存在的经验风险大、识别率低等不足,依据空中目标的分类原则和纠错码设计原则,设计了针对该问题的纠错码,并训练了码位分类器,最后给出了基于支持向量机的空中目标大类别分类算法。该方法采用纠错编码支持向量机的多类分类技术,降低了经验风险,能对误差进行自动修正,有效地提高了识别率和识别速度。最后给出了一个算例,结果证实了该算法的有效性,并给出了与同类算法的比较结果。     

一种新的支持向量机快速训练算法

针对大规模数据集的分类中支持向量机的训练,为解决选取样本集合边界向量时需事先判定样本集合是否线性可分的问题,提出一种基于密度法的支持向量预选取方法。该方法不需要事先判定训练样本是否线性可分,具有较强的抗击噪音点和孤立点干扰的能力,并且计算简单,易于实现。实验结果证明了这种方法是有效的。     

训练支持向量机的低维Newton算法

支持向量机是基于统计学习理论的结构风险最小化原理提出来的一种新的学习算法,它把模式识别问题建模为一个简单约束的高维对偶二次规划问题.针对原二次规划的特点,线性分类问题可等价化为低维的无约束不可微优化问题,并可通过批处理训练来提高训练速度,降低存储空间复杂度.采用熵罚函数法处理不可微优化问题,对收敛性进行了验证,并提出了Newton型求解算法.数据仿真结果表明,该算法在低存储需求下可有效提高大数据量问题的训练学习速度.     

New approach to training support vector machine

1.INTRODUCTIONThe support vector machine(SVM)[1]has been suc-cessful as a high-performance classifier in several do-mains including pattern recognition,data mining,and bioinformatics.It has strong theoretical founda-tions and good generalization capability.Ali mitationof the SVMdesign algorithm,particularly for largedata sets,is the need to solve a quadratic program-ming(QP)probleminvolving a densen×nmatrix,wherenis the number of points in the data set.Since QProutines have highcompl…     

Improved scheme to accelerate support vector regression

The computational cost of support vector regression in the training phase is O(N3), which is very expensive for a large scale problem. In addition, the solution of support vector regression is of parsimoniousness, which has relation to a part of the whole training data set. Hence, it is reasonable to reduce the training data set. Aiming at the scheme based on k-nearest neighbors to reduce the training data set with the computational complexity O(kMN2), an improved scheme is proposed to accelerate the reducing phase, which cuts down the computational complexity from O(kMN2) to O(MN2). Finally, experimental results on benchmark data sets validate the effectiveness of the improved scheme.     

多项式光滑的半监督支持向量分类机

为了处理半监督支持向量分类优化中的非凸非光滑问题,引入一族多项式光滑函数来逼近非凸的目标函数,给出的多项式函数在样本的高密度区逼近精度高,逼近精度低时出现在样本的低密度区,同时可以根据不同的精度要求选择不同的逼近函数.采用BFGS算法求解模型.在人工数据和UCI数据集上的实验结果显示,算法不仅能保证标号数据很少时的分类精度,而且不因标号数据的增多而明显提高分类性能,因此给出的分类器性能是稳定的.     

支持向量回归机预测误差校正方法

针对传统的ε不敏感支持向量回归机(ε insensitive support vector regression, ε-SVR)未充分考虑局部支持向量对回归预测结果的影响,不利于提高回归预测精度的问题,提出了一种εSVR预测误差校正方法。该方法以期望预测值与εSVR回归预测值及局部支持向量间的欧氏距离和最小为目标函数,以ε不敏感损失带(εtube)宽度为约束条件,通过利用高维特征空间中εtube边界上和边界外的局部支持向量对εSVR的回归预测值进行误差校正。利用人工产生的不同分布数据集和UCI数据集进行的仿真结果表明,与传统的εSVR相比,该文方法具有更高的预测精度和更强的泛化能力。     

Adjustable entropy function method for support vector machine

Based on KKT complementary condition in optimization theory, an unconstrained non-differential optimization model for support vector machine is proposed. An adjustable entropy function method is given to deal with the proposed optimization problem and the Newton algorithm is used to figure out the optimal solution. The proposed method can find an optimal solution with a relatively small parameter p, which avoids the numerical overflow in the traditional entropy function methods. It is a new approach to solve support vector machine. The theoretical analysis and experimental results illustrate the feasibility and efficiency of the proposed algorithm.     

支持向量回归机元参数优化方法

为了优化ε不敏感支持向量回归机（ε-support vector regression, ε-SVR）的三类元参数,根据其耦合程度将其优化问题分解为核参数优化和结构参数（即不敏感参数和正则化参数）优化两个子问题,并提出了相应的优化方法。首先,提出了一种新的核校准系数以优化核参数;其次,提出了一种基于期望训练误差的结构参数优化方法;最后,为准确估算ε-SVR的期望训练误差,还提出了一种根据实际训练误差分布特征评估和校正期望误差的方法。仿真结果表明,该文方法具有与交叉检验法近似的优化效果,且时间效率更高。     

基于Matlab支持向量回归机的能源需求预测模型

分析了支持向量回归机在能源需求预测中的优势, 确定了输入向量集合和输出向量集合, 建立了基于Matlab技术的SVR能源需求预测模型. 对我国1985-2008年能源需求相关数据进行模拟与仿真, 并对中国2010年和2020年能源需求量进行预测. 研究结果表明: 一是中国未来对能源的需求量逐渐增加, 从2010年的330400万吨标准煤上升到2020年418320万吨标准煤, 年均增长率为2.39%; 二是在解决我国能源系统小样本. 非线性及高维模式识别问题中SVR比BP神经网络等方法有更高的预测精度.     

Adaptive support vector machine decision feedback equalizer

An adaptive support vector machine decision feedback equalizer(ASVM-DFE) based on the least square support vector machine(LS-SVM) is proposed,it solves linear system iteratively with less computational intensity.An adaptive non-singleton fuzzy support vector machine decision feedback equalizer(ANSFSVMDFE) is also presented,it adopts the non-singleton fuzzy Gaussian kernel function with similar characteristic of pre-filter and is modified with a space transformation based approach.Simulations under nonlinear time variant channels show that ASVM-DFE and ANSFSVM-DFE perform very well on nonlinear equalization and ANSFSVM-DFE acts especially well in resisting abrupt interference.     

基于稀疏型支持向量回归的时间序列预测

为提高支持向量回归在时间序列预测应用中的学习速度和泛化性能,提出了稀疏型支持向量回归方法.通过牛顿优化法,直接优化支持向量回归的原始问题.然后利用Cholesky分解更新原始优化中的Hessian矩阵实现稀疏型支持向量回归算法.最后将该算法运用到Mackey-Glass,Lorenz和Logistic混沌时间序列预测,仿真结果表明本文提出的方法能够在确保预测精度的前提下,有效地降低支持向量的个数.     

支持向量机参数选择方法研究

针对支持向量机的参数选择问题,提出了一种最优化选择方法。通过分析支持向量个数与留一法的关系以及支持向量机参数的几何意义和对推广能力的影响,该算法利用支持向量机比例来衡量参数选择时推广能力的变化,使用不同的规则更新核参数和惩罚因子,简化了参数选择的难度。理论分析证明这种最小最大化参数选择方法可以选择支持向量机参数,仿真试验验证了该方法的有效性。     

GSVM优化问题的一种新的光滑函数法

提出求解广义支撑向量机(GSVM)优化问题的一种新的光滑函数法,克服了已有算法收敛速度慢且计算结构复杂的缺陷。首先利用最优化理论的KKT互补条件,将GSVM转化为无约束优化问题,然后给出了基于Newton型迭代的光滑函数的迭代方法。给出了这种光滑函数的有关性质、迭代算法的迭代格式及其收敛性。通过理论分析及数值实验证明了该算法对初始点不敏感,且收敛速度快、数值稳定。从而验证了算法的可行性和有效性。     

基于支持向量信息测度排序的快速分类算法

如何降低支持向量机海量训练样本的数目,是提高算法速度的关键。提出利用支持向量分布的几何特征建立基于特征空间中支持向量信息测度的快速算法,对于训练样本首先进行基于支持向量信息测度升序排序处理,然后根据训练样本提供的信息测度选择合适的训练样本子空间,在该样本子空间内采用乘性规则直接求取Lagrange因子,而不是传统的二次优化方法;最后针对附加残余样本进行交叉验证处理,直到算法满足收敛性准则。各种分类实验表明,提出的算法具有较好的性能,特别是在训练样本庞大、支持向量数量较多的情况下,能够较大幅度地减少计算复杂度,提高分类速度。     

基于相异度核空间的支持向量机算法

提出基于相异度核空间的混合流形学习与支持向量机(SVMs)算法用于解决高维数据分类问题. 该算法使用SVMs对流形学习降维后的低维嵌入做分类.通过加常数方法构造了衡量数据点相异度的特征空间. 证明了该特征空间不仅能够衡量数据点之间的相异度,还满足Mercer条件对于支持向量机分类核空间的半正定性的要求. 在仿真实验中,采用UCI机器学习数据库上标准分类数据集为样本. 对比构造的相异度核空间与常用核函数如线性核、多项式核、高斯核在支持向量机分类时的 分类精度来验证有效性和优越性.     

一种快速的渐进直推式支持向量机分类学习算法

针对渐进直推式支持向量机学习算法存在每次标注的无标签样本数太少,当样本较多时,频繁的成对标注和重复训练使得该算法复杂及增加的缺陷,提出了一种快速算法。该算法在训练过程中利用区域标注法取代PTSUML的成对标注法,在继承了其渐进赋值和动态调整的规则的同时,提高了算法的速度。雷达实测数据实验结果表明该算法是有效的。