New approach to training support vector machine

1.INTRODUCTIONThe support vector machine(SVM)[1]has been suc-cessful as a high-performance classifier in several do-mains including pattern recognition,data mining,and bioinformatics.It has strong theoretical founda-tions and good generalization capability.Ali mitationof the SVMdesign algorithm,particularly for largedata sets,is the need to solve a quadratic program-ming(QP)probleminvolving a densen×nmatrix,wherenis the number of points in the data set.Since QProutines have highcompl…     

基于活跃集迭代法的支持向量机快速增量学习算法

介绍了一种新的支持向量机（SVM），其优化问题的对偶问题为具有简单界约束的凸二次规划问题：探讨了将活跃集迭代法运用于这种SVM的学习算法以及初始活跃集的选取问题；针对增量学习和大规模学习问题，提出了基于活跃集迭代法的SVM快速增量学习算法；实验验证了算法的有效性。     

Incremental support vector machine algorithm based on multi-kernel learning

A new incremental support vector machine (SVM) algorithm is proposed which is based on multiple kernel learning.Through introducing multiple kernel learning into the SVM incremental learning,large scale data set learning problem can be solved effectively.Furthermore,different punishments are adopted in allusion to the training subset and the acquired support vectors,which may help to improve the performance of SVM.Simulation results indicate that the proposed algorithm can not only solve the model selection problem in SVM incremental learning,but also improve the classification or prediction precision.     

一种基于QBC的SVM主动学习算法

针对支持向量机(souport vector machine,SVM)训练学习过程中样本分布不均衡、难以获得大量带有类标注样本的问题,提出一种基于委员会投票选择(query by committee,QBC)的SVM主动学习算法QBC-ASVM,将改进的QBC主动学习方法与加权SVM方法有机地结合应用于SVM训练学习中,通过改进的QBC主动学习,主动选择那些对当前SVM分类器最有价值的样本进行标注,在SVM主动学习中应用改进的加权SVM,减少了样本分布不均衡对SVM主动学习性能的影响,实验结果表明在保证不影响分类精度的情况下,所提出的算法需要标记的样本数量大大少于随机采样法需要标记的样本数量,降低了学习的样本标记代价,提高了SVM泛化性能而且训练速度同样有所提高。     

一种改进的基于SVM的SAR目标及阴影图像分割方法

提出了一种基于支持向量机(support vector machine, SVM)的合成孔径雷达(synthetic aperture radar, SAR)目标及阴影图像的改进分割方法。利用分类的思想对SAR图像进行分割,其中分类器是通过循环不断更新训练样本的方式完成训练,循环次数由计算相邻两次分割图像熵的差值来控制。用DARPA (defense advanced research project agency)和Sandia实验室提供的实测数据进行分割实验。结果表明,所提算法得到的分类器性能更加优越,同时能够减少初始分割中阈值的选取对分类器性能的影响,有效地提高了SAR目标及阴影图像的分割质量。     

基于核主元分析和最小二乘支持向量机的软测量建模

软测量技术是工业过程控制和分析的有力工具，它的核心问题是如何建立学习速度快且泛化性能优良的软测量模型。提出了一种基于棱主元分析（KPCA）和最小二乘支持向量机（LSSVM）的软测量建模方法，利用核主元分析提取软测量输入数据空间中的非线性主元，然后用最小二乘支持向量机进行建模，不但降低模型复杂性，而且提高了模型泛化能力。最后将上述方法用于PTA结晶过程的软测量建模，仿真结果表明：与SVM、PCA-SVM建模方法相比，该KPCA-LSSVM方法具有学习速度快、跟踪性能好、泛化能力强等优点，是一种有效的软测量建模方法。     

基于AEPSO-SVM算法的雷达HRRP目标识别

针对雷达自动目标识别中的高分辨距离像(high resolution range profile,HRRP)识别问题,提出自适应进化粒子群(adaptive evolution particle swarm optimization, AEPSO)算法优化支持向量机(support vector machine,SVM)的目标分类识别方法。该算法利用非线性自适应惯性权重的调整以适应粒子寻优的非线性变化过程,采用分阶段调节加速因子增强粒子在进化过程中的学习能力,通过引入局部搜索算子在增加粒子多样性的同时有效避免了粒子陷入局部最优陷阱。通过改进的PSO算法优化SVM参数,建立分类识别器模型。将该AEPSO-SVM模型应用到雷达HRRP目标识别中,实验结果表明,该算法对于高分辨雷达目标识别精度高、鲁棒性强。     

基于支持向量信息测度排序的快速分类算法

如何降低支持向量机海量训练样本的数目,是提高算法速度的关键。提出利用支持向量分布的几何特征建立基于特征空间中支持向量信息测度的快速算法,对于训练样本首先进行基于支持向量信息测度升序排序处理,然后根据训练样本提供的信息测度选择合适的训练样本子空间,在该样本子空间内采用乘性规则直接求取Lagrange因子,而不是传统的二次优化方法;最后针对附加残余样本进行交叉验证处理,直到算法满足收敛性准则。各种分类实验表明,提出的算法具有较好的性能,特别是在训练样本庞大、支持向量数量较多的情况下,能够较大幅度地减少计算复杂度,提高分类速度。     

基于支持向量机的非线性模型预测控制

支持向量机是基于统计学习理论的新一代机器学习技术。由于使用结构风险最小化原则代替经验风险最小化原则,使它较好地解决了小样本情况下的学习问题。又由于采用了核函数思想,使它把非线性问题转化为线性问题来解决,降低了算法的复杂度。提出了一种基于支持向量机的模型预测控制结构,并使用一个新的随机搜索优化算法来求解预测控制律,计算机仿真证明了所设计的控制算法的正确性和有效性。     

Face Recognition Based on Support Vector Machine and Nearest Neighbor Classifier

Support vector machine (SVM), as a novel approach in pattern recognition, has demonstrated a success in face detection and face recognition. In this paper, a face recognition approach based on the SVM classifier with the nearest neighbor classifier (NNC) is proposed. The principal component analysis (PCA) is used to reduce the dimension and extract features. Then one-against-all stratedy is used to train the SVM classifiers. At the testing stage, we propose an al-     

多用户双向AF MIMO中继系统的联合预编码算法

近年,双向放大转发(amplify-and-forward, AF)多输入多输出(multiple input multiple output, MIMO)中继系统中的预编码设计吸引了越来越多研究学者的兴趣。然而,在实际MIMO中继通信系统中,针对双向传输下的系统,对多用户模型进行的研究较少。由此,针对多用户双向AF MIMO中继系统模型,提出了一种联合预编码算法。采用在所有节点功率限制下,以最小和均方误差(minimun sum mean square error, MSMSE)设计准则去求解联合信源、中继和信宿端多用户的非凸优化问题,将最初的非凸优化问题转化成多个子优化问题,并利用半正定规划设计、平方约束二次规划设计以及二阶锥规划设计求解子优化问题。之后通过交替迭代方法进一步求解每个子凸优化问题局部优化值,达到优化所有节点矩阵变量的目的。所提算法较现有的算法,不仅在优化问题方面考虑更全面、更实用,而且实验仿真结果验证,提出的算法在系统和均方误差(sum mean-square-error, SMSE)性能、和速率以及误码率(bit-error rate, BER)上有均有改善。     

KM-SVM法的SAR图像无监督变化检测

针对合成孔径雷达（synthetic aperture radar, SAR）图像变化检测获得有标记样本的数量十分有限且困难,传统方法检测率低等问题,提出了一种基于原始特征空间的K-均值和支持向量机(K--means and support vector machine, KM SVM)法SAR图像无监督变化检测。首先,不需要任何先验信息的条件下,利用K- means聚类方法获取差异图像的分类阈值;其次,利用阈值,引入偏移量,自动选取伪训练集和无标签集,并用伪训练集定义SVM的初始决策超平面;最后,用基于统计特征的半监督学习算法和支持向量机相结合对图像进行变化类与非变化类的分类。实验结果表明：该算法优于基于混合高斯分布模型的KI法和基于广义高斯分布模型的KI法,能保持较好的分类、泛化能力和较稳定的检测精度。这些结果表明了文中方法的有效性。     

Orthogonal genetic algorithm for solving quadratic bilevel programming problems

A quadratic bilevel programming problem is transformed  into a single level complementarity slackness problem by applying  Karush-Kuhn-Tucker (KKT) conditions. To cope with the complementarity  constraints, a binary encoding scheme is adopted for  KKT multipliers, and then the complementarity slackness problem  is simplified to successive quadratic programming problems,  which can be solved by many algorithms available. Based on 0−1  binary encoding, an orthogonal genetic algorithm, in which the orthogonal  experimental design with both two-level orthogonal array  and factor analysis is used as crossover operator, is proposed.  Numerical experiments on 10 benchmark examples show that the  orthogonal genetic algorithm can find global optimal solutions of  quadratic bilevel programming problems with high accuracy in a  small number of iterations.     

A SUPERLINEAR CONVERGENT FEASIBLE METHOD FOR NONLINEAR PROGRAMMING WITH NONLINEAR CONSTRAINTS

ＡＳＵＰＥＲＬＩＮＥＡＲＣＯＮＶＥＲＧＥＮＴＦＥＡＳＩＢＬＥＭＥＴＨＯＤＦＯＲＮＯＮＬＩＮＥＡＲＰＲＯＧＲＡＭＭＩＮＧＷＩＴＨＮＯＮＬＩＮＥＡＲＣＯＮＳＴＲＡＩＮＴＳ￥ＧＡＯＺｉｙｏｕ；ＨＥＧｕｏｐｉｎｇ（ＩｎｓｔｉｔｕｔｅｏｆＡｐｐｌｉｅｄＭａｔｈ...     

突击作战干扰时机决策

干扰时机的确定是进行干扰决策的前提和基础。通过对问题分析,制定了两套干扰时机决策方案。为实现攻击机的飞行控制最优规划,综合考虑攻击机飞行性能、威胁约束以及边界约束,建立了最优航迹控制模型。引入主要应用于航天控制的勒让德伪谱法(Legendre pseudospectral method, LPM),将最优控制问题转化为非线性规划(nonlinear programming, NLP)问题,在此基础上设计了干扰时机解算流程。通过对基于c代码的可行序列二次规划(c code feasible sequential quadratic programming, CFSQP)算法的改进,有效减少了优化变量的数量,使其能对NLP问题快速寻优。仿真结果表明,所提出的干扰时机决策方案能有效地获得最优干扰开始和结束时刻。     

基于数据分割和集成学习的大规模SVM分类算法

支持向量机对分类问题的求解过程相当于解一个线性约束的二次规划问题,求解的变量个数与训练样本数相等,且需要计算和存储的核矩阵大小与训练样本数的平方相关.随着样本数目的增多,经典的求解二次规划问题的算法不再适用.针对大规模二分类问题,基于数据分割和集成学习策略,本文提出了一种快速支持向量机学习算法.其主要思想是:首先对数据集进行预处理,自动将正负类分别聚成若干子簇;然后对两两组合的正负子簇用SMO算法进行交叉学习,得到多个基本分类器;最后对这些基本分类器进行集成学习.在UCI的5个数据集上的实验表明,与SMO学习算法相比,这种基于数据分割的训练策略在精度几乎没有损失的情况下显著地提高了训练速度.     

基于高维特征选择的跳频电台细微特征识别

将高维特征用于跳频电台细微特征个体识别具有很大优势,为了增强对跳频电台的分类识别能力,需要增加特征类型和维数,提高特征集的表征能力,但同时会引入大量冗余特征,导致分类器计算时间过长,分类正确率降低。为了降低高维特征集维数,首先采用相关性快速过滤特征选择算法,删除高维特征集中的不相关冗余特征,得到最优特征集。然后利用经过参数优化的支持向量机(support vector machine, SVM)分类器进行训练分类。实验表明,所提算法能够对高维特征集进行合理的降维,提高了SVM的分类器的分类性能,在保证分类正确率的基础上,降低了运算量,提高了跳频电台细微特征识别的时效性。     

基于熵特征和支持向量机的调制识别方法

通信信号调制识别在非合作通信领域是一项重要的研究课题。针对当前算法计算量大,能识别的调制类型少的特点,提出了一种基于熵特征和支持向量机（support vector machine, SVM）的调制识别新方法。该算法通过提取接收信号的多维熵特征,作为调制识别的特征参数,并利用基于二叉树的SVM作为分类器,对接收信号进行调制识别。除了信号的信噪比,该算法不需要信号带宽和载频等其他先验知识。理论分析与计算机仿真结果表明,该方法具有很高的识别率,计算量小,具有很好的应用价值。     

基于极限学习机和boosting多核学习的目标跟踪算法

如何构造鲁棒的分类器一直是基于判别式的目标跟踪算法研究的热点,近些年多核学习通过线性组合多个核分类器达到了更好的分类性能,受到了广泛的关注。传统的多核学习需要解复杂的最优化问题,很难直接应用到目标跟踪中,因此提出一种基于boosting学习框架的多核学习算法,使目标跟踪在复杂场景下可以保持跟踪的实时性和准确性。为了进一步减少计算量和提升分类性能,采用极限学习机(extreme learning machine,ELM)作为基分类器,ELM结构简单,训练速度非常快,并且比支持向量机有更好的泛化能力。最后,将本文算法与其他先进的跟踪算法在多个公开视频序列中进行比较,验证了本文算法性能的有效性。     

基于Markov blanket和互信息的集成特征选择算法

针对大量无关和冗余特征的存在可能降低分类器性能的问题,提出一种基于近似Markov blanket和动态互信息的特征选择算法并将其应用于集成学习,进而得到一种集成特征选择算法。该集成特征选择算法运用Bagging方法结合提出的特征选择方法生成基分类器,并引入基分类器差异度进行选择性集成,最后用加权投票法融合所选基分类器的识别结果。通过仿真实验验证算法的有效性,以支持向量机(support vector machine, SVM)为分类器,在公共数据集UCI上进行试验,并与单SVM及经典的Bagging集成算法和特征Bagging集成算法进行对比。实验结果显示,该方法可获得较高的分类精度。