基于支持向量机的增量学习算法

通过对支持向量机KKT条件和样本间关系的研究,分析了新增样本加入训练集后支持向量的变化情况,提出一种改进的Upper Limiton Increment增量学习算法.该算法按照KKT条件将对应的样本分为3类:位于分类器间隔外,记为RIG;位于分类间隔上,记为MAR;位于分类间隔内,记为ERR.并在每次训练后保存ERR集,将其与下一个增量样本合并进行下一次训练.实验证明了该算法的可行性和有效性.     

支持向量机增量学习算法综述

支持向量机增量学习算法,有效的解决了因数据集庞大而引起的内存不足问题,改善了因出现新样本而造成原分类器分类精度降低、分类时间延长的局面。本文阐述了几种具有代表性的增量学习算法,比较了它们的优缺点,给出了进一步的研究方向。     

一种新的支持向量机增量学习算法

提出一种新的支持向量机增量学习算法。分析了新样本加入训练集后，支持向量集的变化情况。基于分析结论提出新的学习算法。算法舍弃对最终结论无用的样本，使得学习对象的知识到了积累。实验结果表明本算法在保证分类准确度的同时，在增量学习问题上比传统的支持向量机有效。     

一种新的支持向量机增量学习算法

支持向量机学习算法的本质是从训练集中寻找支持向量,因此能否通过训练算法能快速找出支持向量是衡量支持向量机算法优劣的重要标准.本文提出了一种新的快速训练支持向量机的增量学习算法,首先,给出边界向量的定义,然后,对一个给定的新加人的样本,新的学习方法验证其是否为边界向量,如果是,将其加入到训练集中重新训练支持向量机,如果不是,就舍弃,这样能达到减少训练样本、降低训练复杂性目的,最后,给出了一个增量学习算法.实验表明测试误差和支持向量数量与SMO算法大致相当,而训练速度明显加快.     

一种新的支持向量机增量算法

分析了增量学习过程中支持向量和非支持向量的转化情况。在此基础上提出一种误分点回溯SVM增量算法,该算法先找出新增样本中被误分的样本,然后在原样本集寻找距误分点最近的样本作为训练集的一部分,重新构建分类器,这样能有效保留样本的分类信息。实验结果表明:该算法比传统的支持向量机增量算法有更高的分类精度。     

基于支持向量回归的增量学习算法

提出了一种基于支持向量回归的增量学习算法,该算法在增量学习中除了考虑原训练集中的支持向量(SVs)外,还考虑了非SVs与ε-带(-iεnsensitive zone)的边界距离较近的样本,并将这些样本与新的训练集一起训练.试验结果表明,与传统的支持向量机增量学习算法相比,此算法提高了训练精度;与经典的SVR相比,此算法大大节约了训练时间,是一种行之有效的增量学习算法.     

支持向量机增量学习算法研究

给出了使用多支持向量机进行增量学习的算法.传统的支持向量机不具有增量学习性能,而常用的增量学习方法各具有不同的优缺点,基于固定划分和过间隔技术,提出了使用多支持向量机进行增量学习的算法;使用此算法,针对标准数据集BUPA及用NDC生成的数据集OUTTRAIN进行了实验,结果表明,使用单一的支持向量机进行增量学习,不论采用过间隔还是固定划分技术,其增量学习的正确率不及使用多支持向量机增量学习算法的正确率.     

基于边界支持向量的自适应增量支持向量机

该文提出一种基于边界支持向量的自适应增量支持向量机,对每轮训练的样本集提取其边界支持向量,从而减少训练向量数目,提高训练效率.通过自适应调整参数,可以更好地适应新增样本.采用UCI(University of California Irvine)机器学习数据库和Statlog数据库对本文方法进行验证,实验结果表明本文方法的训练时间优于标准支持向量机和一般增量支持向量机.其分类精度也明显优于一般增量支持向量机,在训练数据较少时,其分类精度与标准支持向量机相差不大,但随着训练数据的增加,分类精度逐渐超越标准支持向量机.该文的方法更适合大规模数据集的增量学习.     

基于超球的支持向量机增量学习算法

支持向量机方法已经成功地应用于解决分类和回归问题,但是在训练支持向量机时需要求解二次规划问题,使得支持向量机的训练时间过长,训练样本量越大,这个缺陷越明显.将超球方法与回归支持向量机相结合,提出一种增量学习的新方法.该方法使用两个同心超球缩减训练集,以达到提高训练速度的目的.通过分析表明,这种新的增量学习方法较普通支持向量机训练方法有较低的计算复杂度.实验结果表明,该算法可以在不降低预测准确性的同时减少大量建模时间.     

支持向量机在线增量学习算法的MATLAB实现

基于支持向量机在线训练理论,采用MATLAB工具实现了一种在线增量学习算法。该实现方法调用LIBSVM工具包分类器训练函数和样本识别函数,将不能识别的样本作为增量数据重新训练分类器。设计的增量训练用户图形界面系统应用于手写数字的识别,结果表明了实现方法的正确性和有效性,并论证了增量训练能在兼顾新样本出现的情况下提高训练速度,提升手写数字识别的准确率。     

支持向量机增量学习中模型参数选择问题研究

支持向量机性能主要受模型参数的影响,而支持向量机增量学习中模型参数选择问题研究较少。针对这一问题,提出一种支持向量机增量学习中模型参数选择方法。将鲁棒度作为增量学习的性能估计准则,用拟合误差和比例系数调节解空间取值范围,采用梯度下降法搜索参数,用初始模型参数作为梯度下降法的初始值。用该方法对Logistic模型和航空发动机振动监控进行实验。结果表明：与基本遗传算法和梯度法进行比较,所提方法能充分利用历史学习的结果,缩小解空间的搜索范围,加快收敛速度。     

一种基于支持向量机的直推式学习算法

直推式支持向量机(Transductive Support Vector Machine,TSVM)是标准的支持向量机算法在半监督学习问题上的一种扩展,但已有的TSVM算法存在训练速度慢、回溯式学习多、学习性能不稳定等缺点,针对这些问题提出一种改进的直推式支持向量机算法———ITSVM,该算法较准确地确定了待训练的未标识样本中的正负样本数问题,有效解决了传统TSVM中过多的回溯式学习问题,同时该算法也无需利用过多的未标识训练样本,从而减轻了计算强度.实验表明,ITSVM相比TSVM在分类正确率、分类速度以及使用的样本规模上,都表现出了一定的优越性.     

基于增量式SVM的入侵检测研究

现实中入侵行为是层出不穷的,因此入侵检测系统必须能对新的入侵行为进行学习.提出基于存活因子的增量学习支持向量机(SVM)训练算法,通过边界样本集和准边界样本集对已知的入侵知识进行表示,能有效地对新入侵进行增量式学习.并且,采用了带存活因子的增量学习方式,可以有效地抑制算法的“震荡效应”,提高SVM算法进行入侵检测学习的自适应性和鲁棒性.     

支持向量机下机器学习模型的分析

首先概述了支持向量机的发展与应用,指出其在机器学习领域有较大的发展前景.分析了支持向量机的基本算法,进而阐述了基于支持向量机的机器学习模型构造思路.给出了其应用于机器学习模型的核函数和训练算法,最后给出了学习模型的具体分类效果.     

支持向量机的算法研究

支持向量机(support vector machine,SVM)是20世纪90年代发展起来的一种新型机器学习方法,是在统计学习理论基础上发展起来的一种新的数据挖掘方法,已广泛应用于模式识别与回归分析。并已成为国际机器学习界的研究热点。本文主要讨论其基本原理与SVM训练算法。     

用于分类的支持向量机

支持向量机是20世纪90年代中期发展起来的机器学习技术,建立在结构风险最小化原理之上的支持向量机以其独有的优点吸引着广大研究者,该文着重于用于分类的支持向量机,对其基本原理与主要的训练算法进行介绍,并对其用途作了一定的探索．