基于不确定性采样的自训练代价敏感支持向量机研究

针对样本集中的类不平衡性和样本标注代价昂贵问题,提出基于不确定性采样的自训练代价敏感支持向量机.不确定性采样通过支持向量数据描述评价未标注样本的不确定性,对不确定性高的未标注样本进行标注,同时利用自训练方法训练代价敏感支持向量,代价敏感支持向量机利用代价参数和核参数对未标注样本进行预测.实验结果表明:该算法能有效地降低平均期望误分类代价,减少样本集中样本需要标注次数.     

自训练半监督加权球结构支持向量机多分类方法

针对自训练半监督支持向量机算法中的低效问题,采用加权球结构支持向量机代替传统支持向量机,提出自训练半监督加权球结构支持向量机。传统支持向量机需要求解二次凸规划问题,在处理大规模数据时会消耗大量存储空间和计算时间,特别是在多分类问题上更加困难。利用球结构支持向量机进行多类别分类,大大缩短了训练时间,降低了算法复杂度。球结构支持向量机在不同类别样本数目不均衡时训练分类错误倾向于样本数目较小的类别,通过权值的引入,降低了球结构支持向量机对样本不均衡的敏感性,补偿了类别差异对算法推广性能造成的不利影响。在人工数据集和UCI(university of california irvine)数据集上的实验结果表明,该方法对有标记样本的鲁棒性较好,不仅能够提高效率,且分类精度也有显著提高。     

支持向量机在线增量学习算法的MATLAB实现

基于支持向量机在线训练理论,采用MATLAB工具实现了一种在线增量学习算法。该实现方法调用LIBSVM工具包分类器训练函数和样本识别函数,将不能识别的样本作为增量数据重新训练分类器。设计的增量训练用户图形界面系统应用于手写数字的识别,结果表明了实现方法的正确性和有效性,并论证了增量训练能在兼顾新样本出现的情况下提高训练速度,提升手写数字识别的准确率。     

一种基于组合保留集的SVM增量学习算法

传统的支持向量机(Support Vector Machine,SVM)分类算法不具有增量学习能力,为了减少新增样本加入后重新训练的时间并能适应海量数据的准确分类,提出了一种基于组合保留集的SVM增量学习算法.该算法以构建保留集为基础,采用缩放平移选择法选择样本,且利用了组合保留的思想,对原训练集样本和增量样本集中满足KKT(Karush-Kuhn-Tucker)条件的样本分别进行部分保留,并赋予样本权重,再依据权重挑选部分保留样本与原支持向量集和增量样本中违背KKT条件的样本合并进行训练,从而实现原有样本知识的积累和新样本知识的学习.实验结果表明,该算法在加快分类速度的同时提高了分类精度.     

基于SVC算法的SVM工作集优选法

工作集的规模很大时,支持向量机的学习过程需要占用大量的内存,寻优速度很慢.文中提出一种基于支持向量聚类的工作集优选方法,分别最优化每一类样本集获取支持向量,利用支持向量几何分布特性,筛选后构造工作集.针对样本集不平衡情况,根据每一类支持向量个数对惩罚系数加权的加权优选法解决最优分离超平面偏移问题.该算法所选工作集具有代表性,能大幅度降低学习代价,同时具有较高的分类效率.     

代价敏感多主题学习的邮件过滤算法

针对传统邮件分类模型中较少对邮件主题进行描述和分析的问题,提出一种代价敏感多主题学习的邮件分类算法,用以实现垃圾邮件过滤.首先,基于LDA(潜在狄利克雷分布)对邮件的多个主题进行提取,对邮件语义进行描述;其次,利用CS-SVM(代价敏感支持向量机)对邮件进行代价敏感学习,实现对不同类别邮件的惩罚;最后,结合MI-SVM(多示例支持向量机)进行代价敏感的多主题学习,实现邮件分类.实验采用四组ling-spam处理数据集.实验结果证明:该分类算法较比传统邮件分类算法,可以取得更高的准确性、特异性与敏感性.     

一种新的支持向量机增量学习算法

支持向量机学习算法的本质是从训练集中寻找支持向量,因此能否通过训练算法能快速找出支持向量是衡量支持向量机算法优劣的重要标准.本文提出了一种新的快速训练支持向量机的增量学习算法,首先,给出边界向量的定义,然后,对一个给定的新加人的样本,新的学习方法验证其是否为边界向量,如果是,将其加入到训练集中重新训练支持向量机,如果不是,就舍弃,这样能达到减少训练样本、降低训练复杂性目的,最后,给出了一个增量学习算法.实验表明测试误差和支持向量数量与SMO算法大致相当,而训练速度明显加快.     

一种基于小生境的模糊支持向量机新算法

提出了一种基于小生境的模糊支持向量机新算法,该算法主要是通过对样本小生境与类小生境之间对比,并利用类小生境中样本最小半径来度量样本与类之间的关系,改变传统支持向量机简单使用样本欧氏距离来度量样本与类之间的关系的方法,克服了传统支持向量机算法对噪声和异常点过于敏感以及有效样本区分度差等缺点.实验数据表明,与只使用基于样本与类中心之间距离的传统模糊支持向量机算法相比,该算法提高了算法的收敛速度,且大大增强了包含噪声样本与有效样本的区分度.     

一种新的支持向量机增量算法

分析了增量学习过程中支持向量和非支持向量的转化情况。在此基础上提出一种误分点回溯SVM增量算法,该算法先找出新增样本中被误分的样本,然后在原样本集寻找距误分点最近的样本作为训练集的一部分,重新构建分类器,这样能有效保留样本的分类信息。实验结果表明:该算法比传统的支持向量机增量算法有更高的分类精度。     

基于代价敏感支持向量机的银行信用风险评估模型

支持向量机在处理有限样本、非线性及高维模式识别问题有特殊的优势,但标准的支持向量机不具备代价敏感性,不能直接用于对银行贷款风险评估这种不平衡数据集进行分类。本文提出一种利用熵值法来构筑代价敏感支持向量机的方法,实验结果表明该方法对银行信用风险评估具有较好的效果。     

一种基于距离比值的支持向量机增量训练算法

由于支持向量机具有较好地学习性能和泛化能力,目前已经得到了广泛的应用。如何使支持向量机进行有效的增量学习是目前支持向量机应用中需要解决的问题。深入研究了支持向量分布特点,提出了一种新的支持向量机增量训练淘汰机制——距离比值算法。该算法根据遗忘规则,设定一个合适的参数,按距离比值法中的定义计算各个样本中心距离与其到最优分类面距离的比值,舍弃对后续训练影响不大的样本,即可对训练数据进行有效的淘汰。对标准数据集的实验结果表明,使用该方法进行增量训练在保证分类精度的同时,能有效地提高训练速度。     

基于支撑向量机在线学习方法的短期负荷预测

提出了基于支撑向量机在线学习方法的短期负荷预测,该方法克服了传统的支撑向量机负荷预测当训练样本集合改变时为了保证预测精度必需重新进行训练来得到新的回归函数的缺点.充分利用支撑向量机解的稀疏性和前一次的训练结果,提出了递增和递减算法,直接修改原有回归函数的系数来得到新回归函数.实例计算表明,该方法与传统支撑向量机方法相比,具有计算速度快,推广能力强的显著特点,在相同预测精度下,计算速度提高了近两个数量级.     

低阶数据映射和特征加权的线性SVM

针对传统线性支持向量机在训练数据集时均等对待每一维输入特征,以及在原始空间直接分类造成预测准确率低的问题,提出低阶多项式数据映射和特征加权相结合的方法,来提高线性支持向量机的分类性能。该方法首先将每个样本映射到多项式核对应的2 阶显式特征空间,从而增加样本的隐性信息,然后使用模糊熵特征加权算法计算每一维特征的权重,通过权重衡量特征对分类结果的贡献大小。从不同数据库选取7个数据集进行测试,在训练时间和预测准确率2个方面将该方法与核支持向量机、线性支持向量机的其他改进算法进行比较。结果显示,随着数据集规模的扩大,训练时间降低一个数量级,预测准确率在一些数据集上取得与核支持向量机相接近的效果。结果表明：所提方法可以有效提高线性支持向量机的整体性能。     

代价敏感的直推式支持向量机算法

针对不均衡数据集下分类超平面偏移导致直推式支持向量机样本标记准确率低的问题,结合动态代价和TSVM算法,提出一种代价敏感的TSVM算法,该算法依据类样本的空间分布信息计算类错分代价,利用KKT条件选择对当前分类超平面有影响的样本加入下一轮迭代,该算法可以提高初始分类器的分类性能,减少错误的传递和累积,从而提高标注准确率,增强最后分类器的泛化性能.最后在UCI数据集上的实验结果表明该算法在不均衡数据集下的有效性.     

用于不平衡数据分类的模糊支持向量机算法

作为一种有效的机器学习技术,支持向量机已经被成功地应用于各个领域.然而当数据不平衡时,支持向量机会产生次优的分类模型;另一方面,支持向量机算法对数据集中的噪声点和野点非常敏感.为了克服以上不足,提出了一种新的用于不平衡数据分类的模糊支持向量机算法.该算法在设计样本的模糊隶属度函数时,不仅考虑训练样本到其类中心距离,而且考虑样本周围的紧密度.实验结果表明,所提模糊支持向量机算法可以有效地处理不平衡和噪声问题.     

基于增量学习向量SVM方法的图像分割应用

为了解决经典支持向量机方法已发现的执行时间长、执行效率低的相关问题,提出基于增量学习向量的支持向量机学习方法。该算法通过对训练样本集合的相关增量学习向量进行训练学习来得到初始支持向量机分类器。利用该初始化分类器在有关条件下针对初始训练样本集进行缩减得到精简缩小集,再应用精简缩小集针对初始支持向量机的分类器反向加工来得到支持向量机的最终分类器。该算法可大幅度降低大容量数据集上支持向量机的学习时间,并且具有很好的泛化能力。为了验证本学习方法的可应用性,从Berkeley图像分割数据集BSDS500和互联网上选取相关彩色图像进行仿真实验。该文实验结果表明:该方法得到分割结果的过程不仅比传统支持向量机耗时少,且与Berkeley图像分割数据集中人工标注结果比较得到较好分割效果。     

基于增量学习向量SVM方法的图像分割应用

为了解决经典支持向量机方法已发现的执行时间长、执行效率低的相关问题,提出基于增量学习向量的支持向量机学习方法。该算法通过对训练样本集合的相关增量学习向量进行训练学习来得到初始支持向量机分类器。利用该初始化分类器在有关条件下针对初始训练样本集进行缩减得到精简缩小集,再应用精简缩小集针对初始支持向量机的分类器反向加工来得到支持向量机的最终分类器。该算法可大幅度降低大容量数据集上支持向量机的学习时间,并且具有很好的泛化能力。为了验证本学习方法的可应用性,从Berkeley图像分割数据集BSDS500和互联网上选取相关彩色图像进行仿真实验。该文实验结果表明:该方法得到分割结果的过程不仅比传统支持向量机耗时少,且与Berkeley图像分割数据集中人工标注结果比较得到较好分割效果。     

基于支持向量回归的增量学习算法

提出了一种基于支持向量回归的增量学习算法,该算法在增量学习中除了考虑原训练集中的支持向量(SVs)外,还考虑了非SVs与ε-带(-iεnsensitive zone)的边界距离较近的样本,并将这些样本与新的训练集一起训练.试验结果表明,与传统的支持向量机增量学习算法相比,此算法提高了训练精度;与经典的SVR相比,此算法大大节约了训练时间,是一种行之有效的增量学习算法.     

基于自适应权值的SVM集成学习方法

提出一种自适应权值的支持向量机集成学习方法。该方法以Bagging方法为基础,结合部分AdaBoost算法权值更新的思想,给各个子分类器赋予权值,同时结合支持向量机本身的特性,对训练数据进行选择,加大训练样本的差异性。相比较传统的Bagging方法,结合SVM的特性来更有针对性的训练错分样本。文中使用4个UCI数据集进行对比实验,结果表明本文算法相比较传统的Bagging算法可以在一定程度上提高分类器的泛化能力。     

一种用于RBF神经网络的支持向量机与BP的混合学习算法

基于支持向量机与径向基(RBF)神经网络在结构上的相似性,提出了一种用于RBF网络的支持向量机与BP的混合学习算法．算法分为2步：首先采用序贯最小优化算法学习训练支持向量机,得到RBF网络较优的初始结构和参数;随后由BP算法调整优化RBF网络参数．混合学习算法结合了支持向量机小样本学习、学习训练快捷以及BP算法在线修改网络参数的特点．仿真研究表明,混合学习算法学习效率高,网络性能优良,应用于函数逼近时效果优良．