倾斜数据集的分界修剪支持向量机

倾斜数据集在实际应用中具有很高的价值,同时也是数据挖掘中的难点和热点,因而得到越来越多的研究者的关注。通过给出的一种改进的支持向量机—DP-SVM,首先对数据集进行预处理、分类,再对它们采取相应的操作;然后根据混叠数据集中样本的k个最近邻的类别,并结合波动大小与其相应类限定值的关系,对该样本点做相应的处理;最后根据副类支持向量与主类样本数量之间的关系,决定对副类支持向量采取何种修剪策略,训练得到其分类器。提出的分界修剪支持向量机由消除分类边界混叠与支持向量修剪两个主要处理部件构成,并通过这两个处理部件实现对分类边界混叠数据的判别及两类支持向量的修剪。实验结果表明,DP-SVM是一种能够较好地解决倾斜数据集分类边界混叠问题的有效方法。     

基于边界支持向量的自适应增量支持向量机

该文提出一种基于边界支持向量的自适应增量支持向量机,对每轮训练的样本集提取其边界支持向量,从而减少训练向量数目,提高训练效率.通过自适应调整参数,可以更好地适应新增样本.采用UCI(University of California Irvine)机器学习数据库和Statlog数据库对本文方法进行验证,实验结果表明本文方法的训练时间优于标准支持向量机和一般增量支持向量机.其分类精度也明显优于一般增量支持向量机,在训练数据较少时,其分类精度与标准支持向量机相差不大,但随着训练数据的增加,分类精度逐渐超越标准支持向量机.该文的方法更适合大规模数据集的增量学习.     

一种改进的加权支持向量机

根据支持向量样本、边界向量样本、噪声样本、中心距离比值、百分位数和加权系数之间的关系,提出了基于中心距离比值的加权支持向量分类机,有效地处理了支持向量样本对加权系数的影响,并能够应用于非均衡数据和噪声数据,从而提高了加权支持向量机的分类能力.     

基于相对距离的加权支持向量机

根据支持向量样本、边界向量样本、相对距离和加权系数之间的关系,提出了基于相对距离的加权支持向量机.利用相对距离表示了每个样本的重要性.并构造函数计算出每个样本点的加权系数,体现了支持向量对加权系数的影响,并且有效地处理非均衡数据对分类的影响,从而提高了支持向量机的训练速度和分类能力.     

基于支持向量机的故障诊断方法

提出了基于支持向量机的故障诊断方法和步骤。诊断实例表明,与神经网络故障诊断方法相比,诊断小样本分析的支持向量机故障诊断方法具有分类能力强、推广能力好的特点。     

改进的邻域支持向量解算法

针对实施邻域风险最小化原则的邻域支持向量解算法,根据被错分样本一定是支持向量提出一种利用支持向量删除训练样本中难学习样本的修剪算法;依据最大似然原则对已有的高斯邻域函数参数取值方法进行改进.初步实验表明,训练样本的修剪与邻域函数参数取值方法的改进可明显提高邻域支持向量解算法的泛化能力,比SVM测试准确率提高0.5%左右.     

一种改进的模糊支持向量机隶属度确定方法

为了克服支持向量机方法对于噪声或异常样本敏感的问题,本文研究基于粗糙集理论的粗糙单类支持向量机,提出一种改进的模糊支持向量机隶属度确定方法.该算法首先利用粗糙集思想构造一个最小粗糙球,分别得到对应粗糙球的上近似、下近似与边界区域,然后依据样本在超球中的位置对分布在下近似、边界域和粗糙球以外的样本,分别采用三种不同的方式...     

加权支持向量机求解路径算法研究

针对不同训练样本重要性的差异对模型推广能力的影响,提出了对各个样本的误差惩罚参数赋予不同权重的加权支持向量机求解路径算法.根据样本重要性的不同,利用分段线性插值得到加权系数,并通过加权系数调整求解路径,从而改变不同样本在回归模型中的作用.采用支持向量机加权求解路径算法对圆柱壳结构在不同边界条件下的时、频域响应数据进行预测,训练样本的重要性通过与测试样本的欧式距离来表达,结果显示所提算法可减小位移响应在多个评价指标下的预测误差,提高支持向量回归机的推广能力.该方法同样适用于其他求解路径算法,如λ-路径算法和ν-支持向量回归路径算法.     

基于PSO参数辨识SVM的中长期径流预测研究

以径向基函数作为核函数,利用微粒群(PSO)算法的全局寻优特性进行支持向量机(SVM)的参数辩识.在微粒群搜索参数前,先对参数进行指数变换,使[0,1]和[1,∞]有着相同的搜索概率.微粒群算法的适应值函数是以支持向量机模型的推广能力为标准的,讨论了测试样本的最小误差和留一法对支持向量机学习方法推广能力的两种估计.最后...     

适用于大数据的最小二乘半监督支持向量机

为了有效地利用大数据中的无类别标签样本,将最小二乘支持向量机的思想和方法运用到半监督学习中,利用有类别标签和无类别标签样本构造支持向量机模型,通过Lagrange数乘法将其转化为一个线性规划问题,得到了一种适用于大数据的最小二乘半监督支持向量机.该算法有效地提高了支持向量机的测试准确率,具有较好的推广能力.     

一种基于信息熵数据修剪的支持向量机:EB-SVM

支持向量机在处理分类问题时,如果两类数据重叠严重会造成分类器过学习,降低泛化性能。为此提出了一种基于信息熵的数据修剪支持向量机EB-SVM(entropy based-support vector machine),其主要思想是通过计算样例信息熵删除部分边缘数据和边界处混淆程度较高的样例以及噪声数据,用较少的训练样例学习SVM分类器。实验结果表明,该方法能够有效提高SVM的泛化性能。     

H-SVMs的构造方法

通过推导H-SVMs推广能力的模型,得出H-SVMs的推广能力与样本类别数、空间分布、容量、树结构等有关,且保证高优先级结点的推广性能是提高H-SVMs性能的有效途径。根据分析结果,提出了一种基于SVM最大间隔分类、最小间隔聚类构造H-SVMs的新方法。利用SVM的分类间隔作为分类、聚类指标,通过Top-down和Bottom-up两种途径混合构造H-SVMs,其中,最大间隔分类采用Top-down策略,在各结点依次选择最大间隔的SVM,将输入样本按类别分为2类;最小间隔聚类采用Bottom-up策略,在各结点依次选择最小间隔的SVM,将输入样本按类别两两聚类。从UCI数据库中选取多类数据进行测试,实验结果验证了该方法的有效性,说明所构造的H-SVMs具有较好的、稳定的推广性能。     

关联规则挖掘的一种多剪枝概念格方法

多数据源上关联规则挖掘方法,由于各数据节点间相互通信的候选项集数目过于庞大或者挖掘过程需要对数据库进行多次扫描,导致挖掘算法效率不高。研究剪枝概念格(pruned con-cept laffice,PCL)中概念与频繁项集表示关系,定义剪枝格上的导出频繁项集,设计了一个利用多剪枝概念格从多数据源上挖掘近似所有关联规则的算法UMPCL(union algorithm of multiplepruned concept lattice)。利用一个频繁概念表示一些频繁项集以减少挖掘过程中产生的侯选项集数,使用与全局支持度相等的局部支持度对各子概念格进行剪枝,最后融合、剪枝各子剪枝格并提取全局关联规则。理论分析和实验验证表明该算法是有效的。     

一种基于ICA的特征Bagging支持向量机集成方法

为提高支持向量机集成的泛化性能,提出一种基于独立成分分析法的特征Bagging支持向量机集成方法,删除了冗余特征.该方法从得到的独立成分特征空间中提取特征子空间,避免了直接从原特征空间中随机选择特征子空间而导致的对特征依赖或相关性的破坏,提高了个体支持向量机的性能,保证了个体支持向量机之间的差异度.在UCI和Stat-Log数据集合上的仿真实验表明,该方法具有更好的泛化性能.     

基于VSV的手写数字分类器

介绍了支持向量机(Support Vector Machine,SVM)的概念和方法,指出通过采用VSV(Virtual SV)方法将不变性常识(Invariance)融合于支持向量机,可提高模型的泛化能力。     

构造特征复杂性减低的支持向量机

支持向量机(SVM)较一般的机器学习方法显示出更好的泛化能力.然而,在实际的数据中经常存在着大量冗余、噪声或者不可靠的特征,这严重影响到SVM的性能.因此,有必要减低特征复杂性以获取更好的SVM结果.本文提出了一种基于遗传算法(GA)的嵌入式框架下的特征优化算法,以构造改进SVM.针对选择的UCI成人数据库的实验表明,与原始的SVM相比,提出的改进SVM方法获得了更少的支持向量数目和更好的分类精度.     

基于主成份分析的Bagging集成学习方法

机器学习中数据集的冗余特征会影响学习器的泛化能力，一些流行方法如支持向量机和集成学习也难免于此．研究了利用主成份分析进行特征变换对Bagging集成学习算法的影响，提出一种称为PCA—Bagging的算法，并与其它算法比如单个支持向量机、支持向量机Bagging集成、带有特征变换的单个支持向量机等进行了性能比较．在多个UCI标准数据集上的实验表明PCA—Bagging算法具有更好的性能，这说明即使是泛化能力很强的集成学习方法其学习的数据也需要进行适当的特征变换。     

基于免疫模糊聚类的LSSVM在短期负荷预测中的应用

最小二乘支持向量机(least square support vector machines,LSSVM)在解决小样本、非线性和高维度问题中表现出许多特有的优势.但是,如果输入的训练数据本身存在着大量的噪声和冗余,LSSVM在训练数据时会因抑制它们而削弱本身的推广能力,结构风险无法达到最小化,从而导致收敛速度慢、预测精度不高等缺点.提出了一种基于免疫模糊聚类(immune fuzzy clustering,IFC)的最小二乘支持向量机预测模型,运用免疫模糊聚类算法对历史数据进行预处理,从聚类后的数据提取LSSVM的训练样本,从而提高训练速度和预测精度,克服LSSVM的上述缺点.最后,将该模型运用到短期电力负荷预测中,与经典的SVM和BP神经网络相比具有更好的泛化性能和预测精度.