鲁棒的加权孪生支持向量机

基于局部信息的加权孪生支持向量机(WLTSVM)借用类内及类间近邻图分别表示类内样本的紧凑性和类间样本的分散性,克服孪生支持向量机(TWSVM)欠考虑训练样本间相似性的缺陷,并且在一定程度上降低二次规划求解的计算复杂度。然而,WLTSVM仍不能充分刻画类内样本潜在的局部几何结构,并且存在对噪声点敏感的风险。基于以上不足,提出一种鲁棒的加权孪生支持向量机(RWTSVM)。与WLTSVM相比,RWTSVM的优势在于:选用热核函数定义类内近邻图权值矩阵,可以更好地刻画类内样本潜在的局部几何结构及蕴含的鉴别信息;用类间近邻图选取边界点,同时结合类内近邻图使得超平面远离边界点中权重较大的样本,降低算法对噪声点敏感的风险。人造数据集和真实数据集上的测试结果验证算法RWTSVM的有效性。     

基于支持向量机的不平衡样本集分类算法

提出基于支持向量机的不平衡样本集分类算法,以支持向量机为基础,利用重采样技术及特征子空间等相关理论,通过分层抽样方法和重采样技术,分别对不平衡数据集的样本底层特征和样本数量进行平衡,在不同数据集上进行实验,实验表明该方法能有效提高不平衡数据分类的准确度.     

样本属性重要度的支持向量机方法

支持向量机(SVM)是一种新的机器学习方法,已经广泛应用于模式识别和函数估计等问题中.针对现有的加权支持向量机(WSVM)和模糊支持向量机(FSVM)只考虑样本重要性而没有考虑属性重要性对分类结果的影响的缺陷,提出了基于样本属性重要度的支持向量机方法,该方法首先利用信息论中的信息增益技术计算各个样本特征属性对分类属性的重要度,然后对所有样本的同一特征属性的值分别用对应的属性重要度进行加权,最后所得数据集用于训练和测试SVM.数值实验的结果表明,该方法提高了分类器的分类精度.     

一种改进的加权支持向量机

根据支持向量样本、边界向量样本、噪声样本、中心距离比值、百分位数和加权系数之间的关系,提出了基于中心距离比值的加权支持向量分类机,有效地处理了支持向量样本对加权系数的影响,并能够应用于非均衡数据和噪声数据,从而提高了加权支持向量机的分类能力.     

低阶数据映射和特征加权的线性SVM

针对传统线性支持向量机在训练数据集时均等对待每一维输入特征,以及在原始空间直接分类造成预测准确率低的问题,提出低阶多项式数据映射和特征加权相结合的方法,来提高线性支持向量机的分类性能。该方法首先将每个样本映射到多项式核对应的2 阶显式特征空间,从而增加样本的隐性信息,然后使用模糊熵特征加权算法计算每一维特征的权重,通过权重衡量特征对分类结果的贡献大小。从不同数据库选取7个数据集进行测试,在训练时间和预测准确率2个方面将该方法与核支持向量机、线性支持向量机的其他改进算法进行比较。结果显示,随着数据集规模的扩大,训练时间降低一个数量级,预测准确率在一些数据集上取得与核支持向量机相接近的效果。结果表明：所提方法可以有效提高线性支持向量机的整体性能。     

最小二乘支持向量机鲁棒回归算法研究

最小二乘支持向量机因模型学习过程中以二次损失函数为经验风险,造成学习结果对噪声特别敏感。鉴于实际问题中噪声不可避免、不可预测,且分布规律难寻,该文主要研究最小二乘支持向量机的鲁棒性增强算法,以提高其抵抗噪声与异常值的能力。通过分析得知,样本的局部异常因子与噪声大小间具有很大的相关性,因此提出了用于非线性回归问题的局部异常因子概念;并将其应用于最小二乘支持向量机模型学习时最优损失函数的确定中,提出了基于样本局部异常因子的直接加权最小二乘支持向量机鲁棒回归算法。为验证所提出算法的性能,该文最后以2个典型非线性对象为例,将其与原最小二乘支持向量机、文献中已有的基于预估噪声分布的加权最小二乘支持向量机进行了对比。对比结果表明,所提出的直接加权最小二乘支持向量机算法具有更好的鲁棒性。     

一种基于动态类中心模型选择的模糊支持向量机

模糊支持向量机的核心思想是赋予样本模糊隶属度,给每个样本以不同的权重,从而克服标准支持向量机对噪声和异常点敏感的问题.现有的模糊支持向量机算法通常以样本与类中心距离为基础,给每个样本赋予一个固定的隶属度,没有根据样本分布对隶属度做进一步修正.提出了一种新的动态方式赋予样本隶属度,利用萤火虫算法不断地更新样本中心的位置和隶属度函数,同时利用粒子群算法优化模糊支持向量机参数.在UCI数据集上的实验结果表明,该算法可以有效减少噪声和野点对超平面的影响,分类性能要优于几类常用的模糊支持向量机算法.     

一种新型加权支持向量回归机

与统计学习理论结合,并把数据样本映射到高维空间,有时标准支持向量回归机运算速度和精度不理想.针对线性不可分的情况,在支持向量回归机目标函数中增加两个平方松弛项,这样可以减少两个约束条件.每个松弛项赋予不同的加权系数,可根据实际需要调节它们的权重.这种新算法称为新型加权支持向量回归机(weighted support vector regression machine,WSVRM),并把它用于函数逼近.实验结果表明,所提出的新型加权支持向量回归机具有良好的函数估计能力和数据预测能力.     

适用于加权样本集处理的加权支持向量机方法

为了处理模式识别问题中具有加权信息的样本集,提出一种加权支持向量机(weighted support vector machine,WSVM)算法,并对算法进行了理论分析.通过引入样本与超平面加权距离的概念,使得WSVM算法可以对样本的权值信息进行有效处理.针对未明确给出权值分布的样本集,提出一种基于类间中心距离确定权值的经验方法,对加权支持向量机算法采用交叉验证技术在人工及真实数据上进行了仿真,结果表明,加权支持向量机比标准支持向量机具有更小的误识率和更好的稳定性.     

基于特征加权的FSVM在低信噪比语音识别中的应用

模糊支持向量机(FSVM)赋予每个样本一个模糊隶属度,优化了最优分类面,具有好的抗噪性。为提高低信噪比条件下的语音识别准确率,减小传统支持向量机(SVM)中噪声样本对分类精度造成的影响,首先将模糊支持向量机(FSVM)应用于语音识别系统中的识别网络。在此模型的基础上,考虑到语音样本各维特征的影响,计算各维特征的信息增益作为对分类的重要程度,依据此重要程度确定对各维特征的加权系数,构造加权核函数。为了减小一对一分类模式下的时间复杂度,引入了三叉决策树策略。在仿真实验中,采用韩语语料库的耳蜗滤波器倒谱系数(CFCC)作为实验数据,实验结果表明,在低信噪比语音识别中,特征加权模糊支持向量机(FWFSVM)比传统的SVM具有更好的鲁棒性。     

四类基于支持向量机的多类分类器的性能比较

本文通过UCI数据库中的五个数据集,从分类准确性和运行时间两个方面,比较了四类基于支持向量机的多类分类器——多类支持向量机(MSVM),多元双生支持向量机(MTSVM),多生支持向量机(MBSVM)以及多元支持向量分类回归机(MSVCR)的性能.实验结果表明,MTSVM和MBSVM比MSVM和MSVCR更有效.     

核PCA支持向量机算法研究

在核函数基础上,提出了一种融合支持向量机和核主元分析的核PCA支持向量机综合集成分类方法,给出了算法实现步骤。仿真实验表明了该算法具有很好的分类性能,特别适合于消除噪声情形的模式识别问题。     

Hyperbolic Tangent Support Vector Machine

By utilizing hyperbolic tangent function,we constructed a novel hyperbolic tangent loss function to reduce the influences of outliers on support vector machine (SVM) classification problem.The new lass fuinction not only limits the maximal loss value of outliers but also is smooth.Hyperbolic tangent SVM (HTSVM) is then proposed based on the new loss function.The experimental results show that HTSVM reduces the effects of outliers and gives better generalization performance than the classical SVM on both artificial data and UCI data sets.Therefore,the proposed hyperbolic tangent loss faction and HTSVM are both effective.     

基于局部密度比的模糊隶属度设置算法

基于知识发现中的局部异常因子思想, 提出一种基于局部密度比的模糊隶属度设置算法, 该算法根据样本的邻域密度比设置样本的隶属度, 并采用一种单参数选择策略. 数值实验表明, 所提出的算法在带噪声的非线性函数估计方面具有很好的鲁棒性, 有效地解决了模糊支持向量机中的模糊隶属度设置问题, 对处理带噪声的分类和非线性函数估计问题具有重要的意义.     

基于矢量基学习的自适应迭代最小二乘支持向量机回归算法

为增强最小二乘支持向量机(LS-SVM)回归建模的稀疏性、鲁棒性和实时性,在加权LS-SVM的基础上,提出了基于矢量基学习的自适应迭代回归算法。在训练过程中,该算法通过矢量基学习和自适应迭代相结合的方法得到1个小的支持向量集,同时采用加权方法确定权值以减小训练样本中非高斯噪声的影响。回归学习和动态系统辩识的仿真结果表明:在回归建模精度相似的情况下,该算法确定的支持向量为全部学习样本的4.9%~8.9%,训练时间为标准LS-SVM的0.011%~0.383%;由于能够鲁棒跟踪时变非线性系统的动态特性,适合在线实时训练;可进一步用于非线性系统的建模和实时控制研究。     

交叉验证KNN支持向量预选取算法在说话人识别上的应用

针对传统支持向量机算法时空复杂度较高的不足,提出了一种基于交叉验证KNN的支持向量预选取算法。该算法首先对原始样本求k个的邻近样本,然后计算邻近样本中异类样本的比例p1,最后选取满足p1大于阈值p的原始样本作为支持向量。通过交叉验证方法确定k与p的最合适的数值。在UCI标准数据集和说话人识别数据集上的仿真实验显示算法可有效地降低支持向量机分类器的运行时间,同时又具有较好的分类性能。     

基于改进自适应粒子群算法的混合核函数最小二乘支持向量机大坝变形预测

针对大坝变形影响因素的复杂性以及监测数据的非线性、随机波动大和预测难度大等问题,提出一种改进自适应粒子群(particle swarm,PSO)算法的混合核函数最小二乘支持向量机(least squares support vector machine,LSSVM)模型,实现了大坝水平变形的时间序列预测方法.基于Mercer理论,将多项式核函数和高斯核函数进行线性组合,构建混合核函数,作为LSSVM模型的核函数,并以特征因子与大坝变形间的相互联系为基础,采用动态自适应惯性权重的PSO算法,对混合核函数的LSSVM模型进行参数寻优,以确保建立最佳LSSVM预测模型.将模型应用于丰满大坝,并与传统多项式核函数和传统高斯核函数的LSSVM模型进行对比仿真实验,对所提方法的有效性和准确性进行验证评估.结果表明,该模型在预测精度上有了明显提高,预测性能尤佳.可见改进自适应粒子群的混合核函数LSSVM模型对大坝变形的时间序列预测有良好的实用价值.     

直觉模糊最小二乘支持向量机

将直觉模糊集的相关理论引入到最小二乘支持向量机中, 建立了直觉模糊最小二乘支持向量机的数学模型, 并对模型的求解过程进行推导. 为验证该算法的有效性, 在人工数据集和标准数据集上进行仿真实验. 实验结果表明, 直觉模糊最小二乘支持向量机算法可降低分类时样本中噪声和野点对分类效果的影响.     

一种改进的LSTSVM增量学习算法

基于Sherman Morrison定理和迭代算法, 提出一种改进最小二乘孪生支持向量机（SMI ILSTSVM）的增量学习算法, 解决了最小二乘孪生支持向量机（LSTSVM）不具备结构风险最小化和稀疏性的问题. 实验结果表明, 该算法分类精度和效率均较高, 适用于含有噪声的交叉样本集分类.