基于pinball损失的一对一加权孪生支持向量机

孪生支持向量机通过求解2个较小二次规划问题得到一对非平行超平面,从时间和准确率方面提高了分类器的性能.由于此方法使用Hinge损失函数,造成孪生支持向量机对噪声较为敏感以及重采样的不稳定.为此,针对多分类问题,将pinball损失函数与样本权重引入到孪生支持向量机中,采用一对一方法组合二分类器,提出了基于pinball损失的一对一加权孪生支持向量机,较好地解决了孪生支持向量机对噪声的敏感性以及重采样的不稳定性.另外,对于样本的不同影响,给出了多种求取样本权重的方法.实验中选取标准数据集和人工合成数据集对提出的算法进行了验证,并与一对一孪生支持向量机(OVO-TWSVM)、一对多孪生支持向量机(OVA-TWSVM)以及基于pinball损失的一对一加权孪生支持向量机(Pin-OVO-TWSVM)进行了比较,表明了提出方法的有效性.     

最小二乘支持向量机鲁棒回归算法研究

最小二乘支持向量机因模型学习过程中以二次损失函数为经验风险,造成学习结果对噪声特别敏感。鉴于实际问题中噪声不可避免、不可预测,且分布规律难寻,该文主要研究最小二乘支持向量机的鲁棒性增强算法,以提高其抵抗噪声与异常值的能力。通过分析得知,样本的局部异常因子与噪声大小间具有很大的相关性,因此提出了用于非线性回归问题的局部异常因子概念;并将其应用于最小二乘支持向量机模型学习时最优损失函数的确定中,提出了基于样本局部异常因子的直接加权最小二乘支持向量机鲁棒回归算法。为验证所提出算法的性能,该文最后以2个典型非线性对象为例,将其与原最小二乘支持向量机、文献中已有的基于预估噪声分布的加权最小二乘支持向量机进行了对比。对比结果表明,所提出的直接加权最小二乘支持向量机算法具有更好的鲁棒性。     

基于密度的稀疏最小二乘支持向量机

针对最小二乘支持向量机对训练样本内噪声比较敏感和其稀疏性差的问题,提出基于密度k-近邻向量的训练样本裁剪算法。对训练样本的各个样本类进行聚类,删除噪声数据,提高支持向量机的训练精度。通过计算出每个样本类的平均相似度和平均密度,得到样本的类相似度阈值;根据相似度阈值,将小于类相似度阈值的样本进行合并,减少训练样本总数。实验结果表明,该算法在保证训练精度的情况下,减少了支持向量数目。     

基于SVM分类的边缘提取算法

通过分析同类数据点在空间中的几何形态,从数据点集所构成几何形态的凹凸性着手,提出边界提取算法并对高维数据进行分类。针对现实生活中的高维数据,利用局部线性嵌入将数据进行降维处理,得到低维特征数据。在此基础上,对于单分类数据集,用数据集表面的点的近邻样本与过该点的切平面之间的关系寻找边界点;对于多分类数据集,利用贝叶斯后验概率来寻找边界重复的点,以此更快达到提取边界点的目的。由此可以粗略筛选出边界点。为去除不重要的边界点,降低分类误差,通过构造最优超平面和支持向量机对边界点赋予权重,并设置阈值去除不重要的边界点,由此达到用较少的边界点准确分类数据的目的。通过100个测试样本进行分类测试并计算其分类准确率,验证了此分类方法的可行性。     

一种改进的LSTSVM增量学习算法

基于Sherman Morrison定理和迭代算法, 提出一种改进最小二乘孪生支持向量机（SMI ILSTSVM）的增量学习算法, 解决了最小二乘孪生支持向量机（LSTSVM）不具备结构风险最小化和稀疏性的问题. 实验结果表明, 该算法分类精度和效率均较高, 适用于含有噪声的交叉样本集分类.     

基于改进FSVM的数据挖掘分类算法

针对模糊支持向量机(FSVM)应用于数据挖掘分类中存在对大样本集训练速度慢以及对噪声点敏感影响分类正确率的问题,提出一种基于改进FSVM的数据挖掘分类算法.该算法首先预选有效的候选支持向量,减小训练样本数目,提高训练速度;其次定义一种新的隶属度函数,增强支持向量对构建模糊支持向量机的作用;最后将近邻样本密度应用于隶属度函数设计,降低噪声点或野值点对分类的影响提高分类正确率.实验结果表明,该算法在训练样本数目较大时训练速度和分类正确率都有提高.     

适用于加权样本集处理的加权支持向量机方法

为了处理模式识别问题中具有加权信息的样本集,提出一种加权支持向量机(weighted support vector machine,WSVM)算法,并对算法进行了理论分析.通过引入样本与超平面加权距离的概念,使得WSVM算法可以对样本的权值信息进行有效处理.针对未明确给出权值分布的样本集,提出一种基于类间中心距离确定权值的经验方法,对加权支持向量机算法采用交叉验证技术在人工及真实数据上进行了仿真,结果表明,加权支持向量机比标准支持向量机具有更小的误识率和更好的稳定性.     

一种新的分类方法——属性均值聚类属性支持向量机(AMC-ASVM)

在属性均值聚类(AMC)与支持向量机(SVM)的基础上,提出了一个新的模式分类算法——基于(属性)聚类的属性支持向量机算法(AMC-ASVM)。主要思想是利用属性均值聚类网络得到的具有概率信息(权重)的样本,来训练属性支持向量机,从而得到分类器。这种方法结合了属性聚类的稳定性与属性支持向量机可以利用加权样本的优点,适合处理具有强噪声的数据。另外,该方法也可以看作是堆近邻分类法的自然推广。在实验部分,将其用于结肠癌基因表达数据的处理。实验结果显示了AMC-ASVM在一定程度上优于最近邻,Boosting,堆近邻,SVM等方法。     

一种新的分类方法——属性均值聚类属性支持向量机(AMC-ASVM)

在属性均值聚类(AMC)与支持向量机(SVM)的基础上,提出了一个新的模式分类算法——基于(属性)聚类的属性支持向量机算法(AMC-ASVM)。主要思想是利用属性均值聚类网络得到的具有概率信息(权重)的样本,来训练属性支持向量机,从而得到分类器。这种方法结合了属性聚类的稳定性与属性支持向量机可以利用加权样本的优点,适合处理具有强噪声的数据。另外,该方法也可以看作是堆近邻分类法的自然推广。在实验部分,将其用于结肠癌基因表达数据的处理。实验结果显示了AMC-ASVM在一定程度上优于最近邻, Boosting, 堆近邻, SVM等方法。     

基于SVC算法的SVM工作集优选法

工作集的规模很大时,支持向量机的学习过程需要占用大量的内存,寻优速度很慢.文中提出一种基于支持向量聚类的工作集优选方法,分别最优化每一类样本集获取支持向量,利用支持向量几何分布特性,筛选后构造工作集.针对样本集不平衡情况,根据每一类支持向量个数对惩罚系数加权的加权优选法解决最优分离超平面偏移问题.该算法所选工作集具有代表性,能大幅度降低学习代价,同时具有较高的分类效率.     

Fisher正则化的最小二乘孪生支持向量机

最小二乘孪生支持向量机是一种有效的模式分类算法,然而每一个训练样本都对最终的决策平面有影响。如果训练集含有噪声或异常点,其会过度关注这些点,这可能导致最小二乘孪生支持向量机的判别能力较差。为了解决这个问题,受Fisher准则思想的启发,本文引入了双Fisher正则化项,并在此基础上提出了Fisher正则化的最小二乘孪生支持向量机。同时,在人工数据集和UCI数据集上验证了所提算法的有效性。     

一种基于小生境的模糊支持向量机新算法

提出了一种基于小生境的模糊支持向量机新算法,该算法主要是通过对样本小生境与类小生境之间对比,并利用类小生境中样本最小半径来度量样本与类之间的关系,改变传统支持向量机简单使用样本欧氏距离来度量样本与类之间的关系的方法,克服了传统支持向量机算法对噪声和异常点过于敏感以及有效样本区分度差等缺点.实验数据表明,与只使用基于样本与类中心之间距离的传统模糊支持向量机算法相比,该算法提高了算法的收敛速度,且大大增强了包含噪声样本与有效样本的区分度.     

用于不平衡数据分类的模糊支持向量机算法

作为一种有效的机器学习技术,支持向量机已经被成功地应用于各个领域.然而当数据不平衡时,支持向量机会产生次优的分类模型;另一方面,支持向量机算法对数据集中的噪声点和野点非常敏感.为了克服以上不足,提出了一种新的用于不平衡数据分类的模糊支持向量机算法.该算法在设计样本的模糊隶属度函数时,不仅考虑训练样本到其类中心距离,而且考虑样本周围的紧密度.实验结果表明,所提模糊支持向量机算法可以有效地处理不平衡和噪声问题.     

一种基于动态类中心模型选择的模糊支持向量机

模糊支持向量机的核心思想是赋予样本模糊隶属度,给每个样本以不同的权重,从而克服标准支持向量机对噪声和异常点敏感的问题.现有的模糊支持向量机算法通常以样本与类中心距离为基础,给每个样本赋予一个固定的隶属度,没有根据样本分布对隶属度做进一步修正.提出了一种新的动态方式赋予样本隶属度,利用萤火虫算法不断地更新样本中心的位置和隶属度函数,同时利用粒子群算法优化模糊支持向量机参数.在UCI数据集上的实验结果表明,该算法可以有效减少噪声和野点对超平面的影响,分类性能要优于几类常用的模糊支持向量机算法.     

基于支持向量机与k近邻相结合的网络入侵检测研究

针对基于支持向量机算法的网络入侵检测方法,对交错严重的大规模复杂样本集,分类面附近的样本被正确分类可信度低,基于k近邻算法的检测方法测试结果不稳定等问题,提出一种将k近邻与支持向量机相结合的网络入侵检测方法。在分类时,计算待识别的网络连接记录样本与最优分类超平面的距离,如果距离大于预设阀值,采用支持向量机算法对连接记录进行分类,否则采用k近邻法对连接记录进行分类,同时为减少检测方法受样本分布不均衡的影响,采用带权重因子的欧式距离来度量样本间的相似度。最后在KDD99数据集上进行仿真实验,结果表明,相对于单一的支持向量机或k近邻算法的网络入侵检测方法,k近邻与支持向量机相结合的入侵检测方法可以进一步提高网络入侵检测的正确率,是一种较好的网络入侵检测方法。     

基于聚类的鲁棒最小二乘支持向量机

现实数据集通常是呈非线性分布的,虽然很多最小二乘支持向量机算法利用分治策略可以对这一类数据集进行建模,但是由于子模型缺乏鲁棒性,所建的总体模型易受噪声的干扰进而失效。为了对带有噪声的数据集建模,提出了一种基于聚类的鲁棒的最小二乘支持向量机。首先,使用聚类方法将样本分成几个子数据集,每一个子数据集对可以相应地建立一个局部的最小二乘支持向量机来获取对应子数据集的局部动态性。其次,通过在损失函数里加入一个全局正则化因子,使得局部子模型间能够智能地协调,保证建立的全局模型不仅是光滑连续的,同时具有良好的泛化性和鲁棒性。数学和实际例子表明,对于含有噪声的样本集,所提出的方法具有更好的建模效果。     

基于子空间选择的SVM快速算法及其在医学图像奇异点检测中的应用

支持向量机（SVM）花费大量时间用于对非支持向量样本的优化．根据支持向量都是位于两类边界的靠近分类超平面的样本点，本文提出首先利用基于中心距离比值法排除大部分远离分类超平面的样本，然后以最小类间距离样本数作为测度进一步选择边界样本．得到包含所有支持向量的最小样本集，构成新的训练样本集训练SVM．将提出的算法应用于解决医学图像奇异点检测问题．实验结果表明．该算法减小了训练样本集的规模，有效地缩短了SVM训练算法的时间．同时获得了较高的榆出率．     

基于核可能性c-均值算法的支持向量机

提出一种基于核可能性c-均值算法的支持向量机分类算法,该算法改进了SVM训练过程中噪声和孤立点的敏感问题.其基本思想是:用核可能性c-均值算法对每个模式类训练样本进行聚类,得到不同的可能性度量值,根据得到的可能性度量值对训练样本进行修剪,删除具有较低可能性度量值的训练样本,最后用生成的新训练样本训练支持向量机.实验结果表明,该算法可以有效地解决由噪声和孤立点引发的分类错误问题以及重要样本的错分问题.     

基于共享近邻加权局部线性嵌入的轴承故障诊断

针对传统局部线性嵌入算法在挖掘局部流形结构时未充分考虑样本邻居分布信息,且在降维过程中默认样本具有相同的重要性导致提取鉴别特征不明显的问题,提出基于共享近邻的加权局部线性嵌入(weighted local linear embedding based on shared neighbors, SN-WLLE)算法,并用于滚动轴承故障诊断.该算法首先使用余弦距离划分样本邻域;其次计算样本邻域对相似度用以评估样本共享近邻信息,并结合样本的6种邻居分布修正局部结构挖掘,提高多共享近邻的k近邻重构准确性;接着从多流形的角度评估样本点与近邻点间的稀疏分布一致性,以获得样本的重要性指标,并在低维空间保持该信息,进而提取准确的鉴别特征;最后结合KNN分类器构建出完备的轴承故障诊断模型.采用凯斯西储大学轴承数据集和实验室测试平台轴承数据集,从可视化评估、定量聚类评估、故障识别精度评估及鲁棒性评估等方面进行分析.结果表明：SN-WLLE算法的F值保持在10⁸以上水准,平均故障识别精度最低可达0.973 4,不仅具有较好的类内紧致性与类间可分性,还对近邻参数k具有低敏感性.     

基于BKNNSVM算法的高分辨率遥感图像分类研究（英文）

为了解决局部支持向量机算法KNNSVM存在的分类时间过长不利于具有海量数据量的高分辨率遥感图像分类的不足,提高KNNSVM的算法表现,提出了改进的基于不确定性的BKNNSVM算法.该算法利用二项式分布的共轭先验分布Beta分布根据近邻的分布情况推导该未标记样本属于正类或负类的概率大小,从而计算每一个未标记样本在类属性上的不确定性大小.再通过设置不确定性阈值的大小,对不确定性低于阈值的未标记样本直接采用KNN进行分类,而对高于阈值的样本利用其近邻建立局部支持向量机分类器进行分类.对高分辨率图像分类的实验结果表明:合适的阈值能够有效降低原始KNNSVM算法的时间开销,同时能保持KNNSVM分类精度高的特点.