基于边界向量的样本取样SMO算法

在各种支持向量机(SVM)训练算法中,比较突出的训练算法是序贯最小优化(SMO)算法。样本取样SMO算法是在不改变样本分布的前提下对原始训练集进行取样从而压缩样本数量,但由于样本取样具有随机性,如何有效缩减取样范围是改进该算法的主要方向。为此根据边界向量不一定是支持向量,但支持向量一定是边界向量这一理论,得出边界向量集是包含所有支持向量的集合,先提取边界向量再取样,把取样的范围减小到边界向量集里,缩短样本取样SMO算法的时间。实验表明,基于边界向量的样本取样SMO算法的性能要比原算法更优。     

一种基于混合策略的孤立点检测方法

孤立点检测面临数据不平衡和代价敏感两个问题。利用改进的一类支持向量机对数据集进行重构,并结合代价敏感支持向量机提出了一种混合策略检测方法。首先在传统的一类支持向量机优化过程中设定不同权重,通过刻画超平面消除部分正常样本进而平衡数据集;重构过程保留了孤立点信息,同时能克服数据混叠现象。通过代价敏感支持向量机对样本进行训练,利用受试者工作特征分析作为评判依据搜索最优参数,进而调节阈值获得孤立点检测模型。仿真实验结果表明,本文方法能提高检测精度,同时有效降低总的误分类代价。     

基于数据域描述的模糊临近支持向量机算法

针对传统支持向量机由于样本中存在孤立点或噪声而导致的过学习问题,通过分析模糊支持向量机和临近支持向量机的特点,借鉴它们的优点:模糊隶属度和临近超平面,提出了一种数据处理方法。该方法考虑了样本点到类中心的距离与样本对分类的贡献率的关系。这种改进使分类更为清晰和准确。结果表明:采用新的模糊隶属度模糊临近支持向量机算法有较高的识别率,但也耗费了较多的训练时间。     

基于超曲面的多类分类方法

使用支持向量机对非线性可分数据进行分类的基本思想是将样本集映射到一个高维线性空间使其线性可分 .基于 Jordan曲线定理 ,提出了一种通用的基于分类超曲面的分类法 ,它是通过直接构造分类超曲面 ,根据样本点关于分类曲面的围绕数的奇偶性进行分类的一种全新分类判断算法 ,不需作升维变换 ,不需要考虑使用何种核函数 ,而直接地解决非线性分类问题 .对数据分类应用的结果说明 ,基于分类超曲面的多类分类法可以有效地解决非线性数据的分类问题 ,并能够提高分类效率和准确度 .     

纳税评估的广义回归神经网络建模与实证

针对上海市某区386家中小企业15个财务指标数据,运用灵敏度分析方法筛选出对判定纳税情况具有显著影响的10个评价指标,采用自组织神经网络方法把全部386个样本分成性质相似的训练样本、检验样本和测试样本,通过逐步减小光滑因子值确定其合理值,建立纳税评估广义回归神经网络(GRNN)模型。与线性回归、判别分析、Logistic和支持向量机等模型的结果对比表明:GRNN模型的分类错误率最低,检验样本和测试样本的II类和I类分类错误率分别低于5.4%和2.0%,平均分类错误率低于2.5%.对另外339家企业纳税情况的判定结果表明,建立的GRNN模型具有很好的泛化能力和鲁棒性。     

基于相异度核空间的支持向量机算法

提出基于相异度核空间的混合流形学习与支持向量机(SVMs)算法用于解决高维数据分类问题. 该算法使用SVMs对流形学习降维后的低维嵌入做分类.通过加常数方法构造了衡量数据点相异度的特征空间. 证明了该特征空间不仅能够衡量数据点之间的相异度,还满足Mercer条件对于支持向量机分类核空间的半正定性的要求. 在仿真实验中,采用UCI机器学习数据库上标准分类数据集为样本. 对比构造的相异度核空间与常用核函数如线性核、多项式核、高斯核在支持向量机分类时的 分类精度来验证有效性和优越性.     

不良贷款有无回收判别:一类可选变量的支持向量机方法

针对不良贷款有无回收判别问题中属性变量数目多、示性变量比例高的特点,提出了一类可选择变量的支持向量机方法进行判别预测.该方法一是将逐步回归的支持向量机思想应用在模型变量的选择上,二是将线性逐步回归的结果作为模型选择变量的初始状态,解决了传统支持向量机只能使用固定变量的问题. 实证结果显示,该方法不仅提高了样本外预测的正确率, 而且具有很好的稳健性.     

基于决策树的快速SVM分类方法

为提高支持向量机（support vector machine, SVM)算法对大规模数据的适应能力,加快SVM算法的分类速度,提出一种基于决策树的快速SVM分类方法。该方法的重点在于构建一棵决策树,将大规模问题分解为相对简单的子问题,树中节点由线性支持向量机组成,每个节点包含一个决策超平面,分类过程取决于节点的数量。此方法在分类复杂样本时避免了使用非线性核函数。并且由于使用线性核函数,则不用进行模型选择,进一步加快了样本的分类速度。实验表明,针对大规模多特征数据的非线性分类问题,该方法比传统方法具有更高的速度。     

模糊近似支持向量机模型及其在信用风险评估中的应用

支持向量机是近些年兴起的人工智能方法,并在信用风险分析领域得到了广泛应用.为了有效地减小在实证研究中样本的奇异点和噪声对模型的干扰, 在近似支持向量机的基础上, 引入模糊隶属度的思想,提出了模糊近似支持向量机, 使之不仅能保留近似支持向量机原有的优点,同时也可以减小奇异点和噪声对模型的干扰,从而进一步提高了分类判别能力. 为验证模糊近似支持向量机的效果, 利用两个公开的信用数据集进行实证研究. 实证研究结果表明:与其它模型相比,所提出的模糊近似支持向量机能够显著地提高信用风险分类精度,具有较高的实用价值.     

基于Matlab支持向量回归机的能源需求预测模型

分析了支持向量回归机在能源需求预测中的优势, 确定了输入向量集合和输出向量集合, 建立了基于Matlab技术的SVR能源需求预测模型. 对我国1985-2008年能源需求相关数据进行模拟与仿真, 并对中国2010年和2020年能源需求量进行预测. 研究结果表明: 一是中国未来对能源的需求量逐渐增加, 从2010年的330400万吨标准煤上升到2020年418320万吨标准煤, 年均增长率为2.39%; 二是在解决我国能源系统小样本. 非线性及高维模式识别问题中SVR比BP神经网络等方法有更高的预测精度.     

基于支持向量信息测度排序的快速分类算法

如何降低支持向量机海量训练样本的数目,是提高算法速度的关键。提出利用支持向量分布的几何特征建立基于特征空间中支持向量信息测度的快速算法,对于训练样本首先进行基于支持向量信息测度升序排序处理,然后根据训练样本提供的信息测度选择合适的训练样本子空间,在该样本子空间内采用乘性规则直接求取Lagrange因子,而不是传统的二次优化方法;最后针对附加残余样本进行交叉验证处理,直到算法满足收敛性准则。各种分类实验表明,提出的算法具有较好的性能,特别是在训练样本庞大、支持向量数量较多的情况下,能够较大幅度地减少计算复杂度,提高分类速度。     

模糊偏最小二乘支持向量机的应用研究

基于偏最小二乘回归法和模糊隶属度函数,提出了一种模糊偏最小二乘支持向量机.传统最小二乘支持向量机引入模糊加权系数后,可以根据训练样本点的情况调整折衷系数,有效地提高了最小二乘支持向量机的抗噪性能.同时利用偏最小二乘回归法,克服了求解线性回归方程中自变量向量间的多重相关性问题.利用 sinc 函数对该建模方法进行了测试,并进一步对铜转炉吹炼时间的预测问题进行了仿真研究.仿真结果表明,该建模方法具有预测准确、跟踪性能好的优点.     

Dual membership SVM method based on spectral clustering

A new fuzzy support vector machine algorithm with dual membership values based on spectral clustering method is proposed to overcome the shortcoming of the normal support vector machine algorithm,which divides the training datasets into two absolutely exclusive classes in the binary classification,ignoring the possibility of "overlapping" region between the two training classes.The proposed method handles sample "overlap" efficiently with spectral clustering,overcoming the disadvantages of over-fitting well,and improving the data mining efficiency greatly.Simulation provides clear evidences to the new method.     

New approach to training support vector machine

1.INTRODUCTIONThe support vector machine(SVM)[1]has been suc-cessful as a high-performance classifier in several do-mains including pattern recognition,data mining,and bioinformatics.It has strong theoretical founda-tions and good generalization capability.Ali mitationof the SVMdesign algorithm,particularly for largedata sets,is the need to solve a quadratic program-ming(QP)probleminvolving a densen×nmatrix,wherenis the number of points in the data set.Since QProutines have highcompl…     

原空间中最小二乘支持向量机的新算法

为了解决原空间中最小二乘支持向量机的解缺乏稀疏性的缺点,提出了Pruning法、MFCV法和IMFCV法并对BDFS法进行了修改和运用。对一个不含有奇异点的系统而言,Pruning法、BDFS法和MFCV法在一定程度上都能实现原空间中最小二乘支持向量机解的稀疏性。BDFS法无论是训练时间还是预测时间都比Pruning法短;和MFCV法比起来,虽然BDFS法的训练时间短,但比MFCV的预测时间长。对一个含有奇异点的系统而言,Pruning法几乎失去了效用;虽然BDFS和MFCV法的训练时间都比IMFCV法的训练时间短,但IMFCV法能成功抑制奇异点从而缩短预测时间。     

基于最小二乘支持向量机的交通安全预测模型

分析了最小二乘支持向量机(LS-SVM)在交通安全预测中的优势,确定输入向量集合和输出向量集合,利用LS-SVM建立交通安全预测模型.将1953～2006年全国交通安全相关数据分为训练集和测试集,利用Matlab 7.0进行仿真测试.通过训练LS-SVM得到模型具体参数值,然后对测试集数据进行预测,计算预测误差,并与神经网络模型、SVM模型预测结果进行对比.仿真结果表明,基于LS-SVM建立的交通安全预测模型比神经网络预测模型、SVM模型具有更高的运算速度和预测精确度.     

SVM和HMM相结合的合成孔径雷达图像目标识别

提出了一种支持向量机和隐马尔可夫模型相结合的合成孔径雷达图像目标识别方法。该方法用小波分解和主成分分析提取图像特征,生成特征向量。利用图像在方位角上的关系由特征向量生成图像的特征序列以及隐马尔可夫模型的训练序列。用支持向量机进行目标预识别,确定目标最有可能所属的两个类别,用隐马尔可夫模型在这两个类别中确定目标最终所属类别,完成目标识别。使用MSTAR数据库中的图像数据对该方法进行验证和分析,结果表明,该方法可以明显提高目标的正确识别率,是一种有效的合成孔径雷达图像目标识别方法。     

Improved scheme to accelerate sparse least squares support vector regression

The pruning algorithms for sparse least squares support vector regression machine are common methods,and easily comprehensible,but the computational burden in the training phase is heavy due to the retraining in performing the pruning process,which is not favorable for their applications.To this end,an improved scheme is proposed to accelerate sparse least squares support vector regression machine.A major advantage of this new scheme is based on the iterative methodology,which uses the previous training results instead of retraining,and its feasibility is strictly verified theoretically.Finally,experiments on benchmark data sets corroborate a significant saving of the training time with the same number of support vectors and predictive accuracy compared with the original pruning algorithms,and this speedup scheme is also extended to classification problem.     

广义支持向量机优化问题的极大熵方法

依据最优化理论中的KKT互补条件建立了广义支持向量机的无约束优化模型,并给出了一种有效的光滑化近似解法极大熵方法,为求解支持向量机优化问题提供了一种新途径.该方法特别易于计算机实现,理论分析和数值实验结果表明了模型和算法的可行性和有效性.