基于数据分割和集成学习的大规模SVM分类算法

支持向量机对分类问题的求解过程相当于解一个线性约束的二次规划问题,求解的变量个数与训练样本数相等,且需要计算和存储的核矩阵大小与训练样本数的平方相关.随着样本数目的增多,经典的求解二次规划问题的算法不再适用.针对大规模二分类问题,基于数据分割和集成学习策略,本文提出了一种快速支持向量机学习算法.其主要思想是:首先对数据集进行预处理,自动将正负类分别聚成若干子簇;然后对两两组合的正负子簇用SMO算法进行交叉学习,得到多个基本分类器;最后对这些基本分类器进行集成学习.在UCI的5个数据集上的实验表明,与SMO学习算法相比,这种基于数据分割的训练策略在精度几乎没有损失的情况下显著地提高了训练速度.     

自训练多项式光滑的半监督支持向量机

为了处理自训练半监督支持向量机算法中每次循环都需要求解二次规划因此效率低的问题,采用直接求解支持向量机的原始优化问题,由此得到一个不光滑的无约束优化问题.将正号函数展开为无穷多项式级数,由此得到了一族光滑函数,用多项式光滑函数对无约束优化问题进行逼近,并用共轭梯度算法求解模型.在人工数据和UCI数据集上的实验结果显示,给出的算法效率高,能保证标记样本很少时的分类精度并且不因标记样本的增多而明显提高分类精度.     

基于活跃集迭代法的支持向量机快速增量学习算法

介绍了一种新的支持向量机（SVM），其优化问题的对偶问题为具有简单界约束的凸二次规划问题：探讨了将活跃集迭代法运用于这种SVM的学习算法以及初始活跃集的选取问题；针对增量学习和大规模学习问题，提出了基于活跃集迭代法的SVM快速增量学习算法；实验验证了算法的有效性。     

利用进化规划和逐步二次规划实现前馈神经网络的结构优化

用进化规划与逐步二次规划来实现前馈神经网络的结构优化问题 ,并提出了一个相应的学习算法 .针对进化规划与逐步二次规划各自的特点 ,进行了组合 ,使算法不仅具有随机全局搜索能力 ,而且还具有更好的全局收敛能力 ,并与环境有更强的自适应能力 .最后通过仿真和应用实验证实了算法的有效性.     

球结构支持向量机的改进算法及仿真研究

球结构支持向量机算法将多类样本数据的每一类用各自的超球来界定,从而显著地降低了二次规划的复杂程度。在该算法的基础上,提出了子超球支持向量机多分类算法。新算法改进了超球重叠区域的训练和决策方法,提高了多分类问题的分类精度。定义了重叠频数、重叠总频数和重叠率等概念,并在此基础上分析了径向基核函数的参数σ对超球相互位置的影响。对两组实际数据仿真实验验证了该算法的有效性和对σ分析的正确性,同时表明正确选择σ可得到较高的分类精度。     

训练支持向量机的四重序列解析优化算法

为了提高训练支持向量机的序列最小优化算法的学习性能, 依据 在每次迭代中选取多个变量同时优化可能会减少迭代次数和缩短训练时间的这一想法, 提出了一个训练支持向量机的快速算法-四重序列解析优化方法, 并给出了一个重要定理, 使得相应的子问题有解析解, 从而能够更加精确和快速地逼近最优解. 在两个公共数据集上的仿真结果表明: 该方法比其它算法有较好的学习性能-在相同训练精度的条件下,不仅缩短了训练时间, 而且计算复杂度减小.     

基于模糊机会约束SVDD的故障诊断方法

针对使用不确定性数据进行多故障模式诊断问题,以模糊事件的可能性测度为基础,提出一种基于模糊机会约束支持向量数据描述的诊断方法。为有效地求解故障分类模型,提出模糊机会约束规划的对偶规划,根据贯序最小算法 (sequential minimal optimization,SMO)思想提出快速训练算法,利用支持向量数据描述使用一类数据求解分类面的优势,构建多类分类器。数值试验表明,本方法可以有效处理基于不确定数据的故障诊断问题,在故障类别较多的情况,速度有较大提高,具有一定实践意义。     

基于改进的SVM学习算法及其在信用评分中的应用

对于处理大规模问题的信用评分方法除要求达到一定的准确率之外,其速度、可解释性、简洁性等性能也非常重要. 借鉴SMO的思想, 首先提出一个基于三变量的改进的SVM学习算法, 即将SVM问题分解为一系列含有三个变量的二次规划子问题,其优点是所求的相应松弛子问题都有解析解,使得该方法能够更加精确和快速地逼近最优解;其次将新算法应用于信用评分问题,在UCI机器学习库中的三个公共数据集上的数值试验表明了新方法的有效性:不仅节省了模型的计算代价, 而且还提高了分类精度.     

基于稀疏型支持向量回归的时间序列预测

为提高支持向量回归在时间序列预测应用中的学习速度和泛化性能,提出了稀疏型支持向量回归方法.通过牛顿优化法,直接优化支持向量回归的原始问题.然后利用Cholesky分解更新原始优化中的Hessian矩阵实现稀疏型支持向量回归算法.最后将该算法运用到Mackey-Glass,Lorenz和Logistic混沌时间序列预测,仿真结果表明本文提出的方法能够在确保预测精度的前提下,有效地降低支持向量的个数.     

最小二乘超球多类支持向量机

超球体多类支持向量机(HSMC-SVM)是一种直接型多类分类器,具有训练速度快,检测效率高的优点,但由于HSMC-SVM使用一阶范数软间隔作为目标函数的惩罚项,使得其训练精度受到一定影响,为了提高HSMC-SVM训练精度,将最小二乘法引入到HSMC-SVM中,提出了最小二乘超球多类支持向量机(LSHS-MCSVM)的概念,并且分析了它的训练算法和判决规则,从而形成了完整的LSHS-MCSVM分类理论.实验表明,LSHS-MCSVM无论在训练速度上还是在泛化性能上都要优于HSMC-SVM,适合于分类类别多,样本数量大的多分类场合.     

基于数据域描述的模糊临近支持向量机算法

针对传统支持向量机由于样本中存在孤立点或噪声而导致的过学习问题,通过分析模糊支持向量机和临近支持向量机的特点,借鉴它们的优点:模糊隶属度和临近超平面,提出了一种数据处理方法。该方法考虑了样本点到类中心的距离与样本对分类的贡献率的关系。这种改进使分类更为清晰和准确。结果表明:采用新的模糊隶属度模糊临近支持向量机算法有较高的识别率,但也耗费了较多的训练时间。     

一种新隶属度函数的模糊支持向量机

传统的模糊支持向量机隶属度函数都是基于样本与类中心距离进行设计,这对非球形分布数据很不合理.使用类内超平面代替类中心,提出基于样本到超平面距离的新隶属度函数设计方法.该方法克服传统方法的不足,降低隶属度函数对样本集几何形状的依赖,提高模糊支持向量机的泛化能力.数值实验表明,与支持向量机和三种不同隶属度函数的模糊支持向量机相比,新隶属度函数的模糊支持向量机达到最好的分类效果,而且新隶属度方法的简单易行,计算时间少.     

SVR在混沌时间序列预测中的应用

支持向量机是一种基于统计学习理论的新颖的机器学习方法，该方法已广泛用于解决分类和回归问题。将支持向量回归算法应用于混沌时间序列预测中，并同BP网络及RBF网络的预测结果进行了比较分析。仿真实验表明，支持向量回归方法具有很好的泛化能力和一定的噪声容忍能力。     

Local spatial properties based image interpolation scheme using SVMs

Image interpolation plays an important role in image process applications. A novel support vector machines （SVMs） based interpolation scheme is proposed with increasing the local spatial properties in the source image as SVMs input patterns. After the proper neighbor pixels region is selected, trained support vectors are obtained by training SVMs with local spatial properties that include the average of the neighbor pixels gray values and the gray value variations between neighbor pixels in the selected region. The support vector regression machines are employed to estimate the gray values of unknown pixels with the neighbor pixels and local spatial properties information. Some interpolation experiments show that the proposed scheme is superior to the linear, cubic, neural network and other SVMs based interpolation approaches.     

模糊偏最小二乘支持向量机的应用研究

基于偏最小二乘回归法和模糊隶属度函数,提出了一种模糊偏最小二乘支持向量机.传统最小二乘支持向量机引入模糊加权系数后,可以根据训练样本点的情况调整折衷系数,有效地提高了最小二乘支持向量机的抗噪性能.同时利用偏最小二乘回归法,克服了求解线性回归方程中自变量向量间的多重相关性问题.利用 sinc 函数对该建模方法进行了测试,并进一步对铜转炉吹炼时间的预测问题进行了仿真研究.仿真结果表明,该建模方法具有预测准确、跟踪性能好的优点.     

一种新的支持向量机快速训练算法

针对大规模数据集的分类中支持向量机的训练,为解决选取样本集合边界向量时需事先判定样本集合是否线性可分的问题,提出一种基于密度法的支持向量预选取方法。该方法不需要事先判定训练样本是否线性可分,具有较强的抗击噪音点和孤立点干扰的能力,并且计算简单,易于实现。实验结果证明了这种方法是有效的。     

基于模糊支持向量机的小批量生产质量智能预测方法

在分析比较目前常用的智能工序预测技术及其特点的基础上,提出一种适合小批量生产过程的质量智能预测模型,并给出了相应的预测过程和算法.由于该模型中以模糊支持向量机(FLS-SVM)技术为智能核心,一方面较好的解决小样本学习问题,避免了人工神经网络等智能方法在对小批量生产过程质量进行预测时所表示出的过学习、泛化能力弱等缺点.另一方面,通过隶属度函数对样本进行模糊化,达到样本优化选择,实现历史数据“重近轻远”的预测效果.通过对具体加工过程的预测实验,并与其它几种常见预测方法效果进行对比,说明本文方法实现容易,建模速度快,小样本的泛化能力强,为实现小批量加工过程的在线质量预测与控制提供可行的思路.     

SVR mathematical model and methods for sale prediction

Sale prediction plays a significant role in business management. By using support vector machine Regression (ε-SVR), a method using to predict sale is illustrated. It takes historical data and current context data as inputs and presents results, i.e. sale tendency in the future and the forecasting sales, according to the user's specification of accuracy and time cycles. Some practical data experiments and the comparative tests with other algorithms show the advantages of the proposed approach in computation time and correctness.