基于超球的支持向量机增量学习算法

支持向量机方法已经成功地应用于解决分类和回归问题,但是在训练支持向量机时需要求解二次规划问题,使得支持向量机的训练时间过长,训练样本量越大,这个缺陷越明显.将超球方法与回归支持向量机相结合,提出一种增量学习的新方法.该方法使用两个同心超球缩减训练集,以达到提高训练速度的目的.通过分析表明,这种新的增量学习方法较普通支持向量机训练方法有较低的计算复杂度.实验结果表明,该算法可以在不降低预测准确性的同时减少大量建模时间.     

基于Gauss核函数的快速构造最小超球算法

为提高基于超球的支持向量机算法中样本数据较多时的训练速度,提出一种构造最小超球的并行融合算法.该算法将全部训练数据集依据特定策略分割成若干个子数据集,分别对各个子数据集进行训练,对所得到的各子数据集的支持向量与融合数据进行训练,构造最小超球.仿真结果表明,并行融合算法在保证分类精度的情况下,能够显著减少训练时间,提高效率,且支持向量的数目较少.同时也验证了该文对Gauss核函数分析的正确性.     

基于支持向量回归的增量学习算法

提出了一种基于支持向量回归的增量学习算法,该算法在增量学习中除了考虑原训练集中的支持向量(SVs)外,还考虑了非SVs与ε-带(-iεnsensitive zone)的边界距离较近的样本,并将这些样本与新的训练集一起训练.试验结果表明,与传统的支持向量机增量学习算法相比,此算法提高了训练精度;与经典的SVR相比,此算法大大节约了训练时间,是一种行之有效的增量学习算法.     

一种改进的数据挖掘模糊支持向量机分类算法

针对模糊支持向量机(FSVM)应用于数据挖掘分类中存在对大样本集训练速度及分类速度慢的缺点,提出一种改进的数据挖掘模糊支持向量机分类算法.该算法首先预选有效的候选支持向量缩减训练样本集的规模提高训练速度;其次提出一种新的模糊隶属度函数,增强支持向量对构建模糊支持向量机最优分类超平面的作用,并用经过预选的训练样本集进行训练FSVM得到支持向量集;最后,运用粒子群优化算法选择最优支持向量子集,使用平均分类误差作为适应度函数,最终粒子输出时,将样本隶属度与设定阈值相比较,选择出支持向量集中相对较大隶属度的样本作为新的支持向量,提高分类速度.实验结果表明,该算法在不损失分类精度的情况下,提高了模糊支持向量机的训练速度和分类速度.     

基于增量学习向量SVM方法的图像分割应用

为了解决经典支持向量机方法已发现的执行时间长、执行效率低的相关问题,提出基于增量学习向量的支持向量机学习方法。该算法通过对训练样本集合的相关增量学习向量进行训练学习来得到初始支持向量机分类器。利用该初始化分类器在有关条件下针对初始训练样本集进行缩减得到精简缩小集,再应用精简缩小集针对初始支持向量机的分类器反向加工来得到支持向量机的最终分类器。该算法可大幅度降低大容量数据集上支持向量机的学习时间,并且具有很好的泛化能力。为了验证本学习方法的可应用性,从Berkeley图像分割数据集BSDS500和互联网上选取相关彩色图像进行仿真实验。该文实验结果表明:该方法得到分割结果的过程不仅比传统支持向量机耗时少,且与Berkeley图像分割数据集中人工标注结果比较得到较好分割效果。     

基于增量学习向量SVM方法的图像分割应用

为了解决经典支持向量机方法已发现的执行时间长、执行效率低的相关问题,提出基于增量学习向量的支持向量机学习方法。该算法通过对训练样本集合的相关增量学习向量进行训练学习来得到初始支持向量机分类器。利用该初始化分类器在有关条件下针对初始训练样本集进行缩减得到精简缩小集,再应用精简缩小集针对初始支持向量机的分类器反向加工来得到支持向量机的最终分类器。该算法可大幅度降低大容量数据集上支持向量机的学习时间,并且具有很好的泛化能力。为了验证本学习方法的可应用性,从Berkeley图像分割数据集BSDS500和互联网上选取相关彩色图像进行仿真实验。该文实验结果表明:该方法得到分割结果的过程不仅比传统支持向量机耗时少,且与Berkeley图像分割数据集中人工标注结果比较得到较好分割效果。     

云计算环境的并行支持向量机

针对基于GPU和MPI并行的支持向量机（SVM）算法不适合于云计算环境,设计了一种基于多级SVM的并行支持向量机模型,实现了云计算环境下的序列最小优化（SMO）的并行算法。该算法通过MapReduce系统将大规模训练数据集划分为若干小训练集,再由这些小训练集开发多级的SVM,最后收集每一个SVM最优超平面附近的样本数据来训练另一个新的SVM。实验结果表明,该算法在时间消耗与分类正确率等综合方面比单机算法和传统并行算法获得更好的效果。     

面向多输出系统的启发式支持向量机回归

针对面向多输出系统支持向量机回归算法训练时间较长的问题,提出一种面向多输出系统的启发式支持向量机回归算法。与多输出的支持向量机回归建模相比,该方法建立的模型结构较为简单,模型训练速度更快。将此方法和直接支持向量机回归算法分别应用到甲基丙烯酸甲酯的间歇聚合反应过程中,仿真结果表明了该方法的有效性。     

基于缩减策略的混沌时间序列LSSVM预测模型

 由于混沌时间序列具有样本大等特点,使用最小二乘支持向量机(LSSVM)建立其预测模型具有内存开销大、训练速度慢等缺点,因此,在混沌序列数据特性的基础上,利用样本集分割与样本相关性的思想,提出一种基于缩减策略的混沌时间序列LSSVM预测模型。该模型利用混沌时间序列的平均周期将大样本数据分解成不同的子集,把最后一个子集之外的其他子集利用拉格朗日乘子的值缩减一部分非支持向量,将缩减后样本与最后一个子集合并,利用相关系数缩减法缩减合并后的样本集,并利用最小二乘支持向量机进行回归预测。最后通过相关实验,验证了本模型在基本不损失预测精度的基础上具有较快的计算速度。     

改进SVM及其在时间序列数据预测中的应用

运用标准支持向量机预测海量金融时间序列数据会出现训练速度慢、内存开销大的问题,文中提出一种分解合作加权的回归支持向量机,将大样本集分解成若干工作子集,分段提炼出支持向量机,同时根据支持向量的重要性给出不同的错误惩罚度,并将其应用于证券指数预测．与标准算法相比较,文中方法在保证泛化精度一致的前提下,极大地加快了训练速度．     

基于阈值优化的CDRM-SVM入侵检测算法

为了提高中心距离比值法预选取支撑矢量的效率,降低支撑矢量机的训练时间,引入自适应动态克隆算法对中心距离比值法的阈值进行优化,并将该算法应用于入侵检测中,提出了基于阈值优化的CDRM-SVM入侵检测算法.算法首先利用自适应动态克隆算法对中心距离比值法中的阈值进行优化,获得理想的阈值,从而可以提取出包含全部支撑矢量的边界矢量集,然后使用边界矢量集代替训练样本集进行支持矢量机的训练,大幅度减少了训练样本的数量,使支持矢量机的训练速度显著提高.同时,由于边界矢量集中包含了支撑矢量,因此,支撑矢量机的分类能力没有受到影响.采用KDDCUP 99数据集进行试验,试验结果表明:与传统方法相比,在保证性能的情况下,所提算法能够有效地降低支持向量机的训练时间.     

参数并行：一种基于群启发式算法的机器学习参数寻优方法

针对机器学习算法超参数寻优效率低的问题和参数寻优主流算法的特点,提出了一种基于参数并行机制的机器学参数寻优方法。该方法利用群启发式算法来进行机器学习算法的参数寻优,将种群转换为Spark平台特有的弹性分布式数据集,针对参数寻优耗时特点并行计算种群中个体适应度。选取随机森林和遗传算法作为实验算法设计了多组实验对所提出的学习训练方法进行验证。实验结果表明,在20万条以下的小数据量下,文中提出的基于参数并行机制的机器学习参数寻优方法与基于数据并行机制的机器学习参数寻优方法相比,运行时间最多能够减少2个小时,并具有良好的可扩展性。     

一种改进的支持向量数据描述算法

数据描述只使用目标集训练样本获得关于目标集的描述,支持向量数据描述（SVDD）是一种有效的单值分类数据描述算法,根据分类边界线上的支持向量之间距离的大小。利用距离的相似度来对训练集进行约减,实验结果表明,该算法与传统SVDD相比减少了训练时所需的支持向量数目,因而减少了测试时间,同时分类性能也稍有提高．     

基于子空间选择的SVM快速算法及其在医学图像奇异点检测中的应用

支持向量机（SVM）花费大量时间用于对非支持向量样本的优化．根据支持向量都是位于两类边界的靠近分类超平面的样本点，本文提出首先利用基于中心距离比值法排除大部分远离分类超平面的样本，然后以最小类间距离样本数作为测度进一步选择边界样本．得到包含所有支持向量的最小样本集，构成新的训练样本集训练SVM．将提出的算法应用于解决医学图像奇异点检测问题．实验结果表明．该算法减小了训练样本集的规模，有效地缩短了SVM训练算法的时间．同时获得了较高的榆出率．     

基于粒度和信息熵的并行支持向量机算法

针对大数据环境下并行支持向量机(support vector machine,SVM)算法存在噪声数据较敏感、训练样本数据冗余等问题,提出基于粒度和信息熵的GIESVM-MR(the SVM algorithm by using granularity and information entropy based on MapReduce)算法.该算法首先提出噪声清除策略(noise cleaning,NC)对每个特征属性的重要程度进行评价,获得样本与类别之间的相关度,以达到识别和删除噪声数据的目的;其次提出基于粒度的数据压缩策略(data compression based on granulation,GDC),通过筛选信息粒的方式保留类边界样本删除非支持向量,得到规模较小的数据集,从而解决了大数据环境下训练样本数据冗余问题;最后结合Bagging的思想和MapReduce计算模型并行化训练SVM,生成最终的分类模型.实验表明,GIESVM-MR算法的分类效果更佳,且在大规模的数据集下算法的执行效率更高.     

基于投影中心距离的支持向量预选取

支持向量机是一种能在训练样本数很少的情况下达到很好分类推广能力的学习算法。支持向量机在选择支撑矢量时却进行了大量不必要的运算, 成为其应用的瓶颈问题.因此在基于支持向量的分类器学习算法中,预先选择支撑向量是非常重要的。投影中心距离算法是一种能够预选取支撑矢量的方法, 该方法可以有效地预选取出包含支持向量的边界集,在不影响支持向量机的分类能力情况下,大大地减少了训练样本,提高了支持向量机的训练速度。本文采用投影中心距离算法进行支撑矢量的预选取,通过对人工线性、非线性数据及MINST字符库的实验证明了该方法的有效性和可行性。     

基于投影中心距离的支持向量预选取

支持向量机是一种能在训练样本数很少的情况下达到很好分类推广能力的学习算法.支持向量机在选择支撑矢量时却进行了大量不必要的运算,成为其应用的瓶颈问题.因此在基于支持向量的分类器学习算法中,预先选择支撑向量是非常重要的.投影中心距离算法是一种能够预选取支撑矢量的方法,该方法可以有效地预选取出包含支持向量的边界集,在不影响支持向量机的分类能力情况下,大大地减少了训练样本,提高了支持向量机的训练速度.本文采用投影中心距离算法进行支撑矢量的预选取,通过对人工线性、非线性数据及MINST字符库的实验证明了该方法的有效性和可行性.     

交叉验证KNN支持向量预选取算法在说话人识别上的应用

针对传统支持向量机算法时空复杂度较高的不足,提出了一种基于交叉验证KNN的支持向量预选取算法。该算法首先对原始样本求k个的邻近样本,然后计算邻近样本中异类样本的比例p1,最后选取满足p1大于阈值p的原始样本作为支持向量。通过交叉验证方法确定k与p的最合适的数值。在UCI标准数据集和说话人识别数据集上的仿真实验显示算法可有效地降低支持向量机分类器的运行时间,同时又具有较好的分类性能。     

基于Fisher准则的SVM参数选择算法

支持向量机(support vector machine,SVM)分类性能主要受到SVM模型选择(包括核函数的选择和参数的选取)的影响,目前SVM模型参数选择的方法并不能较好地确定模型参数。为此基于Fisher准则提出了SVM参数选择算法。该算法利用样本在特征空间中的类别间的线性可分离性,结合梯度下降算法进行参数寻优,并基于Matlab实现选择算法。实验结果表明参数选择算法既提高了SVM训练性能,又大大减少了训练时间。     

自适应迭代算法支持向量集的特性研究

针对在支持向量机研究中,传统的优化方法无法处理规模不断扩大的分类问题,为设计适应大样本分类的训练算法,提出了基于块的自适应迭代算法。在该算法的训练过程中,块增量学习和逆学习交替进行,能够自动得到一个小的支持向量集。将该算法与SVML ight在支持向量数量方面进行了比较,计算了UC I(Un i-versity of Californ ia-Irvine)中的6个数据集和著名的Checkboard问题。结果表明:该自适应迭代算法确定的支持向量数一般不到SVML ight所得到的支持向量数的一半,其中70%多的支持向量被SVML ight所确定的支持向量集所包含,在支持向量选择方面具有高效性。