一种用于RBF神经网络的支持向量机与BP的混合学习算法

基于支持向量机与径向基(RBF)神经网络在结构上的相似性,提出了一种用于RBF网络的支持向量机与BP的混合学习算法．算法分为2步：首先采用序贯最小优化算法学习训练支持向量机,得到RBF网络较优的初始结构和参数;随后由BP算法调整优化RBF网络参数．混合学习算法结合了支持向量机小样本学习、学习训练快捷以及BP算法在线修改网络参数的特点．仿真研究表明,混合学习算法学习效率高,网络性能优良,应用于函数逼近时效果优良．     

一种新的支持向量机增量学习算法

提出一种新的支持向量机增量学习算法。分析了新样本加入训练集后，支持向量集的变化情况。基于分析结论提出新的学习算法。算法舍弃对最终结论无用的样本，使得学习对象的知识到了积累。实验结果表明本算法在保证分类准确度的同时，在增量学习问题上比传统的支持向量机有效。     

基于子空间选择的SVM快速算法及其在医学图像奇异点检测中的应用

支持向量机（SVM）花费大量时间用于对非支持向量样本的优化．根据支持向量都是位于两类边界的靠近分类超平面的样本点，本文提出首先利用基于中心距离比值法排除大部分远离分类超平面的样本，然后以最小类间距离样本数作为测度进一步选择边界样本．得到包含所有支持向量的最小样本集，构成新的训练样本集训练SVM．将提出的算法应用于解决医学图像奇异点检测问题．实验结果表明．该算法减小了训练样本集的规模，有效地缩短了SVM训练算法的时间．同时获得了较高的榆出率．     

一种新的支持向量机增量学习算法

支持向量机学习算法的本质是从训练集中寻找支持向量,因此能否通过训练算法能快速找出支持向量是衡量支持向量机算法优劣的重要标准.本文提出了一种新的快速训练支持向量机的增量学习算法,首先,给出边界向量的定义,然后,对一个给定的新加人的样本,新的学习方法验证其是否为边界向量,如果是,将其加入到训练集中重新训练支持向量机,如果不是,就舍弃,这样能达到减少训练样本、降低训练复杂性目的,最后,给出了一个增量学习算法.实验表明测试误差和支持向量数量与SMO算法大致相当,而训练速度明显加快.     

基于支持向量回归的增量学习算法

提出了一种基于支持向量回归的增量学习算法,该算法在增量学习中除了考虑原训练集中的支持向量(SVs)外,还考虑了非SVs与ε-带(-iεnsensitive zone)的边界距离较近的样本,并将这些样本与新的训练集一起训练.试验结果表明,与传统的支持向量机增量学习算法相比,此算法提高了训练精度;与经典的SVR相比,此算法大大节约了训练时间,是一种行之有效的增量学习算法.     

一种新的支持向量机增量算法

分析了增量学习过程中支持向量和非支持向量的转化情况。在此基础上提出一种误分点回溯SVM增量算法,该算法先找出新增样本中被误分的样本,然后在原样本集寻找距误分点最近的样本作为训练集的一部分,重新构建分类器,这样能有效保留样本的分类信息。实验结果表明:该算法比传统的支持向量机增量算法有更高的分类精度。     

基于DLSVM算法的高分辨率遥感图像分类研究

为了进一步提高高分辨率遥感图像的分类精度及效率,融合支持向量机SVM及局部支持向量机KNNSVM算法,借助主动学习相关理论,提出了基于距离的局部支持向量机算法(DLSVM).该算法通过对未标记样本和超平面之间的距离与预先设定的距离阈值相比较,判断是否需要进一步建立局部支持向量机KNNSVM来确定样本的类标.对实际的高分辨率遥感图像分类的实验结果显示:在合适的距离阈值与K值的设置下,该算法能够提高支持向量机SVM的分类精度,同时大大降低KNNSVM算法的时间消耗.     

改进的邻域支持向量解算法

针对实施邻域风险最小化原则的邻域支持向量解算法,根据被错分样本一定是支持向量提出一种利用支持向量删除训练样本中难学习样本的修剪算法;依据最大似然原则对已有的高斯邻域函数参数取值方法进行改进.初步实验表明,训练样本的修剪与邻域函数参数取值方法的改进可明显提高邻域支持向量解算法的泛化能力,比SVM测试准确率提高0.5%左右.     

一种基于小生境的模糊支持向量机新算法

提出了一种基于小生境的模糊支持向量机新算法,该算法主要是通过对样本小生境与类小生境之间对比,并利用类小生境中样本最小半径来度量样本与类之间的关系,改变传统支持向量机简单使用样本欧氏距离来度量样本与类之间的关系的方法,克服了传统支持向量机算法对噪声和异常点过于敏感以及有效样本区分度差等缺点.实验数据表明,与只使用基于样本与类中心之间距离的传统模糊支持向量机算法相比,该算法提高了算法的收敛速度,且大大增强了包含噪声样本与有效样本的区分度.     

v-支持向量机的收敛性

支持印量机是在统计学习理论最新发展的基础上产生的一个崭新的学习系统．支持向量机算法通过支持向量控制学习机器的容量．为了控制支持向量的数目，Schφlkopf等提出了v-支持向量机．研究了v-支持向量机的若干性质，并给出了相应算法的收敛性。     

基于支撑向量机在线学习方法的短期负荷预测

提出了基于支撑向量机在线学习方法的短期负荷预测,该方法克服了传统的支撑向量机负荷预测当训练样本集合改变时为了保证预测精度必需重新进行训练来得到新的回归函数的缺点.充分利用支撑向量机解的稀疏性和前一次的训练结果,提出了递增和递减算法,直接修改原有回归函数的系数来得到新回归函数.实例计算表明,该方法与传统支撑向量机方法相比,具有计算速度快,推广能力强的显著特点,在相同预测精度下,计算速度提高了近两个数量级.     

基于矢量基学习的自适应迭代最小二乘支持向量机回归算法

为增强最小二乘支持向量机(LS-SVM)回归建模的稀疏性、鲁棒性和实时性,在加权LS-SVM的基础上,提出了基于矢量基学习的自适应迭代回归算法。在训练过程中,该算法通过矢量基学习和自适应迭代相结合的方法得到1个小的支持向量集,同时采用加权方法确定权值以减小训练样本中非高斯噪声的影响。回归学习和动态系统辩识的仿真结果表明:在回归建模精度相似的情况下,该算法确定的支持向量为全部学习样本的4.9%~8.9%,训练时间为标准LS-SVM的0.011%~0.383%;由于能够鲁棒跟踪时变非线性系统的动态特性,适合在线实时训练;可进一步用于非线性系统的建模和实时控制研究。     

基于模糊熵的支撑矢量预选取方法

在基于支撑矢量机的分类器学习算法中,预先选择支撑矢量是非常重要的．依据模糊熵理论,提出一种启发式的支撑矢量预选取方法——模糊熵方法．该方法针对支撑矢量数目较小的情况,可以有效地预选取出包含支撑矢量的边界集．利用边界集作为训练集可以大大简化支撑矢量机的训练而不影响分类性能．与其它方法相比,该方法的主要优点是不需要参数来确定边界集的阈值．仿真实验结果表明该方法是有效和可行的．     

一种基于聚类的支持向量机增量学习算法

提出了一种基于聚类的支持向量机增量学习算法.先用最近邻聚类算法将训练集分成具有若干个聚类子集,每一子集用支持向量机进行训练得出支持向量集;对于新增数据首先聚类到相应的子集,然后计算其与聚类集内的支持向量之间的距离,给每个训练样本赋以适当的权重;而后再建立预估模型.此算法通过钢材力学性能预报建模的工业实例研究,结果表明:与标准的支持向量回归算法相比,此算法在建模过程中不仅支持向量个数明显减少,而且模型的精度也有所提高.     

A fast SVM training algorithm based on the set segmentation and k-means clustering

At present, studies on training algorithms for support vector machines (SVM) are important issues in the field of machine learning. It is a challenging task to improve the efficiency of the algorithm without reducing the generalization performance of SVM. To face this challenge, a new SVM training algorithm based on the set segmentation and k-means clustering is presented in this paper. The new idea is to divide all the original training data into many subsets, followed by clustering each subset using k-means clustering and finally train SVM using the new data set obtained from clustering centroids. Considering that the decomposition algorithm such as SVMlight is one of the major methods for solving support vector machines, the SVMlight is used in our experiments. Simulations on different types of problems show that the proposed method can solve efficiently not only large linear classification problems but also large nonlinear ones.     

基于改进的LBG算法的SVM学习策略

针对SVM方法在大样本情况下学习和分类速度慢的问题,提出了利用LBG算法对训练样本进行预处理,然后再使用传统的SVM算法进行训练的策略,并提出了一种改进的LBG算法．通过对仿真数据以及对实际的纹理图像的分类实验表明,这种预处理方法能在保持学习精度的同时减小训练样本以及决策函数中支持向量集的规模,从而提高学习和分类的速度．     

基于阈值优化的CDRM-SVM入侵检测算法

为了提高中心距离比值法预选取支撑矢量的效率,降低支撑矢量机的训练时间,引入自适应动态克隆算法对中心距离比值法的阈值进行优化,并将该算法应用于入侵检测中,提出了基于阈值优化的CDRM-SVM入侵检测算法.算法首先利用自适应动态克隆算法对中心距离比值法中的阈值进行优化,获得理想的阈值,从而可以提取出包含全部支撑矢量的边界矢量集,然后使用边界矢量集代替训练样本集进行支持矢量机的训练,大幅度减少了训练样本的数量,使支持矢量机的训练速度显著提高.同时,由于边界矢量集中包含了支撑矢量,因此,支撑矢量机的分类能力没有受到影响.采用KDDCUP 99数据集进行试验,试验结果表明:与传统方法相比,在保证性能的情况下,所提算法能够有效地降低支持向量机的训练时间.     

一种新型的自适应多核学习算法

针对样本基数较大、 维数较高、 特征较复杂的数据集训练问题, 将支持向量机与蚁群优化算法相融合, 提出一种自适应多核学习算法. 利用吸引子传播聚类算法自适应地发现相似特征, 并据此利用蚁群算法自适应地选择核函数参数, 从而快速选择最优核函数. 通过UCI数据集的5组数据实验表明, 该算法相比于传统的支持向量机分类准确率和F₁值更高, 验证了该算法的有效性和可行性.     

基于支持向量机的增量学习算法

通过对支持向量机KKT条件和样本间关系的研究,分析了新增样本加入训练集后支持向量的变化情况,提出一种改进的Upper Limiton Increment增量学习算法.该算法按照KKT条件将对应的样本分为3类:位于分类器间隔外,记为RIG;位于分类间隔上,记为MAR;位于分类间隔内,记为ERR.并在每次训练后保存ERR集,将其与下一个增量样本合并进行下一次训练.实验证明了该算法的可行性和有效性.