关于支持向量机DirectSVM算法的探讨

DirectSVM算法是求解支持向量机的一种简单快速迭代算法,具有最好的几何直观性.算法将线性可分的两类样本中距离最近的两个异类样本点作为支持向量,以该两点连线的垂直平分面作为初始分类超平面,然后根据分类情况逐步确定新的支持向量,即逐步优化出最优分类超平面.对该算法进行了测试,发现该算法具有局限性,并对算法局限性产生的根源进行了分析,对如何合理使用DirectSVM算法进行了讨论.结论是:用DirectSVM算法直接求解最优分类面是不可靠的,但可以作为支持向量机的一种近似算法,也可以作为求解候选支持向量集的方法,再与其他经典算法结合使用.     

最小二乘双胞支持向量回归机的研究

 利用最小二乘方法和临近支持向量机(PSVM)算法,并结合双胞支持向量机(TSVR),提出了最小二乘双胞支持向量回归机(LSTSVR).作为对照,TSVR需要求解2个二次规划问题,而LSTSVR仅需求解2个线性方程组.最后利用不同的实例验证了所提算法的可行性和有效性.     

分类大规模数据的核向量机方法研究

标准的支持向量机算法需要求解二次规划问题,因此,在处理大规模样本的时候,求解二次规划问题的时间复杂度和空间复杂度就成为支持向量机应用的一个瓶颈.核向量机将传统支持向量机中的二次规划问题转化为求解最小包围球问题,从而显著降低了二次规划的复杂程度.使用核向量机对大规模数据进行分类,所选用的数据样本数均超过2000,并与标准的支持向量机作了对比实验结果表明:核向量机在处理大规模数据分类时,比标准的支持向量机计算复杂度低,训练速度快,耗费空间少.     

基于取样的潜在支持向量机序列最小优化算法

为了提高潜在支持向量机求解大规模问题的训练速度,提出了基于样本取样的潜在支持向量机序列最小优化算法,去掉了大部分非支持向量,把支持向量逐渐压缩到取样样本集中.此算法特别适合大样本数据且支持向量个数相对较少的情况.实验表明,改进的序列最小优化算法加速了潜在支持向量机分类器训练时间.     

应用支持向量机回归求解不规则边界边值问题

本文给出了应用支持向量机回归和径向基函数网络求解不规则边界边值问题的算法.两种方法协同使用不包含可调参数的支持向量机回归作为基本的逼近元,它部分影响边界条件;径向基函数网络用来精确的满足边界条件.我们用这种方法求解了一个二维的偏微分方程边值问题并且得到了较好的逼近解.     

一种新的支持向量机增量学习算法

支持向量机学习算法的本质是从训练集中寻找支持向量,因此能否通过训练算法能快速找出支持向量是衡量支持向量机算法优劣的重要标准.本文提出了一种新的快速训练支持向量机的增量学习算法,首先,给出边界向量的定义,然后,对一个给定的新加人的样本,新的学习方法验证其是否为边界向量,如果是,将其加入到训练集中重新训练支持向量机,如果不是,就舍弃,这样能达到减少训练样本、降低训练复杂性目的,最后,给出了一个增量学习算法.实验表明测试误差和支持向量数量与SMO算法大致相当,而训练速度明显加快.     

采用核函数的多用户检测算法

提出了一种基于核函数的多用户检测(MUD)方案,与常规的支持向量机(SVM)学习算法不同的是,判别输出函数中的支持向量采用一种稀疏核逼近方法获取,而其对应系数则由输入采样协方差矩阵的广义特征向量构成,整个算法避免了常规的二次规划(QP)求解过程.仿真结果表明,采用核函数算法的检测性能与SVM检测性能接近,但在较大规模样本集下可有效减小计算量.     

基于模糊支持向量机的网络入侵检测技术

针对支持向量机算法中存在对噪声数据和异常数据敏感的问题,提出了模糊支持向量机算法,并应用于入侵检测.该算法是在传统支持向量机分类器的构造方法中引入隶属度函数,根据不同输入所得到的分类结果,产生相应的惩罚值.将这个方法应用到入侵检测系统中,能较好地将正常数据和异常数据区分开.实验结果表明,采用模糊支持向量机的入侵检测技术,其误报率低于基于支持向量机的入侵检测,同时其检测率也相对较高.     

基于SVM的函数模拟

支持向量机在高维空间中表示复杂函数是一种有效的通用方法, 提出了采用基于支持向量机的非线性回归法求解函数模拟问题.     

基于加权近似支持向量机的文本分类

随着因特网的迅速增长,能够分类大规模文档的高效文本分类算法变得非常重要.该文提出一种基于加权近似支持向量机模型的文本分类算法,加权近似支持向量机对近似支持向量机作了改进,通过为每个训练误差增加一个权值和使用在原空间直接求解的算法,克服了近似支持向量机模型不适合不平衡数据分类和高维数据分类的缺点.试验结果表明,与标准支持向量机算法相比,该算法的分类质量与训练速度都有提高,是一种适合文本分类的高效算法.     

基于遗传支持向量机流量软测量研究

针对中国石油宁夏石化公司离心式CO2压缩机四段出口动态流量准确测量困难的问题,引入软测量方法对动态流量进行测量,实现了基于支持向量机的软测量技术对流量的间接测量．应用遗传算法对支持向量机的参数进行了优化,并将参数优化后的支持向量机得到的体积流量软测量模型的预测效果与实际测量值进行了对比,取得了良好的效果．     

关于改进的支持向量机的研究

支持向量机是一种基于统计学习理论和对偶理论的分类和函数估计方法,其推广能力强和全局最优的特点引起了学者的广泛关注。本论文对目前所提出的各类改进的支持向量机进行了初步的研究和分析。     

A fast SVM training algorithm based on the set segmentation and k-means clustering

At present, studies on training algorithms for support vector machines (SVM) are important issues in the field of machine learning. It is a challenging task to improve the efficiency of the algorithm without reducing the generalization performance of SVM. To face this challenge, a new SVM training algorithm based on the set segmentation and k-means clustering is presented in this paper. The new idea is to divide all the original training data into many subsets, followed by clustering each subset using k-means clustering and finally train SVM using the new data set obtained from clustering centroids. Considering that the decomposition algorithm such as SVMlight is one of the major methods for solving support vector machines, the SVMlight is used in our experiments. Simulations on different types of problems show that the proposed method can solve efficiently not only large linear classification problems but also large nonlinear ones.     

一种新的模糊支持向量回归方法

为克服传统的模糊支持向量机隶属度函数都是基于样本与类中心距离进行设计所带来的局限性问题,提出了基于样本到超平面距离的新隶属度函数设计方法。该方法从支持向量机的回归本质出发,通过更加合理地设计隶属度函数,提高支持向量机的回归的泛化鲁棒能力。仿真结果证明,该方法具有更好的鲁棒性,提高了模糊支持向量机的泛化能力。     

基于支持向量机与遗传算法的发酵过程软测量建模

提出了基于支持向量机的生物量浓度在线估计软测量建模方法,采用遗传算法进行模型输入的选择与支持向量机参数的选取,目的是找到对模型估计结果贡献最大的输入特征变量,降低了输入空间维数,缩小了求解问题的规模,从而减低计算方面的难度,减少了训练实际,同时又通过参数的调整,得到更好的决策函数,提高支持向量机的性能.模型的训练与验证数据都是取自实际的实验过程——诺西肽发酵.结果表明采用遗传算法进行优化的支持向量机软测量模型对生物量质量浓度具有好的预估性能.     

多输出支持向量回归算法

支持向量机是一种基于统计学习理论的新颖的机器学习方法，由于其出色的学习性能。该技术已成为当前国际机器学习界的研究热点．这种方法已广泛用于解决分类和回归问题．在回归中。目前的研究和应用都限于单输出的情况,而实际中有很多属于多输出回归问题．针对这一点，将支持向量回归算法推广到多输出情况．仿真实例说明了该算法的可行性．     

自训练半监督加权球结构支持向量机多分类方法

针对自训练半监督支持向量机算法中的低效问题,采用加权球结构支持向量机代替传统支持向量机,提出自训练半监督加权球结构支持向量机。传统支持向量机需要求解二次凸规划问题,在处理大规模数据时会消耗大量存储空间和计算时间,特别是在多分类问题上更加困难。利用球结构支持向量机进行多类别分类,大大缩短了训练时间,降低了算法复杂度。球结构支持向量机在不同类别样本数目不均衡时训练分类错误倾向于样本数目较小的类别,通过权值的引入,降低了球结构支持向量机对样本不均衡的敏感性,补偿了类别差异对算法推广性能造成的不利影响。在人工数据集和UCI(university of california irvine)数据集上的实验结果表明,该方法对有标记样本的鲁棒性较好,不仅能够提高效率,且分类精度也有显著提高。     

直觉模糊支持向量机

传统的模糊支持向量机难以区分具有相同隶属度的稀疏样本点和稠密样本点,进而可能降低分类精度.为了解决此类问题,利用直觉模糊集和模糊支持向量机,构建了直觉模糊支持向量机.仿真实验结果表明:与传统的支持向量机和模糊支持向量机相比,直觉模糊支持向量机的分类结果更精确.     

基于多分类支持向量机的网络流量预测方法

 针对支持向量机网络流量预测误差较大的问题,提出一种基于多分类支持向量机的网络流量预测方法。该方法在网络流量数据训练阶段通过数据编码,使多分类支持向量机的输出逼近编码值,在预测阶段通过数据解码,将多分类支持向量机的输出转换为实际的网络流量预测结果,从而有效地降低了预测误差。实验结果显示,该方法的预测结果与实际采集的网络流量数据具有相同的变化趋势;在同等实验条件下,该方法预测结果的均方根误差为0.487,而单一支持向量机方法、BP 神经网络方法预测结果的均方根误差分别为1.0954 和2.3642,表明基于多分类支持向量机的网络流量预测方法具有更高的准确性。     

支持向量机研究与应用

支持向量机是在统计学习理论基础上发展起来的一种新的机器学习方法，同时也是到目前为止统计学习理论最成功的实现。支持向量机在模式识别、回归估计、函数逼近等领域有了广泛的应用。论述了支持向量机的研究、应用状况，指出了支持向量机研究和应用中待解决的一些问题和今后进一步的研究方向。