基于活跃集迭代法的支持向量机快速增量学习算法

介绍了一种新的支持向量机（SVM），其优化问题的对偶问题为具有简单界约束的凸二次规划问题：探讨了将活跃集迭代法运用于这种SVM的学习算法以及初始活跃集的选取问题；针对增量学习和大规模学习问题，提出了基于活跃集迭代法的SVM快速增量学习算法；实验验证了算法的有效性。     

基于自调节分类面SVM的平衡不平衡数据分类

标准支持向量机(SVM)对不平衡数据集进行分类时,会出现不平衡现象;传统不平衡数据集分类方法只能对不平衡数据集分类,且在分类过程中存在人工因素的参与.提出一种平衡不平衡数据集统一分类方法--自调节分类面支持向量机(self-adjusting classification-plane SVM,SCSVM),设计自适应的分类面调节方法,根据训练错分情况对分类面进行调整,控制正负类样本的错分率使其达到均衡,平衡或不平衡数据集都可采用相同的方法进行分类而不需预知数据集种类.实验表明该方法可对平衡或不平衡数据集进行有效的分类.     

SVM方法及其在客户流失预测中的应用研究

客户流失分析与预测是客户关系管理的重要内容.针对客户流失问题,建立了支持向量机预测模型.针对实际客户流失数据中正负样本数量不平衡而且数据量大的特点,提出带有不同类权重参数的支持向量机算法CW-SVM,通过调整类权重参数改变分类面位置,提高算法分类准确性;将标准支持向量机训练问题转化为运算效率更高的核向量机问题,提出处理不平衡海量数据集的CWC-SVM算法.通过实际银行信贷客户数据集测试,该算法与传统预测算法比较,更适合解决大数据集和不平衡数据,取得较好的客户流失预测效果.     

改进的渐进直推式支持向量机算法

针对半监督学习中渐进直推支持向量机(Progressive Transductive Support Vector Machines, PTSVM)算法存在训练速度慢, 回溯式学习多,学习性能不稳定的问题,提出一种改进的渐进直推支持向量机算法---IPTSVM.该算法利用支持向量的信息选择新标注的无标签的样本点,结合增量支持向量机的迭代更新算法, 继承渐进直推支持向量机渐进赋值和动态调整的规则, 与PTSVM相比,不仅在一般情况下提高了分类的精度,而且大大提高了算法的速度.在人工模拟数据和真实数据上的实验结果表明了该算法的有效性.     

LSVDD: 基于局部支持向量数据描述的稀有类分析算法

在单类支持向量数据描述算法的基础上, 提出了一种基于局部支持向量数据描述的稀有类分析算法: LSVDD, 能够处理存在类重叠的类不平衡问题. 该算法利用支持向量数据描述算法对各类样本分别进行单类学习, 从而获得单类模型; 然后对单类模型的概念重叠区域使用属性选择进一步进行局部单类学习, 最后得到综合分类模型. 在仿真数据集和UCI数据集上的实验结果表明, LSVDD能够有效和稳定地提高稀有类分析精度.     

一种基于QBC的SVM主动学习算法

针对支持向量机(souport vector machine,SVM)训练学习过程中样本分布不均衡、难以获得大量带有类标注样本的问题,提出一种基于委员会投票选择(query by committee,QBC)的SVM主动学习算法QBC-ASVM,将改进的QBC主动学习方法与加权SVM方法有机地结合应用于SVM训练学习中,通过改进的QBC主动学习,主动选择那些对当前SVM分类器最有价值的样本进行标注,在SVM主动学习中应用改进的加权SVM,减少了样本分布不均衡对SVM主动学习性能的影响,实验结果表明在保证不影响分类精度的情况下,所提出的算法需要标记的样本数量大大少于随机采样法需要标记的样本数量,降低了学习的样本标记代价,提高了SVM泛化性能而且训练速度同样有所提高。     

基于边界向量的样本取样SMO算法

在各种支持向量机(SVM)训练算法中,比较突出的训练算法是序贯最小优化(SMO)算法。样本取样SMO算法是在不改变样本分布的前提下对原始训练集进行取样从而压缩样本数量,但由于样本取样具有随机性,如何有效缩减取样范围是改进该算法的主要方向。为此根据边界向量不一定是支持向量,但支持向量一定是边界向量这一理论,得出边界向量集是包含所有支持向量的集合,先提取边界向量再取样,把取样的范围减小到边界向量集里,缩短样本取样SMO算法的时间。实验表明,基于边界向量的样本取样SMO算法的性能要比原算法更优。     

不平衡最小二乘支持向量机

针对标准的最小二乘支持向量机(LSSVM)没有考虑样本分布不平衡的问题提出一种称为不平衡最小二乘支持向量机的算法.首先用标准的最小二乘支持向量机对原始数据进行初步训练,产生一个分离超平面的法向量.然后把高雏样本投影到该法向量上得到一维数据.最后由该一维数据的标准差以及样本数量差异所提供的信息,给出两类数据惩罚因子比例,再用标准的最小二乘支持向量机进行第二次训练,对分离超平面进行调整.该方法克服传统方法只考虑数量的不平衡的不足,将原有样本集中具有的分类信息充分提取出来,提高了最小二乘支持向量机的泛化能力.实验结果表明,所提方法可以有效提高不平衡数据的分类性能.     

一种新型的支持向量机约简方法及其应用

针对支持向量机(Support Vector Machine,SVM)处理大规模数据集常出现的训练速度慢、计算代价大以及实时性差等缺点,将基于密度的样本块划分法和基于欧式距离的边界样本筛选方法相结合,提出了一种新型的支持向量机约简方法。该方法首先进行空间块的划分,根据空间块的密度提取候选样本区域,并通过基于欧式距离改良的相对距离提取出大概率分布支持向量的边界样本。该方法既保证了训练样本的精度,又降低了计算代价,提高了泛化能力。工业应用结果表明了该方法不仅精度不低于SVM,并且计算速度远快于SVM。     

基于修正核函数SVM的网络入侵检测

支持向量机分类方法在小样本、非线性情况下具有较好的泛化性能,在入侵检测系统中有着广泛的应用。针对入侵检测过程中可能出现的由两类样本不平衡造成的分离超平面偏移现象,以核函数所蕴含的黎曼几何为依据,引入一个伪一致性变换函数,对核函数进行修改,提高支持向量机的分类泛化能力,建立基于支持向量机的网络入侵检测系统,并对系统总体结构和运行机制进行了详细的描述。实验仿真表明,该系统可有效地提高入侵检测的准确率,改善由于数据集不平衡造成的支持向量机分类偏移的情况。     

一种基于混合策略的孤立点检测方法

孤立点检测面临数据不平衡和代价敏感两个问题。利用改进的一类支持向量机对数据集进行重构,并结合代价敏感支持向量机提出了一种混合策略检测方法。首先在传统的一类支持向量机优化过程中设定不同权重,通过刻画超平面消除部分正常样本进而平衡数据集;重构过程保留了孤立点信息,同时能克服数据混叠现象。通过代价敏感支持向量机对样本进行训练,利用受试者工作特征分析作为评判依据搜索最优参数,进而调节阈值获得孤立点检测模型。仿真实验结果表明,本文方法能提高检测精度,同时有效降低总的误分类代价。     

基于决策树的快速SVM分类方法

为提高支持向量机（support vector machine, SVM)算法对大规模数据的适应能力,加快SVM算法的分类速度,提出一种基于决策树的快速SVM分类方法。该方法的重点在于构建一棵决策树,将大规模问题分解为相对简单的子问题,树中节点由线性支持向量机组成,每个节点包含一个决策超平面,分类过程取决于节点的数量。此方法在分类复杂样本时避免了使用非线性核函数。并且由于使用线性核函数,则不用进行模型选择,进一步加快了样本的分类速度。实验表明,针对大规模多特征数据的非线性分类问题,该方法比传统方法具有更高的速度。     

合金热挤压中基于混杂模型的突变预测与仿真

通过研究合金热挤压过程中的突变现象与观测参数之间的关系,提出了一种观测值增量估值模型,在此基础上构建了一种基于增量估值模型的混杂系统,实现对挤压过程连续状态和离散状态的有效辨识;其中,针对连续状态的辨识,为了对参量进行有效检测,将参量设计为增量加速度向量,根据观测量瞬间变化时原有稳定系统观测模型与实际情况不匹配,从而导致新息序列统计特性发生变化的事实,构造了一种增量向量检测器;针对离散状态的辨识,采用隐马尔科夫模型,结合混杂模式转换概率矩阵,构建了一种离散状态辨识器。最后,基于新提出的混杂系统模型,设计并实现了一种有效的突变预测算法,仿真实验结果表明,新算法具有良好的突变预判性。     

用于回归估计的支持向量机方法

用于回归估计的支持向量机方法以可控制的精度逼近非线性函数，具有全局最优、良好泛化能力等优越性能，得到广泛的研究。描述了该方法的基本思想，着重讨论了V-SVM、最小二乘SVM、加权SVM、线性SVM等支持向量机的新方法，降低训练时间和减少计算复杂性的分解法、SMO及增量学习算法。在非线性系统参数辨识、预测预报、建模与控制研究中，支持向量机是很有发展前途的研究方法。     

基于改进协同训练的本体映射方法

针对基于机器学习的本体映射方法存在的人工标记代价高和样本不平衡问题,将本体映射建模为二视图上的协同训练问题,分别从本体模式层和数据层提取特征集。通过对本体概念对进行预匹配,缩小样本不平衡度。分析了传统协同训练方法的局限性,结合主动学习思想,设计了一种考虑样本价值的改进协同训练算法,在每轮迭代中选择更有价值的未标记样本更新训练集。实验结果表明,该方法学习效率更高,同时能取得较好的本体映射结果。     

基于支持向量机的分布数据挖掘模型DSVM

针对分布环境的数据挖掘要求,提出了基于支持向量机的分布数据挖掘模型DSVM.定义了DSVM中特征多叉树的概念,描述了基于移动Agent访问分布数据集来构建特征多叉树的方法,阐述了通过特征多叉树来反映分布环境各数据集属性总体特征的思想,并利用该数据结构和支持向量机的特点,提出了基于壳向量的分布式支持向量机增量算法来修正和完善特征多叉树,最终实现分布环境下全局的数据挖掘.实验结果表明,该模型有效地解决原有分布环境下其他挖掘算法存储开销大、执行效率差、安全性和隐私性低等问题.     

基于改进半监督朴素贝叶斯的LPI雷达信号识别

针对先验信息残缺的非合作电子对抗背景下的低截获概率雷达信号识别问题,提出一种基于改进的半监督朴素贝叶斯的识别算法。该算法首先提取出4种低截获概率(low probability of intercept,LPI)雷达信号的双谱对角切片作为识别特征;针对传统的半监督朴素贝叶斯(semi-supervised Naive Bayes,SNB)在更新训练样本集过程中会产生迭代错误的不足,利用改进的SNB(Revised SNB, RSNB)算法构建分类器,完成对测试样本的识别。该方法通过在无标记样本集生成的置信度列表中选取置信度较高的样本添加到有标记样本集中,再利用预测后的分类结果对分类器参数(即特征期望向量m i和方差向量σ i)进行改进,有效解决了传统算法分类精度低且分类性能不稳定等缺点。理论分析和仿真结果表明,在LPI雷达信号识别问题,相比于SNB算法和传统的主成分分析加支持向量机法(principal component analysis-support vector machine, PCA-SVM),该算法具有更高的分类识别率和更好的分类性能。     

基于加权双质心支持向量聚类的机群编队分组

针对机群编队分组问题,提出了一种加权双质心支持向量聚类算法。所提算法在支持向量训练时引入最大熵原理,快速求解Lagrange乘子;针对样本特征对聚类结果的贡献不同,在聚类标识过程中,引入加权密度质心,提出了加权双质心聚类标识,并在典型数据集上验证了所提算法的有效性。通过对机群编队分组模型的描述,建立了机群聚类时一个目标点需要的特征集,完成了编队分组的仿真实验。仿真结果表明了所提算法能够针对应用的具体样本集实行快速聚类分析,并保证聚类结果的有效性。     

一种片率增量SVM多用户检测器算法仿真研究

码分多址(CDMA)系统中的多用户检测(MUD)实质上是一盲信源分离问题,通过在上行链路接收端获取采样的混合信号,然后根据扩频码特征及波束形成算法进行初步预分离,进而将片率信号作为支持向量机(SVM)的训练信号,在SVM中将所有用户通过1-1模式构造多目标分类器,通过类增量学习方式进行目标信号分类,最终获取期望用户的检测值。文中最后给出了仿真结果及分析比较,验证了算法的可行性。