基于模糊C-均值聚类与支持向量机的PMV指标预测系统

为了更好地预测室内热舒适度PMV指标,在分析模糊C-均值聚类方法与支持向量机方法的优势和互补性后,探讨了二者的结合方法,提出了一种基于模糊C-均值聚类预处理的支持向量机PMV指标预测系统.该方法把复杂的数据集看作多个群体的混合,每个群体采用单一的回归模型进行描述,使得大规模数据集的回归估计问题变成了一个多模型估计问题.将该系统应用于PMV指标预测中,与标准支持向量机方法相比, 得到了较高的预测精度,从而说明了基于模糊C-均值聚类方法作为信息预处理的支持向量机学习系统的优越性.     

基于加权双质心支持向量聚类的机群编队分组

针对机群编队分组问题,提出了一种加权双质心支持向量聚类算法。所提算法在支持向量训练时引入最大熵原理,快速求解Lagrange乘子;针对样本特征对聚类结果的贡献不同,在聚类标识过程中,引入加权密度质心,提出了加权双质心聚类标识,并在典型数据集上验证了所提算法的有效性。通过对机群编队分组模型的描述,建立了机群聚类时一个目标点需要的特征集,完成了编队分组的仿真实验。仿真结果表明了所提算法能够针对应用的具体样本集实行快速聚类分析,并保证聚类结果的有效性。     

基于自适应协同聚类的支持向量预选算法

为提高支持向量机在大规模数据集上的训练效率,提出一种基于自适应协同聚类的支持向量预选算法。该方法通过对两类样本进行自适应协同聚类,寻找少量具有协同关系的类中心对,替代支持向量进行训练,从而减少参训样本数量。其中,中心对数量由算法自动确定。与其他支持向量预选算法的对比实验结果表明,自适应协同聚类算法能够在不影响分类性能的情况下,有效提高训练速度,是一种行之有效的快速支持向量预选算法。     

SVM方法及其在客户流失预测中的应用研究

客户流失分析与预测是客户关系管理的重要内容.针对客户流失问题,建立了支持向量机预测模型.针对实际客户流失数据中正负样本数量不平衡而且数据量大的特点,提出带有不同类权重参数的支持向量机算法CW-SVM,通过调整类权重参数改变分类面位置,提高算法分类准确性;将标准支持向量机训练问题转化为运算效率更高的核向量机问题,提出处理不平衡海量数据集的CWC-SVM算法.通过实际银行信贷客户数据集测试,该算法与传统预测算法比较,更适合解决大数据集和不平衡数据,取得较好的客户流失预测效果.     

基于数据分割和集成学习的大规模SVM分类算法

支持向量机对分类问题的求解过程相当于解一个线性约束的二次规划问题,求解的变量个数与训练样本数相等,且需要计算和存储的核矩阵大小与训练样本数的平方相关.随着样本数目的增多,经典的求解二次规划问题的算法不再适用.针对大规模二分类问题,基于数据分割和集成学习策略,本文提出了一种快速支持向量机学习算法.其主要思想是:首先对数据集进行预处理,自动将正负类分别聚成若干子簇;然后对两两组合的正负子簇用SMO算法进行交叉学习,得到多个基本分类器;最后对这些基本分类器进行集成学习.在UCI的5个数据集上的实验表明,与SMO学习算法相比,这种基于数据分割的训练策略在精度几乎没有损失的情况下显著地提高了训练速度.     

一种采用LLE降维和贝叶斯分类的多类标学习算法

多类标数据中的样本可能属于一个或多个类标,因此其分类问题较单类标分类更为复杂。提出一种新的多类标学习算法,首先针对多类标数据的特征属性维数高的特点,采用LLE算法对多类标数据的特征属性进行降维,提取能较完整描述数据的一组低维特征属性集;然后将多类标样本集按所属的类标进行划分,并采用贝叶斯分类模型来学习各组样本集的分类特性;根据各个分类模型的判定类标,综合得到多类标样本的最终类标集。将该算法分别应用到自然场景图像和基因数据的多类标分类学习中,实验结果表明,该算法针对不同的多类标数据集均能取得很好的分类效果,且相比于其他多类标算法有更高的性能。     

基于支持向量机的分布数据挖掘模型DSVM

针对分布环境的数据挖掘要求,提出了基于支持向量机的分布数据挖掘模型DSVM.定义了DSVM中特征多叉树的概念,描述了基于移动Agent访问分布数据集来构建特征多叉树的方法,阐述了通过特征多叉树来反映分布环境各数据集属性总体特征的思想,并利用该数据结构和支持向量机的特点,提出了基于壳向量的分布式支持向量机增量算法来修正和完善特征多叉树,最终实现分布环境下全局的数据挖掘.实验结果表明,该模型有效地解决原有分布环境下其他挖掘算法存储开销大、执行效率差、安全性和隐私性低等问题.     

不平衡数据下基于SVM增量学习的指挥信息系统状态监控方法

针对指挥信息系统历史状态样本有限的特点,基于支持向量机(support vector machines, SVM)设计了一种面向不平衡数据的SVM增量学习方法。针对系统正常/异常状态样本不平衡的情况,首先利用支持向量生成一部分新样本,然后通过分带的思想逐带产生分布更加均匀的新样本以调节原样本集的不平衡比。针对系统监控实时性要求高且在运行过程中会有新样本不断加入的特点,采用增量学习的方式对分类模型进行持续更新,在放松KKT(Karush-Kuhn-Tucker)更新触发条件的基础上,通过定义样本重要度并引入保留率和遗忘率的方式减少了增量学习过程中所需训练的样本数量。为了验证算法的有效性和优越性,实验部分在真实系统中获得的数据集以及UCI数据集中3类6组不平衡数据集中与现有的算法进行了对比。结果表明,所提算法能够有效实现对不平衡数据的增量学习,从而满足指挥信息系统状态监控的需求。     

基于新的决策规则的球形支持向量机分类算法

球形支持向量机是一种学习算法,它通过在高维特征空间中,对每一个模式类别构造一个覆盖其所有训练样本的具有最小体积的超球体,来实现对训练样本空间的划分.在此基础上,提出了一种基于新的决策规则的球形支持向量机算法,并在七个UCI数据集上进行了实验,实验结果表明提出的算法可以取得比标准的支持向量机算法更好的分类效果.     

一种基于支持向量数据描述的损伤诊断方法

为了解决结构损伤诊断中缺乏损伤样本的问题,提出了一种基于支持向量数据描述(SVDD)的结构损伤诊断新方法.该方法只需正常状态的数据样本,而不需要任何损伤数据.首先采用小波包分解对数据预处理,以频带能量序列为特征,然后把多测量点的能量序列融合后作为特征向量,输入到SVDD分类器进行训练,实现损伤的诊断.实验表明,采用频带能量降低了数据维数,有效地浓缩了损伤信息;多测量点数据融合不仅能够使不同传感器的信息相互补充,而且减小了检测信息的不确定性;SVDD分类器较好地区分了结构正常与非正常状态,达到损伤自动诊断的目的.     

基于模糊机会约束SVDD的故障诊断方法

针对使用不确定性数据进行多故障模式诊断问题,以模糊事件的可能性测度为基础,提出一种基于模糊机会约束支持向量数据描述的诊断方法。为有效地求解故障分类模型,提出模糊机会约束规划的对偶规划,根据贯序最小算法 (sequential minimal optimization,SMO)思想提出快速训练算法,利用支持向量数据描述使用一类数据求解分类面的优势,构建多类分类器。数值试验表明,本方法可以有效处理基于不确定数据的故障诊断问题,在故障类别较多的情况,速度有较大提高,具有一定实践意义。     

基于数据域描述的模糊临近支持向量机算法

针对传统支持向量机由于样本中存在孤立点或噪声而导致的过学习问题,通过分析模糊支持向量机和临近支持向量机的特点,借鉴它们的优点:模糊隶属度和临近超平面,提出了一种数据处理方法。该方法考虑了样本点到类中心的距离与样本对分类的贡献率的关系。这种改进使分类更为清晰和准确。结果表明:采用新的模糊隶属度模糊临近支持向量机算法有较高的识别率,但也耗费了较多的训练时间。     

Detecting network intrusions by data mining and variable-length sequence pattern matching

Anomaly detection has been an active research topic in the field of network intrusion detection for many years. A novel method is presented for anomaly detection based on system calls into the kernels of Unix or Linux systems. The method uses the data mining technique to model the normal behavior of a privileged program and uses a variable-length pattern matching algorithm to perform the comparison of the current behavior and historic normal behavior, which is more suitable for this problem than the fixed-length pattern matching algorithm proposed by Forrest et al. At the detection stage, the particularity of the audit data is taken into account, and two alternative schemes could be used to distinguish between normalities and intrusions. The method gives attention to both computational efficiency and detection accuracy and is especially applicable for on-line detection. The performance of the method is evaluated using the typical testing data set, and the results show that it is significantly better than the anomaly detection method based on hidden Markov models proposed by Yan et al. and the method based on fixed-length patterns proposed by Forrest and Hofmeyr. The novel method has been applied to practical hosted-based intrusion detection systems and achieved high detection performance.