基于重采样策略的选择性谱聚类集成学习算法

提出了一种新的基于双重采样的选择性集成学习算法。针对集成学习要求学习器个体的差异性分布在样本空间的不同部分,对得到的聚类个体学习器输出进行重采样,以此来计算聚类个体的差异性。针对集成学习要求得到的个体学习器具有一定的精确性,对所有得到的学习器个体集合进行重采样来评估聚类个体精确性。在此基础上选择出集成学习所需的个体集合。以谱聚类算法作为基学习器,用聚类集成策略部分解决了谱聚类算法存在的尺度参数敏感问题,在UCI数据集上的仿真实验验证了算法的有效性。     

基于聚类技术的集成学习方法研究

研究了基于聚类技术提高分类器差异性的方法.通过Bootstrap技术与分类器学习算法训练分类器模型,利用分类器在验证集上的分类结果作为聚类的数据对象;然后应用聚类算法对这些数据聚类,并在每个簇中选择分类器代表模型,以此构成集成学习的成员;最后应用融合方法实验研究了基于聚类技术提高差异性的集成学习性能,并与集成学习方法bagging,adaboost进行了实验比较.     

Clustering Categorical Data：A Cluster Ensemble Approach

Clustering categorical data, an integral part of data mining, has attracted much attention recently. In this paper, the authors formally define the categorical data clustering problem as an optimization problem from the viewpoint of cluster ensemble, and apply cluster ensemble approach for clustering categorical data. Experimental results on real datasets show that better clustering accuracy can be obtained by comparing with existing categorical data clustering algorithms.     

一种改进的神经网络集成法预测PMV指标

为解决大样本的PMV指标预测问题,采用基于模糊聚类的神经网络集成方法,将原始样本集模糊划分为多个相交子集,通过这些模糊子集训练神经网络得到预测个体,再对个体输出加权结合获得预测结果.在进行神经网络集成过程中,采用微粒群算法有效克服了聚类和常规神经网络训练容易陷入局部最优的缺点,总结出一种更加有效的神经网络集成方法.实验结果表明:基于微粒群的神经网络集成算法有较好的全局优化性能,其集成的神经网络系统能更准确地预测PMV指标.     

一种基于聚类和AdaBoost的自适应集成算法

为同时保证基分类器的准确性和差异性, 提出一种基于聚类和AdaBoost的自适应集成算法. 首先利用聚类算法将训练样本分成多个类簇; 然后分别在每个类簇上进行AdaBoost训练并得到一组分类器; 最后按加权投票策略进行分类器的集成. 每个分类器的权重是自适应的, 且为基于测试样本与每个类簇的相似性及分类器对此测试样本的分类置信度计算得到. 实验结果表明, 与AdaBoost,Bagging(bootstrap aggregating)和随机森林等代表性集成算法相比, 该算法可取得更高的分类精度.     

基于聚类算法的选择性神经网络集成

为了提高集成个体的差异度,提出了一种利用聚类算法去除冗余个体的选择性集成方法,该方法通过使用神经网络作为基学习器,并在多值分类数据集上进行实验．结果表明,该技术计算效率高,精度与稳健性也与基于遗传算法的选择性集成方法相当甚至占优．     

一种新的动态SVM选择集成算法

针对动态选择集成算法存在当局部分类器无法对待测样本正确分类时避免错分的问题,提出基于差异聚类的动态SVM选择集成算法。算法首先对训练样本实施聚类,对于每个聚类,算法根据精度及差异度选择合适的分类器进行集成,并根据这些分类器集成结果为每个聚类标定错分样本区,同时额外为之设计一组分类器集合。在测试过程中,根据待测样本所属子聚类及在子聚类中离错分样本区的远近,选择合适的分类器集合为之分类,尽最大可能的减少由上一问题所带来的盲区。在UCI数据集上与Bagging-SVM算法及文献［10］所提算法比较,使用该算法在保证测试速度的同时,能有效提高分类精度。     

基于模糊划分的神经网络集成

基于模糊聚类思想,提出了一种神经网络集成方法.由训练数据的模糊聚类结果,把训练数据划分成相交子集,基于各子集生成集成的个体神经网络.由于各子集所包含的数据和数据的类别各不相同,因而个体神经网络性能和结构存在差异.子集个数确定集成中个体神经网络个数.另外,基于隶属度函数计算公式,提出了个体神经网络输出结论结合方法.理论分析和实验结果表明,此方法对模式分类能取得较好的效果.     

基于聚类集成的网络入侵检测算法

为了进一步提高网络入侵检测的效果,提出一种基于聚类集成的入侵检测算法。首先利用Bagging算法从训练集中生成多个训练子集。然后调用模糊C均值聚类算法训练并生产多个基本聚类器。然后利用信息论构造适应度函数。采用粒子群算法从上述聚类集体中获得一个具有最优性能的集成聚类器。仿真实验结果表明,该算法能有效的提高入侵检测的精度,具有较高的泛化性和和稳定性。     

基于谱聚类的词和文档的联合聚类

文档聚类和词聚类都是重要且被充分研究的问题.大多数现有的聚类算法针对文档和词是分别聚类,不是同时的.本文提出文档集作为文档和词间的一个二部图的模型思想,使用这个思想,联合聚类问题可以被看成二部图的分割问题.为了解决图的分割问题,使用一个新的联合谱聚类算法,即使用适度规模的词-文档矩阵的奇异向量产生好的分割结果.谱算法得到一些最佳的性能,表明奇异向量通过连续放松解决图划分的NP难问题.最后通过实验结果验证联合聚类算法在实践中非常有效.     

一个基于谱图分割的简单聚类算法

目前谱聚类在文本分类、图像分割和信息检索等领域的应用越来越引起研究者的重视,并取得了一定的成果、但是,大多数已有的谱聚类算法需要事先给定聚类数．在k-means算法、EM等聚类方法中也存在相似的问题、在此介绍了一种简单的容易实现的谱聚类算法,可以自动确定合适的聚类数．实验表明本算法结果很好、     

A rough sets based pruning method for bagging ensemble

Ensemble techniques train a set of component classifiers and then combine their predictions to classify new patterns. Bagging is one of the most popular ensemble techniques for improving weak classifiers. However, it is hard to deploy in many real applications because of the large memory requirement and high computation cost to store and vote the predictions of component classifiers. Rough set theory is a formal mathematical tool to deal with incomplete or imprecise information, which has attracted a lot of attention from theory and application fields. In this paper, a novel rough sets based method is proposed to prune the classifiers obtained from bagging ensemble and select a subset of the component classifiers for aggregation. Experiment results show that the proposed method not only decreases the number of component classifiers but also obtains acceptable performance.     

聚类集成中的外部有效性指标评估研究

基于提供的11种聚类外部指标来组合多个聚类,通过单个对象的簇标记变化递增地更新目标函数来求出共识聚类,并利用模拟退火优化算法框架来解决局部最优问题。在UCI和TREC数据库中选取10个数据集进行几种算法的外部指标聚类性能评估实验,从实验数据的归一化角度和排序角度评估不同外部指标的聚类性能,结果表明:M_SS3指标从整体性能表现上最适合用于引导聚类集成,可以作为算法默认的共识函数;基于模拟退火优化算法的聚类集成算法在7个数据集上优于其他聚类方法,而DBSCAN、MCLA、Kmearns算法则在其余3个数据集上表现最好。     

基于时空相似系数的环形交叉口车辆轨迹聚类

为了分析交叉口车辆运行轨迹的规律性, 提高环形交叉口交织段的通行能力, 提出基于时空相似系数的环形交叉口车辆轨迹聚类方法。 针对规定区域车辆轨迹, 分析车辆轨迹时空信息并计算得到时空相似系数, 同时采用谱聚类进行聚类, 将交叉口区域内一段时间内的轨迹聚类情况进行可视化展示。 经过实例验证, 所提出的方法能够有效地约简数据, 并可提取出轨迹信息中的潜在规律, 为进一步的决策工作提供一定的参考价值。     

混合属性数据聚类融合算法

混合属性数据集是现实世界特别是商业金融数据库中最普遍的数据集类型,但适用于这类数据集的聚类算法极少。该文根据聚类融合的方法体系,针对混合属性数据集的特点,提出了基于聚类融合的混合属性特征聚类算法(CEM C),建立了算法框架,列出了算法目标函数和算法主要步骤,并分析了算法复杂度。该算法可以有效处理混合属性海量数据集。用真实数据集验证了算法,并将此算法应用于实际的客户关系管理数据分析中,得到了较好效果。     

基于协同学的人脸分类集成

提出了一种基于协同学的人脸分类集成方法.选择不同的训练样本作为原型模型,以增加原型模型的多样性;识别时,将序参量转化为后验概率,分别运用投票法和基于和的后验概率集成方法进行识别,并提出了一种改进的基于和的后验概率集成方法,来提高集成的效果.另外,将核主分量分析和协同模式识别进行结合,在运用协同模式识别之前,先采用核主分量分析获得原始图像的最优非线性表示,以提高模式的可分性,并消除图像冗余信息的影响,然后再进行协同人脸分类.对Y a le人脸库中的图像进行识别实验,结果表明所提方法的有效性,取得了比经典的协同模式识别方法和核主成分分析更好的结果.     

K近邻的自适应谱聚类快速算法

谱聚类算法建立在谱图划分理论基础上,与传统的聚类算法相比,它具有能在任意形状的样本空间上聚类且收敛于全局最优解的优点。然而,谱聚类算法涉及如何选取合适的尺度参数σ构造相似度矩阵的问题。并且,在处理大规模数据集时,聚类的过程需要较大的时间和内存开销。研究从构造相似度矩阵入手,以传统NJW算法为基础,提出一种基于K近邻的自适应谱聚类快速算法FA-SC。该算法能自动确定尺度参数σ;同时,对输入数据集分块处理,并用基于K近邻的稀疏相似度矩阵保存样本信息,减少计算的内存开销,提高了运行速度。通过实验,与传统谱聚类算法比较,FA-SC算法在人工数据集和UCI数据集上能够取得更好的聚类效果。     

融合多特征和谱聚类集成的图像分割方法

针对图像单一特征分割结果的适应局限性,提出融合多特征和谱聚类集成的图像分割方法(MFSC-IS).首先对图像进行基于粒计算的多特征子分割;然后将分割结果映射到超图,利用谱聚类集成算法得到最终分割结果.实验结果表明,与Gpb(Globalized probability of boundary)算法相比,融合多特征和谱聚类集成方法可以得到一个相对较好的分割结果.     

基于主成分聚类分析的采矿方法优选

 采矿方法优选涉及到多指标体系的分类及综合评价问题,利用主成分分析简化了指标结构,将主成分分析与聚类分析相结合,提出了主成分聚类分析法,并基于该方法对来自某矿山的15个试样的采矿方法进行了优选。在此过程中,针对传统主成分分析方法的缺点和应用中可能出现的误区,通过均值化改进了主成分分析的特征提取,通过以主成分得分为新的数据基础做聚类分析改善了综合评价效果;对主成分含义给出了较为明确的解释;对主成分聚类、第一主成分得分、主成分综合得分的排序结果进行了对比分析。研究表明,主成分聚类分析法则既可以对多变量数据进行合理地分类,又能对各类优劣程度做出综合评价,能充分反映矿山的实际情况,终选出的采矿方法在工业试验后成效显著,验证了该决策方法是切实可行的。     

一种新的遗传策略在含“开关”过程的集合预报中的有效应用

针对初值及模式的不确定性,进行了初值扰动集合预报和模式扰动集合预报。在初值扰动集合预报中,将一种新的遗传策略用于四维变分资料同化生成集合预报的分析场,求解条件非线-}生最优扰动,并结合第二、第三主奇异向量（SVs）生成集合预报的初始扰动。为了检验该方法的有效性,采用一个含“开关”过程的偏微分方程的预报模式,设计了3种比较数值试验方案。结果表明：采用第3方案的集合预报在预报技巧上明显高于其他两种方案。第2方案和第1方案相比,由于“开关”的影响,集合预报技巧提高并不明显。在模式扰动集合预报数值实验中,为了模拟模式的不确定性,在控制方程右端添加6个随机的误差项模拟由于物理参数化方案的不同而带来的模式扰动,采用新的遗传策略在扰动模式中同化出6个对应于扰动模式的分析场后进行集合预报,并与基于伴随技术的方法进行比较。结果表明,基于遗传算法的扰动模式集合预报的预报技巧明显优于伴随方法,且这种优势随着预报时间的增加愈发明显。