基于重采样策略的选择性谱聚类集成学习算法

提出了一种新的基于双重采样的选择性集成学习算法。针对集成学习要求学习器个体的差异性分布在样本空间的不同部分,对得到的聚类个体学习器输出进行重采样,以此来计算聚类个体的差异性。针对集成学习要求得到的个体学习器具有一定的精确性,对所有得到的学习器个体集合进行重采样来评估聚类个体精确性。在此基础上选择出集成学习所需的个体集合。以谱聚类算法作为基学习器,用聚类集成策略部分解决了谱聚类算法存在的尺度参数敏感问题,在UCI数据集上的仿真实验验证了算法的有效性。     

基于密度敏感的改进自适应谱聚类算法

针对谱聚类算法在构造相似矩阵时对尺度参数敏感以及对多尺度数据集聚类效果不太理想的问题,提出了基于密度敏感的改进自适应谱聚类算法.首先利用密度差来调整簇类样本点之间的相似度构造新的相似矩阵函数,然后利用新的相似矩阵构造拉氏矩阵,选取拉氏矩阵的前k个最大特征值对应的特征向量组成新的向量空间,新的向量空间中的点与原始数据一一对应,最后引入K-means聚类算法对数据点进行聚类.该算法在降低对尺度参数敏感性的同时又改善了对多尺度数据集的处理.通过在人工数据集以及UCI数据集仿真实验结果表明,本文提出的算法具有较优的聚类效果.     

基于核的自组织映射聚类

将核学习的方法应用于自组织映射聚类中,提出了一种核自组织映射聚类算法.该算法以核函数代替原始数据在特征空间中映射值的内积,并且神经元权值向量的初始化和更新都可由其组合系数向量表示,从而获得了直观而简单的迭代公式.分析了算法中学习速率过高会降低学习稳定性、学习速率过低又会降低收敛速度等参数选择问题,给出了一组折中考虑学习稳定性和收敛速度要求的参数初始值.实验结果表明,核自组织映射聚类对于非椭圆型的类分布数据,如环形数据,聚类正确率也能够达到99.886 4%.对IRIS数据集和入侵检测报警数据的聚类也证明了核自组织映射聚类方法的良好性能.     

融合多特征和谱聚类集成的图像分割方法

针对图像单一特征分割结果的适应局限性,提出融合多特征和谱聚类集成的图像分割方法(MFSC-IS).首先对图像进行基于粒计算的多特征子分割;然后将分割结果映射到超图,利用谱聚类集成算法得到最终分割结果.实验结果表明,与Gpb(Globalized probability of boundary)算法相比,融合多特征和谱聚类集成方法可以得到一个相对较好的分割结果.     

一种基于抽样的谱聚类集成算法

谱聚类是利用样本数据集的相似性矩阵中特征向量的性质对样本数据集进行聚类.而随着数据规模的增加,谱聚类算法所耗时间会因为大规模的特征分解而明显增大.采用抽样方法可以有效降低算法所耗时间,但是简单随机抽样子集之间关联性太弱,通常无法准确反映数据集的分布特征.基于此,设计了一种新的抽样策略,利用该方法进行多次抽样,生成多个既具有关联性又具有差异性的数据子集.在每个数据子集上分别利用NJW算法(由Ng A Y、Jordom M I和Weiss Y提出)进行谱聚类,并根据最近邻原则将聚类结果映射到全体数据集,生成若干基聚类,最后,将聚类结果集成,得到最终的聚类划分.实验证明,该方法与传统NJW算法以及简单抽样集成算法相比,算法的效率及有效性有了一定的提高.     

采用仿射传播的聚类集成算法

针对K均值聚类随机初始聚类中心导致的聚类结果不稳定问题,提出一种基于仿射传播的聚类集成算法.该算法把每个聚类集成的成员个体结果看成是原始数据的一个属性,然后在其基础上对聚类成员个体的聚类结果进行加权集成,集成算法采用简单高效的仿射传播聚类,并且提出了直接集成、利用平均规范化互信息(NMI)和聚类有效性Silhouette指标进行加权集成.最后,运用Hungarian算法对仿射传播聚类集成的结果进行类别标签的统一和匹配.在加州大学尔湾分校数据集上进行了实验,结果表明,与集成前的K均值聚类及其他聚类集成算法相比,该算法能有效地提高聚类结果的准确性、鲁棒性和稳定性,建立起来的聚类集成算法具有良好的扩展性和灵活性,而且简单有效.     

基于支持向量回归集成的陀螺仪参数漂移预测

泛化能力是智能方法用于参数预测的最重要的问题之一,提出了支持向量回归集成方法。为了增加个体之间的差异性,提出了基于聚类方法的个体生成方法。首先利用聚类方法将样本分为若干子类,然后用不同结构的支持向量回归学习不同的样本子类,权值由个体在验证集上的泛化误差决定。将ESVR陀螺仪参数飘移数据的预测,并与单支持向量回归,单神经网络,神经网络集成以及组合预测方法进行比较。结果证实,ESVR的预测精度总体高于其他方法。     

一种基于集成学习的分布式聚类算法

基于集成学习的思想,提出一种分布式聚类模型.该模型的分布式处理过程分为2个阶段:先在局部站点局部聚类,然后在全局站点全局聚类.局部站点的局部聚类看作是一种基于数据子集的学习过程,所有的局部聚类结果组成了聚类集成系统的个体学习器,全局聚类采用平均法对局部结果进行集成,并定义了一个准则函数来度量集成的精度.把K-means算法推广到分布式环境,提出一种基于该模型的分布式K均值算法DK-means,该算法对局部数据的分布有较强的伸缩性.实验结果表明,DK-means在同等条件下能达到集中式聚类的精度水平,是有效可行的,从而验证了基于集成学习的分布式聚类模型的有效性.     

基于乘法更新规则的k-means与谱聚类的联合学习

k-means和谱聚类是两种应用最广泛的聚类技术. k-means是基于矩阵分解的聚类方法,并且是在数据空间上基于误差极小化的聚类方法 .谱聚类是基于图的聚类方法,并且是基于两点在数据空间和特征空间的相似性保持的聚类方法.为了利用两者的优势,提出一种基于乘法更新规则的k-means和谱聚类的联合学习方法,该方法将k-means和谱聚类结合成一个统一的聚类模型,该模型可在单次优化中同时优化k-means和谱聚类的目标;此外,还基于乘法更新规则设计了对聚类中心C与聚类指示器Y进行迭代更新的优化算法.重要的是,在理论上证明了所设计算法的正确性和收敛性.在典型的数据集上进行测试,实验结果表明提出的联合学习算法在聚类精度和标准互信息度指标上都有所提高.     

基于成对约束的主动学习半监督聚类算法

半监督学习是近年来机器学习领域中的一个重要研究方向,其监督信息的质量对半监督聚类的结果影响很大,主动学习高质量的监督信息很有必要.提出一种纠错式主动学习成对约束的方法,算法通过寻找聚类算法本身不能发现的成对约束监督信息,将其引入谱聚类算法,利用该监督信息来调整谱聚类中点与点之间的距离矩阵.采用双向寻找的方法,将点与点间距离进行排序,使得学习器即使在接收到没有标记的数据时也能进行主动学习,实现了在较少的约束下可得到较好的聚类结果.同时,该算法降低了计算复杂度,并解决了聚类过程中成对约束的奇异问题.通过在UCI基准数据集以及人工数据集的实验表明,算法的性能好于相关对比算法,并优于采用随机选取监督信息的谱聚类性能.