基于改进近邻传播算法的聚类质量评价模型

针对近邻传播(Affinity Propagation,简称AP)算法在对非团状数据集聚类过程中出现的局部聚类较多、精准度不高等问题,提出了一种基于改进AP算法的聚类质量评价模型.首先,在AP算法初步聚类的基础上,通过合并相似度较大的簇,减小聚类上限值k_max,进一步压缩聚类区间范围;其次,给出一个新的内部评价指标,用分属不同簇的样本对的平均距离代表簇间距离,削弱噪声数据的影响,平衡簇间分离度与簇内紧致度的关系.在UCI和KDD CUP99数据集上的实验结果表明,新模型可以给出精准的最优聚类数(范围),能够在保持较低漏报率的同时,有效提高样本的检测率和分类正确率.     

一种基于流形距离的迭代优化聚类算法

针对传统欧氏距离测度描述复杂结构的数据分布会失效的问题,引入能有效反映样本集固有的全局一致性信息的流形距离作为样本间相似度度量测度,并设计了反映类内相似度大、类间相似度小的聚类目标的准则函数,把数据聚类转化成准则函数优化问题,提出了一种迭代优化的聚类算法.通过4个人工数据集的仿真试验结果表明,新方法的参数很少且实现简单,由于实现过程中没有引入随机操作,因此结果比较确定.与标准k均值算法相比,新方法能够自动确定聚类数目,对于样本空间分布复杂的聚类问题具有良好的分类效果.     

Weka平台上距离指数自动寻优的模糊C-均值聚类算法

针对距离计算对模糊C.均值聚类(Fuzzy C-Means,FCM)中心比较敏感的问题,文中提出了一种改进的模糊C.均值聚类算法(Minkowski Fuzzy C-Means,MFCM).MFCM算法采用距离指数可自动寻优的闵可夫斯基距离代替欧氏距离来计算样本集的相似度,以提高数据集的聚类准确率,减小平方误差总和.实验结果表明,Glass数据集、Balance-scale数据集和Vehicle数据集的聚类准确率分别由原来的42.52％、55.84％和45.86％提升到51.87％、62.56％和45.98％.此外,文章在开源数据挖掘Weka平台上实现了FCM和MFCM算法,弥补了Weka平台上集成少量聚类算法的不足.     

利用测地线距离的改进谱聚类算法

针对往复式压缩机故障数据空间分布复杂、常规算法不能有效聚类的问题,提出了一种改进的谱聚类算法.该算法使用新的相似度矩阵计算方式,根据故障数据流形分布的特点引入测地线距离取代欧氏距离作为数据间的关系度量;通过计算各数据点的邻域密度因子有效地识别和剔除了噪声点;利用基于密度的局部欧氏距离调整方法对流形间隙过小的区域进行了处理.在几个人工数据集和往复式压缩机故障数据集上的测试结果表明,改进谱聚类算法对于具有流形分布、多尺度、有噪声、流形间隙过小甚至交叉等特点的数据具有很好的聚类能力,聚类准确率比常规的k-均值和MSCA谱聚类算法分别提高了50.86%和8.6%.     

基于Minkowski距离的一致聚类改进算法及应用研究

针对一致聚类算法中聚类数目判断不准确、聚类速度慢等问题,通过集成复杂网络中的Newman贪婪算法与谱聚类算法,提出了一种新的基于Minkowski距离的一致聚类算法.该算法利用Minkowski距离刻画样本间的相似度,根据随机游走策略,结合不同数据的特征值分布分析方法进行聚类,实现聚类数目的自动识别.实验仿真说明算法具有较少的运算时间及较高的聚类精度.结合实际铜矿泡沫浮选过程特点,将该算法应用于浮选工况分类,进一步验证了算法的有效性.     

基于MapReduce的大规模文本聚类并行化

建立快速有效的针对大规模文本数据的聚类分析方法是当前数据挖掘研究和应用领域中的一个热点问题.为了同时保证聚类效果和提高聚类效率,提出基于"互为最小相似度文本对"搜索的文本聚类算法及分布式并行计算模型.首先利用向量空间模型提出一种文本相似度计算方法;其次,基于"互为最小相似度文本对"搜索选择二分簇中心,提出通过一次划分实现簇质心寻优的二分K-means聚类算法;最后,基于MapReduce框架设计面向云计算应用的大规模文本并行聚类模型.在Hadoop平台上运用真实文本数据的实验表明:提出的聚类算法与原始二分K-means相比,在获得相当聚类效果的同时,具有明显效率优势;并行聚类模型在不同数据规模和计算节点数目上具有良好的扩展性.     

关于马氏距离模糊聚类的有效性指标研究

为了研究基于马氏距离模糊聚类算法的有效性,首先对比分析了基于数据集模糊划分与几何结构的模糊聚类有效性指标,确定了将紧致度、分离度与清晰度结合的有效性研究方向,然后针对基于马氏距离的模糊聚类提出新的度量标准,构造有效性指标,最后结合算法在真实数据集上进行实验,结果表明新指标能准确识别马氏距离模糊聚类算法在多维数据上的最佳聚类数目。     

基于词向量和EMD距离的短文本聚类

短文本聚类在数据挖掘中发挥着重要的作用,传统的短文本聚类模型存在维度高、数据稀疏和缺乏语义信息等问题,针对互联网短文本特征稀疏、语义存在奇异性和动态性而导致的短文本聚类性能较差的问题,提出了一种基于特征词向量的文本表示和基于特征词移动距离的短文本聚类算法。首先使用Skip-gram模型(Continuous Skip-gram Model)在大规模语料中训练得到表示特征词语义的词向量;然后利用欧式距离计算特征词相似度,引入EMD(Earth Movers Distance)来计算短文本间的相似度;最后将其应用到Kmeans聚类算法中实现短文本聚类。在3个数据集上进行的评测结果表明,效果优于传统的聚类算法。     

一种提高文本聚类算法质量的方法

针对基于VSM(vector space model)的文本聚类算法存在的主要问题,即忽略了词之间的语义信息、忽略了各维度之间的联系而导致文本的相似度计算不够精确,提出基于语义距离计算文档间相似度及两阶段聚类方案来提高文本聚类算法的质量.首先,从语义上分析文档,采用最近邻算法进行第一次聚类;其次,根据相似度权重,对类特征词进行优胜劣汰;然后进行类合并;最后,进行第二次聚类,解决最近邻算法对输入次序敏感的问题.实验结果表明,提出的方法在聚类精度和召回率上均有显著的提高,较好解决了基于VSM的文本聚类算法存在的问题.     

基于粒子群优化的马氏距离模糊聚类算法

为解决传统模糊聚类迭代算法对初始化敏感,易陷入局部最优及处理高维数据时精度下降的问题,对基于马氏距离的模糊聚类算法(fuzzy c-means algorithm based on Mahalanobis distance,M-FCM)进行优化。将马氏距离代替欧氏距离,通过构造类内紧致度、类间分离度与类间清晰度结合的适应度函数,利用粒子群优化算法(particle swarm optimization,PSO)对马氏距离模糊聚类进行研究,提出了基于粒子群优化的马氏距离模糊聚类算法(Mahalanobis distance fuzzy clustering algorithm based on particle swarm optimization,DPSOM-FCM),并将此新算法与FCM(fuzzy c-means algorithm),M-FCM,PSO-FCM,IFPSOFCM(importance for fuzzy clustering algorithm based on particle swarm optimization)算法,在UCI(university of californiairvine)数据库的6个标准数据集上进行实验对比分析。结果表明,DPSOM-FCM算法具有算法收敛性和聚类有效性,并且聚类精确度优于其他算法,对高维数据的聚类识别能力强,即该算法具有全局优化作用。     

基于逻辑回归函数的加权K-means聚类算法

传统K-means聚类算法通过欧式距离计算样本的相似度,将数据所有的属性特征均平等对待,忽略每个属性特征的不同贡献,导致样本相似度计算的准确率不高.针对这个不足,提出一种特征加权的K-means算法进行优化.首先,运用Softmax和Sigmoid逻辑回归函数计算特征权重,使得加权的欧式距离更能准确地表示样本相似度;其...     

IAGNES algorithm for protocol recognition

In the process of protected protocol recognition,an improved AGglomerative NESting algorithm( IAGNES) with high adaptability is proposed,which is based on the AGglomerative NESting algorithm( AGNES),for the challenging issue of how to obtain single protocol data frames from multiprotocol data frames. It can improve accuracy and efficiency by similarity between bit-stream data frames and clusters,extract clusters in the process of clustering. Every cluster obtained contains similarity evaluation index which is helpful to evaluation. More importantly,IAGNES algorithm can automatically recognize the number of cluster. Experiments on the data set published by Lincoln Laboratory shows that the algorithm can cluster the protocol data frames with high accuracy.     

基于流形分析与AP算法RBF神经网络分类器

提出了一种基于流形分析与近邻传播（AP）算法的径向基函数（RBF）神经网络分类算法.通过流形分析算法对数据集进行初步处理,然后通过指数函数调整相似度矩阵,再重新进行AP聚类,在此基础上构造RBF神经网络分类器,通过拟合正确率来判断算法是否收敛,并对分类结果运用FMI指标进行评价.实验结果表明：改进算法中RBF网络隐节点数普遍得到增加,使得RBF神经网络拟合精度得以提高;从分类结果可以看出该算法对训练数据集都获得了很好的拟合正确率,对测试数据集也获得了较高的测试正确率.     

基于对应分析的冗余模糊C均值聚类算法研究

针对模糊C均值聚类（FCM）算法聚类原型最适合于球状类型簇的特点,提出了基于类间分离度和类内紧缩度加权的冗余聚类中心的FCM算法,即先将大簇或者延伸形状的簇（非凸）采用加权FCM算法分割成多个小类（冗余类）,从而规避FCM算法对初始聚类中心敏感的弱点．由于隶属度划分矩阵的元素是每个样本隶属于各冗余类的隶属度值,因此将其作为各冗余类的类特征,通过对应分析得到冗余类的新特征,再次采用加权FCM算法进行冗余类合并,最后达到分类效果．以代表曲线分割和曲面分割分类问题的3个典型数据集为算例,结果表明该方法能够识别不规则的簇,解决了FCM算法对初始聚类中心敏感的缺陷．     

基于遗传算法的动态文本聚类

为了解决动态文本聚类中聚类中心陷于局部极值点的问题,该文提出了基于遗传算法的动态文本聚类方法.采用二进制编码方式对聚类中心进行编码、类内中的点与其类中心的欧氏距离作为适应度函数.通过遗传算子的操作对类中心进行逐步迭代,直至适应度函数收敛,得到使聚类划分效果最好的聚类中心.实验表明该方法可以克服局部极值点的问题,且聚类结果的评价指标Purity(纯度)也比较好.     

基于类间损失和多视图融合的深度嵌入聚类

针对深度嵌入聚类方法仅考虑类内关系及多视图聚类存在特征表示不足等问题,提出一种基于类间损失和多视图特征融合的深度嵌入聚类方法,该方法在深度嵌入聚类的损失函数中引进一个新的正则项提高类判别性.先通过自动编码器提取多视图数据的特征表示,对不同视图的特征表示进行融合得到公共表示,基于此得到数据的软分配分布和辅助目标分布;再对公共表示和聚类分配进行联合优化得到最终的聚类结果.在多视图数据集上的实验结果表明,该方法能有效提高聚类性能.     

K-均值算法中聚类个数优化问题研究

在传统的K-均值聚类算法中,聚类数K必须事先给定,然而,实际中K值很难被精确的确定,K值是否合理直接影响着K-均值算法的好坏。针对这个缺点,提出一种优化聚类数算法,根据聚类算法中类内相似度最大差异度最小和类间差异度最大相似度最小的基本原则,构建了距离评价函数F(S,K)作为最佳聚类数的检验函数,建立了相应的数学模型,并通过仿真实验进一步验证了新算法的有效性。     

MapReduce框架下基于抽样的分布式K-Means聚类算法

提出一种MapReduce框架下基于抽样的分布式K-Means聚类算法,解决海量数据环境下并行执行K-Means算法时,时间开销较大的问题.该算法使用抽样方法,在保证数据分布不变的前提下,对数据集的规模进行约减,并在MapReduce框架下对聚类算法进行优化.实验结果表明,该算法在保持良好聚类效果的同时,能有效缩短聚类时间,对大规模数据集具有较高的执行效率和较好的可扩展性.     

基于多维缩放和KICIC的电力负荷聚类

电力负荷曲线聚类在电力大数据研究中有重要的应用。针对传统负荷聚类方法难以有效处理海量化的高维负荷数据,以及存在簇间样本模糊导致算法聚类质量不高、聚类效率低下等问题,提出一种结合多维缩放(multi-dimensional scaling, MDS)和一种新的集成簇间、簇内欧式距离的加权K-means方法(weighting k-means clustering approach by integrating intra-cluster and inter-cluster distances, KICIC)的聚类算法(MDS-KICIC)。该方法首先采用MDS算法对高维负荷数据进行数据降维处理,得到降维后的低维矩阵和归一化的特征值向量作为KICIC算法的输入矩阵和权重向量,KICIC通过在子空间内最大化簇中心与其他簇数据对象的距离来融合簇内和簇间的距离进行聚类,得到最终聚类结果。通过算例表明该方法运算时间短、聚类质量高,进一步提高了负荷曲线的聚类性能。