关于马氏距离模糊聚类的有效性指标研究

为了研究基于马氏距离模糊聚类算法的有效性,首先对比分析了基于数据集模糊划分与几何结构的模糊聚类有效性指标,确定了将紧致度、分离度与清晰度结合的有效性研究方向,然后针对基于马氏距离的模糊聚类提出新的度量标准,构造有效性指标,最后结合算法在真实数据集上进行实验,结果表明新指标能准确识别马氏距离模糊聚类算法在多维数据上的最佳聚类数目。     

一种基于流形距离核的谱聚类和量子聚类融合算法

谱聚类是一种基于图谱划分理论的聚类算法,本质上是将聚类问题转化为图的最优划分问题;量子聚类可以充分挖掘数据样本的内在信息,是一种基于划分的无监督聚类算法.为了充分发挥谱聚类算法和量子聚类算法的优势,本文提出了一种基于流形距离核的谱聚类和量子聚类融合算法(MFD-NJW-QC).首先,计算数据集的流形距离核矩阵,构造相应的拉普拉斯矩阵;其次,根据拉普拉斯矩阵的若干最大特征值对应的特征向量构造新数据集,并使用量子聚类算法对新构造的数据集进行聚类,从而得到原始数据的类标签;最后,基于7个人工数据集和5个UCI数据集验证MFD-NJW-QC算法的聚类性能.结果显示,MFD-NJW-QC算法能够明显提高聚类性能,尤其对于具有流形结构,且类簇大小不平衡、密度分布不均匀的数据集优势更为突出.     

一种基于密度的模糊自适应聚类算法

针对密度聚类算法对邻域参数设置敏感的问题,提出一种基于密度的模糊自适应聚类算法.算法在无需预先设置聚类数以及邻域参数的情况下,可以自适应地根据样本间距离关系确定邻域半径得到样本密度,并根据样本密度逐渐增加聚类中心.为了保障聚类结果的正确性,同时提出一种新的模糊聚类有效性指标以判断最佳聚类数,消除了密度聚类算法对参数的敏感性.用UCI基准数据集进行实验,发现本文算法在对数据进行聚类时,聚类质量较原始密度聚类算法在准确性和自适应性方面均有显著提高.     

基于样本模糊隶属度归n化约束的松弛模糊C均值聚类算法

模糊C均值聚类算法(FCM)由于样本模糊隶属度归一性的约束,导致FCM算法对噪声数据敏感。提出松弛模糊C均值聚类算法(RFCM),RFCM算法在可能性C均值聚类算法(PCM)目标函数的基础上,放弃了FCM算法单个样本模糊隶属度归一化约束,转为n个样本模糊隶属度之和为n的约束;并利用粒子群算法对样本模糊隶属度进行优化估计,使得模糊指标可拓展为m0的情况,同时采用梯度法得到RFCM算法聚类中心迭代公式。RFCM理论分析了算法对噪声数据抗噪的原理,解释了RFCM算法模糊指标m0的合理性,讨论了RFCM算法的收敛性。基于Gauss数据集和UCI数据集的仿真测试验证了所提出算法的有效性。     

基于正则化的模糊C-均值聚类算法及其在T-S模糊系统辨识问题中的应用

在模糊C-均值聚类问题目标函数中使用正则化泛函,将聚类中心解的误差指标引入到模糊聚类的目标函数中,构造出新的模糊C-均值聚类算法RBFCM(Regularization based Fuzzy C-means)算法.算法RBFCM不仅具有较高的聚类精度,且计算结果具有更好的稳定性.进一步,将此RBFCM算法应用于基于T-S模糊模型的系统辨识问题.由于RBFCM算法优化了模糊系统的输入空间划分,提高了隶属度函数的精度,使得后继得到的T-S模糊系统辨识精度也有所提高,且系统辨识过程的收敛速度也有所改善.最后,通过对经典IRIS数据集、带有噪声的IRIS数据集的聚类算例和对Box-Jenkins煤气炉数据集进行辨识算例,验证了RBFCM算法的有效性和优越性.     

基于多层次聚类的纹理图像分割算法

提出了一种基于多层次聚类的算法,此算法相对传统算法降低了空间和时间复杂度,并减少了对参数的敏感度,适合处理大规模数据集.该算法包括粗分、代表点聚类和细分三个阶段.首先,利用亲和传播聚类(AP)算法对所有数据进行粗分,为了节省空间和时间,仅考虑每个点和离自己最近的t个近邻之间的相似度,所以构造的相似度矩阵远远小于原始AP算法所构造的相似度矩阵;其次,为了进一步提高效率和性能,在第二阶段采用密度峰值算法(FDP)对上一阶段所得结果进行再划分;最后,结合两个阶段划分的结果得到所有数据的划分.实验表明:所提算法可以快速准确地进行图像分割,和经典聚类算法FCM(模糊C均值)、Kmeans以及SOM(自组织映射)的对比实验也证明了所提算法的有效性.     

一种高效鲁棒的无监督模糊c均值聚类算法

先通过数据约简技术在不损失数据聚类结构的前提下对数据进行精简, 利用提出的近似模糊c均值聚类算法对精简后数据进行划分得到初始化中心, 再在该中心基础上通过模糊c均值聚类算法结合聚类有效性指标, 实现对数据的无监督聚类, 改进了无监督模糊c均值聚类算法聚类性能过分依赖初始化中心及大数据集下计算效率不理想的问题. 与已有算法的对比实验表明, 所提出的算法具有更高的求解精度与计算效率, 得到的聚类个数更合理.     

无监督多尺度模糊聚类算法研究

针对模糊c均值聚类算法的一些不足之处提出了一种新的均值漂移聚类算法--无监督多尺度聚类算法.该算法不受初始化的影响,不用假定数据的聚类个数以及聚类中心的初始位置,能够利用模糊聚类的方法来获得硬的聚类划分,能够从不同的"划分尺度"揭示数据的聚类结构,并能自动的确定聚类个数.为了满足处理大数据集的需要,设计了快速无监督多尺度模糊聚类算法.通过实验证明无监督多尺度聚类算法在多数数据集上都表现良好且具有最好的总体聚类性能,并能成功揭示出数据的聚类结构.实验还证明快速无监督多尺度模糊聚类算法具有较快的速度和较高的识别精度且适用于大数据集.2个算法都取得了令人满意的实验结果.     

松弛模糊C均值聚类算法*

模糊c均值聚类算法(FCM)由于样本模糊隶属度归一性的约束,导致FCM算法对噪声数据敏感。提出松弛模糊C均值聚类算法(RFCM),RFCM算法在可能性c均值聚类算法(PCM)目标函数的基础上,放弃了FCM算法单个样本模糊隶属度归一化约束,转为n个样本模糊隶属度之和为n的约束,并利用粒子群算法对样本模糊隶属度进行优化估计,使得模糊指标可拓展为m>0的情况,同时采用梯度法得到RFCM算法聚类中心迭代公式。RFCM理论分析了算法对噪声数据抗噪的原理,解释了RFCM算法模糊指标m>0的合理性,讨论了RFCM算法的收敛性。基于gauss数据集和UCI数据集的仿真测试验证了所提出算法的有效性。     

基于PSO的WFCM算法研究及其在医保欺诈行为发现中的应用

【目的】在没有先验知识的前提下,采用基于粒子群优化算法(PSO)的加权模糊C-均值(WFCM)聚类算法,从30多万条记录的医疗保险数据中挖掘出疑似医疗保险欺诈的记录。【方法】首先,引用改进的欧式距离、相似性函数以及交叉熵函数并通过PSO算法极小化交叉熵函数,对属性权重进行分析;其次,选取Calinski-Harabasz(CH)有效性指标,展开聚类有效性的研究;然后,基于数据预处理的结果将数据运用于PSO算法,不断更新得到各属性的权重,并运用聚类有效性评价中的CH有效性指标来动态估计最佳聚类个数,提高FCM聚类的速度;最后,将属性权重和最佳聚类数应用于FCM聚类算法,根据隶属度矩阵聚类得到疑似医疗保险欺诈结果。【结果】基于上述研究方法,本研究根据最后的隶属度矩阵来进行聚类分析。【结论】将优化的权重应用于加权FCM聚类算法与聚类有效性评价,既提高了聚类算法的高效性,又避免了主观评价对分类的影响。     

一种确定最佳聚类数的新算法

针对K-均值聚类算法需要事先确定聚类数K的问题,将粒度计算引入样本相似度函数,定义了新的样本相似度,用模糊等价聚类确定数据集可能的最大类簇数Kmax.以Kmax为搜索上界,利用改进全局K-均值聚类算法,以BWP(Between-Within Proportion)为聚类有效性度量指标,提出确定最佳聚类数的一种新方法.通过UCI机器学习数据库数据集以及随机生成的人工模拟数据集实验测试,证明该算法不仅能有效确定数据集的最佳聚类数,而且适用于大规模数据集,但是会受到噪音点影响.     

基于模糊聚类方法的T-S模糊系统建模

提出了用一个聚类验证准则设计模糊C均值聚类算法，这个聚类验证准则是用来确定模糊C均值算法中合适的聚类数．针对T—S模糊模型，由模糊c均值聚类算法确定其逻辑前件参数，进而采用最小二乘算法确定模糊推理规则的后件参数．最后，应用本文建模方法对一个非线性实例进行仿真计算，并与其它方法进行了比较，结果表明本文方法是有效的．     

基于对应分析的冗余模糊C均值聚类算法研究

针对模糊C均值聚类（FCM）算法聚类原型最适合于球状类型簇的特点,提出了基于类间分离度和类内紧缩度加权的冗余聚类中心的FCM算法,即先将大簇或者延伸形状的簇（非凸）采用加权FCM算法分割成多个小类（冗余类）,从而规避FCM算法对初始聚类中心敏感的弱点．由于隶属度划分矩阵的元素是每个样本隶属于各冗余类的隶属度值,因此将其作为各冗余类的类特征,通过对应分析得到冗余类的新特征,再次采用加权FCM算法进行冗余类合并,最后达到分类效果．以代表曲线分割和曲面分割分类问题的3个典型数据集为算例,结果表明该方法能够识别不规则的簇,解决了FCM算法对初始聚类中心敏感的缺陷．     

空间平滑和盖氏半径变换的宽带相干信源数估计

采用空间平滑处理和不同信源数估计准则进行宽带相干信源数估计。该方法针对宽带相干信号,不需要聚焦处理,直接对宽带信号阵列采样输出分段并进行快速傅立叶变换(fast Fourier transform,FFT),得到不同频点处的窄带采样协方差矩阵,然后采用空间平滑处理技术进行解相干处理,接着利用信源估计准则进行信源数估计,对每个频点处的结果进行加权处理得到宽带信源数目。仿真结果表明,通过对信息论准则、基于盖氏半径的似然准则、盖氏圆估计准则的性能的对比,进而得到了一种在色噪声下估计宽带相干信源数的方法。     

基于盖氏圆与TAM的电力系统谐波检测

电力系统中谐波检测是无功补偿、谐波滤除等电能质量分析与控制的前提。针对传统电力系统中谐波检测方法存在的问题,结合盖氏圆和TAM算法进行谐波检测。该算法以信号空间为模型,首先用盖氏圆检测出信号源数,然后结合信号子空间和噪声子空间的正交性以及子空间的旋转不变性,估计出信号的频率,最后由全最小二乘法(TLS)计算得到信号的幅值。仿真实验与实际数据分析结果表明:该方法速度快、精确度高,具有一定的应用前景。     

一种改进的盖氏圆盘估计信源数方法

 信源数估计是空间谱估计中的关键技术,研究符合实际应用环境的稳健的信源数估计方法具有十分重要的现实意义.基于空间谱估计中用于估计信源数的传统盖氏圆盘法,结合Toeplitz去相干算法在此提出了一种改进的盖氏圆盘法(T-GDE).该方法先对接收数据协方差进行Toeplitz预修正,再对得到的修正矩阵进行盖氏圆盘法估计信源数,使得新的盖氏圆盘法可用于低信噪比条件下的相干信源数估计.并通过仿真实验验证了其有效性.     

基于盖氏圆方法的宽带信源数目估计

针对低信噪比和小快拍数情况下宽带信号源数目较难精确估计的问题,提出了一种基于盖氏圆方法的宽带信号源数目估计算法(GDECSM)。盖氏圆方法通过利用盖氏半径对矩阵特征值范围的限定关系,能有效区分信号子空间与噪声子空间,在宽带信号源数目估计中能够产生良好的检测效果。仿真实验表明,与基于AIC准则的宽带信源数目估计算法(AICCSM)相比,GDECSM算法在低信噪比和小快拍数时都具有更高的检测概率,运算复杂度也有所降低。     

基于马氏距离的模糊聚类优化算法——KM-FCM

为了解决以欧氏距离作为相似性准则的传统模糊聚类算法对多维数据处理不利的问题,采用马氏距离代替欧氏距离,对基于马氏距离的模糊聚类算法进行优化研究,以增强基于马氏距离的模糊聚类算法的聚类效果和能力。通过构造启发式搜索与k-means算法结合的初始优化方法,利用可以自动调节最佳聚类数的有效性函数,提出了一种优化算法KM-FCM,并将此新算法与FCM,FCM-M,M-FCM聚类算法在3个标准数据集上进行了实验。结果表明,KM-FCM算法有效,聚类精度比FCM,FCM-M,M-FCM高,对高维数据聚类识别能力强,具有全局优化作用,并且聚类个数无需提前设定。新算法可为基于马氏距离的模糊聚类算法的优化提供参考。     

Automatic Spike Sorting Based on Robust Clustering

The collected spikes from extracellular recordings usually contain noisy data and outliers, which make it difficult to separate them. A method for spike sorting based on robust clustering is proposed to deal with the problem. The clustering method combines the advantage of fuzzy clustering and robust statistical estimators. The number of dusters is obtained by fuzzy cluster validity. In order to reduce the influence of outliers, the validity index is calculated using the weighting intra-cluster distances. The proposed method is suitable to separate neural spikes in the presence of noisy data and outfiers. The experiment on real data shows its performance.     

基于双阵元的宽带相干信源数估计

不同噪声条件下,宽带相干信源数估计是阵列信号处理中的难点问题.本文针对宽带信号的特点,利用虚拟阵列扩展技术,将宽带信号的不同频率成分虚拟为不同间距的虚拟阵元,通过空间平滑削弱信号之间的相干性.但由于噪声的功率谱非严格平坦,虚拟阵列协方差矩阵的噪声特征值发散程度严重,经典的信息论方法完全失效.基于对角加载技术,提出了一种新的加载量,有效地平滑了噪声特征值,减弱了其发散程度,并在此基础上利用比率准则改进了信息论方法,实现了两阵元对多个信源的数目估计.仿真实验表明,改进后的方法在白噪声和色噪声条件下均具有较好的性能,优于盖氏圆方法.