基于集群的集中调度式RSOM并行训练方法

聚类算法常需处理海量和高维的大数据集,为了提高算法的效率,设计并行的聚类算法,以提供更好的计算能力是十分必要的。集群系统是目前流行的高效并行计算环境,针对大数据集聚类问题,集群系统的运用是一种很好的选择。由于RSOM(recursive self-organizing mapping,RSOM)模型具有内在的层次化及分布式结构特点,本文研究了基于集群的集中调度式RSOM树并行算法,并通过视频图像特征集实例证实了算法的可行性。     

基于遗传优化的采样模糊C均值聚类算法

在数据挖掘领域,模糊C均值聚类法(FCM)在处理小量低维的数据挖掘时是有效的,但是面向数据库的数据挖掘经常要处理大量、高维的数据.在这种情况下,FCM算法在时间性能上难以令人满意.本文基于采样技术对FCM算法进行改进,以提高算法的时间性能,并利用遗传算法对聚类结果进行优化以保证聚类的质量,给出了一种新的基于遗传优化的采样模糊C均值聚类算法SFGO(SamplingFCMwithGeneticOptimization).仿真实验证明SFGO算法在大规模数据库的聚类挖掘中,在时间性能和聚类质量上都能获得较满意的结果.     

基于MapReduce的大规模数据集流形学习降维研究

信息技术的快速发展导致了数据规模的爆炸式增长，传统的机器学习、数据挖掘算法面临新的 挑战. 流形学习克服了传统线性降维算法的不足，成为十年来降维研究的热点领域. 然而流形学习 算法复杂度高，对于大规模的数据集并不适用. 针对大规模数据集下的流形学习降维问题，提出了 基于MapReduce 的分布式流形学习算法. 该算法采用局部敏感哈希函数将相似点映射到同一个桶中，利用流形具有局部欧氏同胚的性质，在每个桶内采用欧氏距离度量点之间的测地距离，桶之间采用 中心点及边缘点来计算修正的测地距离. 在大规模的人工合成数据集和真实数据集上的实验表明，该算法能有效地估计数据点间的测地距离，适用于处理大规模数据集的降维问题.     

基于RSOM聚类的局部线性嵌入算法

局部线性嵌入算法(locally linear embedding,LLE)是一种非线性降维方法.当数据量较大时,算法计算效率较低,算法运行所占用的内存空间较大.为了提高LLE算法的计算效率和减小算法运行时占用的内存空间,给出了基于RSOM(Recursive SOM)树聚类的LLE算法,通过RSOM树对数据集进行聚类,在保证输入样本依概率分布的同时显著降低算法复杂度,提高了映射效果.仿真实验表明,基于RSOM树聚类的LLE算法相对于原始的LLE算法,其算法效率有了显著提高,明显降低了算法运行所占用的内存空间,同时很好地学习了高维数据的流形结构.     

一种基于自组织特征映射网络的聚类方法

针对传统聚类算法不能有效地处理大数据集和高维数据集的问题,提出了一种基于自组织特征映射网络的聚类方法。该方法能将任意维输入模式在输出层映射成一维或二维离散图形,并保持其拓扑结构不变,而且无需监督,能自动对输入模式进行聚类。给出了应用该方法的具体步骤和加速自组织过程的若干改进方法,通过仿真实验证明该算法的有效性。     

核稀疏概念编码算法及在图像表示中的应用

稀疏编码算法是一种常用的图像数据表示方法.为了处理高度非线性分布的数据,文中提出了一种核稀疏概念编码算法,并应用于图像表示.该算法首先对邻域图进行谱分析,提取数据的几何流形结构信息;然后将原始特征空间数据映射到高维特征空间中,利用谱回归在高维特征空间中来计算基向量;最后在高维特征空间中对每个样本逐个进行表示.文中算法不仅能有效地处理非线性结构数据,而且只需求解一个稀疏特征值问题和两个回归问题,计算简单有效.在Yale、ORL和PIE图像库的聚类实验表明,文中算法的准确率和归一化互信息均优于其它几种对比算法.     

基于邻域优化的局部线性嵌入

利用图代数计算数据之间的相关性，进而优化数据的局部邻域，并应用于改进局部线性嵌入.LLE算法。优化后的LLE算法考虑了数据集的聚类结构，但不需要分类信息或聚类算法做预处理，因而算法是无监督的，有通用性，简单易于实现。邻域优化后的局部线性嵌入算法克服了经典LLE不能很好地处理稀疏或含有噪音数据的缺陷。同时继承了经典LLE时间复杂度低的优点，可用于解决大规模数据问题。标准数据集上的实验结果证明了所提方法的有效性。     

稀疏混合数据的矢量聚类分析与应用

对稀疏混合数据进行分析,发现该类数据具有方向性聚集分布的特点。首先证明了可以采用方向性聚类方法对稀疏混合数据进行处理分离出原数据。即用方向性聚类算法对稀疏混合数据进行聚类分析可以估计出混和矩阵。然后证明采用方向性聚类算法分离出来的数据和原数据之间具有确定的尺度和次序变化关系。最后针对多通道混合数据的盲分离提出了基于中心矢量聚类的稀疏混合数据分离算法SMDDCVC(sparse mixing data decomposition based on center vector clustering),并将该算法用于稀疏混合图像的盲分离。实验结果表明基于SMDDCVC算法的稀疏混合数据盲分离算法是有效的。     

改进重加权稀疏子空间聚类算法

稀疏子空间聚类作为先进的子空间聚类算法,不仅能有效地聚类高维数据,而且可以直接对含有噪声、稀疏无关字典等干扰信息的复杂数据进行处理。但是现有的稀疏优化框架都不能很好地满足表示系数矩阵类间稀疏和类内一致的特性。因此,考虑将反正切函数和对数函数的性质同时引入到重加权的l₁最小化框架中,使其能够同时满足 l₀ 范数在数据较小时斜率趋于无穷、数据较大时斜率趋于零的两个重要特征,从而更好地逼近l₀最小化框架,并基于此提出改进的重加权稀疏子空间聚类算法。实验表明相较于其他子空间算法,所提算法有着更好的聚类性能。     

基于属性稀疏特征差异度的动态抽象聚类方法

针对高属性维稀疏数据聚类问题,提出高属性维稀疏信息系统概念,给出一种新的基于稀疏特征差异度的动态抽象聚类方法。该方法的优势在于可伸缩性强,是一种面向属性稀疏特征,通过稀疏特征差异度可动态地、有效地实现对属性的归并,且具有一定容错性。该方法将在高属性维稀疏数据挖掘中起重要的作用。     

基于双平行互质阵列的二维高精度DOA估计

为利用互质结构进行二维高精度波达方向(direction of arrival, DOA)估计,设计了双平行互质阵列,提出了构建非均匀虚拟阵列的失配处理贝叶斯学习方法,最大限度扩展了测向自由度的同时,降低了网格失配对DOA估计精度的影响。首先,对平行互质阵列进行垂直方向扩展构建了双平行互质阵列;其次,进行了非均匀虚拟阵列扩展,利用稀疏贝叶斯学习进行稀疏重构;然后,利用到达角相邻网格的能量关系,通过泰勒展开,进行了低复杂度的失配处理;最后,提出剔除规则和选择规则,融合两个方向子阵的估计结果。理论分析和仿真实验证明了所提阵列和DOA估计方法的有效性。     

基于自适应权重的面板数据聚类方法

基于二维信息的传统聚类方法并不适用于处理面板数据, 在考察面板数据多重信息特征的基础上, 基于面板数据的"绝对指标", "增量指标"及"波动指标", 重构了面板数据相似性测度的距离函数和Ward聚类算法, 提出了面板数据自适应权重聚类方法. 所提供的算法既可退化为传统的绝对量距离聚类方法, 亦可对面板数据的未来所属类别进行聚类预测. 最后, 实例显示此方法兼具有效性和灵活性.     

基于压缩感知的多核稀疏最小二乘支持向量机

为了提高稀疏最小二乘支持向量机对高维、异构数据的泛化性能,提出新型的基于压缩感知的稀疏多核最小二乘支持向量机算法。首先根据压缩感知理论,用正交匹配追踪算法对最小二乘支持向量机的支持向量进行稀疏化,再利用线性多核扩展法求出新的核函数矩阵。将新的核矩阵应用到最小二乘支持向量机,得到稀疏多核最小二乘支持向量机的解,用稀疏的支持向量实现函数回归。理论分析与数据实验对比结果表明该模型对于高维、异构数据能够更快更准确地进行训练,大大提高了模型的泛化能力和运算速度。     

图像分割的改进稀疏子空间聚类方法

提出一种基于改进稀疏子空间聚类的图像分割方法。首先将图像进行过分割得到一些均匀区域称为超像素,并提取超像素的颜色直方图作为其特征;然后建立特征数据的改进稀疏子空间表示并由此构造图相似度矩阵,最后利用谱聚类算法得到超像素的聚类结果并作为图像分割结果。实验结果表明,本文提出的改进稀疏子空间聚类方法具有良好的聚类性能,对噪声具有一定的鲁棒性;用于自然图像能够得到更好的分割效果。     

图像分割的加权稀疏子空间聚类方法

在稀疏子空间聚类算法的基础上,提出一种基于加权稀疏子空间聚类的图像分割方法。利用加权的稀疏约束使得特征数据能够更好地被同一子空间内相似性高的特征数据线性表示,系数矩阵在类间更为稀疏。实验表明,给出的加权稀疏子空间聚类方法对于干净数据和带噪声的数据都能得到较高的数据聚类准确率,对自然图像能够得到比较符合人眼视觉特性的分割结果。     

加权快速聚类距离解模糊算法

距离模糊是雷达系统中重频工作模式下必须考虑的问题,而多重频技术是解距离模糊常见的信号波形设计方案。一维聚类算法可根据雷达不同重频的测量视在距离稳健地求解目标不模糊距离,但一维聚类算法在排序效率和根据测距信噪比估计目标不模糊距离性能两方面存在不足。加权快速聚类距离解模糊算法首先提出快速聚类算法提高解模糊时的排序效率,继而采用加权方式提高目标不模糊距离的估计性能。快速聚类算法的仿真试验结果表明快速聚类算法解距离模糊是一种实用的快速解距离模糊算法。