基于局部优化奇异值分解和K-means聚类的协同过滤算法

为了克服传统协同过滤(CF)推荐方法数据稀疏和可扩展性差的不足,该文提出1种基于局部优化降维和聚类的协同过滤算法。采用局部优化的奇异值分解(SVD)降维技术和K-均值(K-means)聚类技术对用户-项目评分矩阵中的相似用户进行聚类并降低维度。利用近似差分矩阵表示评分矩阵的局部结构,实现局部优化。局部优化的SVD降维技术可以利用更少的迭代次数缓解CF中数据稀疏和算法可扩展性差的问题。K-means聚类技术可以缩小邻居集查找范围,提高推荐速度。将该文算法与基于Pearson相关系数的协同过滤算法、基于SVD的协同过滤算法、基于K-means聚类的协同过滤算法相比较。在MovieLens数据集上的实验结果表明,该算法的平均绝对误差(MAE)较其他算法降低了大约12%,准确性(Precision)提高了7%。     

基于稀疏表示和低秩逼近的自适应异常事件检测算法

针对传统异常事件检测算法没有考虑视频数据低秩特性的问题,提出了基于低秩稀疏编码模型的字典学习算法。对提取的多尺度三维时空梯度特征进行K-均值聚类。利用低秩稀疏编码模型进行每一个特征聚类的字典学习。通过迭代聚类和字典学习获取所有的正常行为模式。采用公共数据集UCSD Ped1和Avenue检测该算法的性能。与社会力(SF)、混合概率主成分分析(MPPCA)、社会力-混合概率主成分分析(SF-MPPCA)、混合动态纹理(MDT),Adam、子空间(Suspace)、稀疏组合学习框架(SCLF)7种方法对比,该文算法具有较高的正确率和较强的实时性。     

基于GSRDPGE算法的转子故障数据集降维方法研究

针对旋转机械故障数据集因高维和信息冗余而导致故障分类困难的问题,提出有效降低数据维数的组稀疏残差判别保持图嵌入算法.首先,该算法改进了类间稀疏编码的方式,得到了更具判别性的类间稀疏权重矩阵;然后,通过加权的方式清除特征集中离群点对稀疏编码的影响;最后,以类内重构散度最小、类间重构散度最大为目标计算最优判别投影矩阵.通过Iris仿真数据集和双跨转子系统的故障数据集对所提算法进行验证,并与其他几种典型降维算法对比,证明该算法能够同时兼顾数据分布状态的全局性和局部性,使故障类别之间差异性更突出,并能够提高故障模式识别准确率.研究表明,该算法可为转子故障智能诊断提供参考依据.     

基于自编码器的电力负荷聚类分析

电力负荷聚类分析研究是负荷特性模拟、需求侧管理等应用的基础。针对负荷数据日趋多样性、随机性,传统K-means算法无法有效处理高维数据,且存在人工给定聚类数目K值及随机选取初始聚类中心易收敛至局部最优的问题,本文提出一种基于自编码器(Auto-Encoder,AE)降维的电力负荷聚类方法。首先利用自编码器网络对采集的负荷数据提取特征,降低数据维度,然后通过密度权值Canopy算法对降维后的数据预聚类,得到初始聚类中心和最优聚类数目K值,将预聚类结果结合K-means算法进行聚类。算例结果表明,该方法能够有效对负荷数据进行特征提取,并减少聚类过程中的复杂度,提高了聚类结果准确度和聚类效率。     

基于L_0约束的稀疏子空间聚类

大数据时代背景下,随着所获数据数量和维度的不断增加,高维数据的处理成为聚类分析的重点和难点.基于同一类别高维数据通常分布在高维环绕空间的低维子空间这一事实,子空间聚类成为高维数据聚类分析领域的重要方法.稀疏子空间聚类(Sparse Space Clustering,SSC)通过交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)对数据矩阵的稀疏自表达系数进行求解,发现分布于低维子空间并集中的数据的稀疏表示并进行聚类.但是ADMM参数多、收敛速度慢,其效率难以满足对大规模数据库进行聚类分析的要求.针对这一问题提出了基于L_0约束的稀疏子空间聚类方法,该方法使用正交匹配追踪(Orthogonal Matching Pursuit,OMP)算法求解L_0约束的自表达稀疏重建问题,构建数据集中各数据之间的相关性矩阵,最终对相关性矩阵应用谱聚类方法得到聚类结果.根据OMP算法每次迭代之间的耦合关系对其进行优化,进一步降低了计算复杂度,提高了算法效率.在生成数据和Extended Yale B database人脸数据库的实验结果表明,该算法与SSC相比,在显著减少计算时间的基础上,取得了与SSC相当的聚类准确率.     

基于稀疏编码的提取人脸整体特征算法

为了提高特征的分类效果 ,提出了一种新的基于稀疏编码的人脸特征提取方法。稀疏编码是去除图像冗余的一种有效方法 ,适于描述具有 non- Gaussian分布的图像集合。和基于主成分分析 (PCA )的传统方法相比 ,利用稀疏编码提取的特征具有更好的分类特性。根据稀疏编码的聚类特性 ,利用模糊 C均值聚类对稀疏编码基函数进行初始化以进一步提高特征的可分性。人脸识别的试验结果表明 ,该方法明显优于传统的“特征脸”方法 ,是一种有效的图像整体特征提取方法     

改进测度下的模糊C均值三元催化器故障诊断方法

针对采用物理建模刻画三元催化器故障演化精确性不足问题,提出一种基于尾气大数据的改进测度模糊C均值(FCM,fuzzy c-means),故障诊断方法。该方法包括分数阶傅里叶变换(FRFT,fractional fourier transform)下的故障特征提取与优化、核熵成分分析(KECA,kernel entropy component analysis)下的分形故障特征降维以及改进相似测度下的FCM故障特征聚类。首先,对不同工况的尾气数据进行FRFT处理,获取三元催化器从时域到频域的精细故障信息,同时利用粒子群算法(PSO,paticle swarm optimization)选取最优的FRFT特征,并由分形算子给出相应精细特征的分形维数;其次,借助KECA对候选的高维分形特征进行维数约简;最后,将获得的故障特征提交给改进测度的FCM故障分类器完成故障诊断。数值实验结果表明,较之采用欧式距离或余弦距离的FCM方法,研究方法的故障诊断精确度更高。     

高维数据分类中的特征降维研究

以高维分类为目标,从分类的准确率与模型解释性角度探讨了降维的必要性,分析了特征选择与抽取2类方法特点,并对常用的特征抽取方法,包括主成分分析(PCA)、偏最小二乘(PLS)和非负矩阵分解(NMF)进行了阐述.考虑到约减后的数据缺乏稀疏性与可解释性,提出了基于稀疏正则化的特征抽取模型,为高维特征降维提供了一种新思路.     

基于隐空间的低秩稀疏子空间聚类

提出了一种基于隐空间的低秩稀疏子空间聚类算法,在聚类的过程中可以对高维数据进行降维,同时在低维空间中利用稀疏表示和低秩表示对数据进行聚类,大大降低了算法的时间复杂度.在运动分割和人脸聚类问题上的实验证明了算法的有效性.     

基于小波包散布熵与Meanshift概率 密度估计的轴承故障识别方法研究

为提升轴承故障特征提取精度和运行状态评估准确性,提出一种基于小波包散布熵与Meanshift概率密度估计的诊断方法.首先,采用小波包变换对轴承振动信号数据进行升维,通过计算每个子带的散布熵构建特征矩阵;然后,利用PCA对多维矩阵进行可视化降维,采用Meanshift无参估计得到训练样本的概率密度最大位置作为聚类中心;最后,通过计算测试样本散布熵坐标与各聚类中心的欧式距离判定测试样本类别归属.采用CWRU和QPZZ-II轴承实验台不同故障类型和故障程度样本数据对所提方法进行验证,结果表明,得益于小波包完备的理论模型和信号频带分解稀疏性,结合散布熵指标对数据样本良好的鲁棒性,所构造的特征矩阵具有较好的类内聚集性和较大的类间距离,同时,Meanshift以概率密度最大化为目标自适应迭代聚类中心和隶属度,可以有效实现对不同数据样本的分类识别.     

一种基于改进极端梯度提升决策树的轴承故障诊断方法

针对传统故障诊断模型面向海量故障数据时诊断准确度低的问题，首先，提出了一种局部均值分解与固定点算法联合降噪方法，以消除轴承振动信号中的噪声；其次，为了避免原始信号中敏感特征难以提取的问题，提出了一种基于核主成分分析的降维方法；再次，构建了一种基于改进极端梯度提升决策树的故障诊断模型，采用GS-PSO算法优化SVM性能，进而运用改进极端梯度提升决策树思想修正分类模型的残差以提升模型分类精度，应用Spark-大数据平台，通过并行处理技术进行科学计算；最后，采用CWRU提供的滚动轴承数据进行训练与仿真，证明构建的模型能实现对不同类型滚动轴承的识别诊断，并保证诊断结果的准确率。通过对4种不同故障诊断模型的对比分析，表明本文模型具有可行性和优越性。     

基于改进SAE的提升机制动系统故障诊断

为了减少传统故障诊断方法人工主观干预对诊断结果的影响,使用无监督学习方式提取提升机监测数据的故障特征,提出了一种基于稀疏自编码器的故障诊断方法.首先分析了制动系统的故障机理,采集了提升机正常运行和故障模拟状态下的监测数据,生成了故障诊断数据集;然后建立了SAE故障诊断模型,并使用Dropout和Adam算法对其进行了优化;最后使用测试数据集对模型的性能进行了测试.试验结果表明,提出的方法较好地避免了稀疏数据的训练误差,减少了过拟合现象,降低了稀疏数据局部最优点的影响,故障类型的平均分类精度达到94%,能有效地进行矿井提升机的故障诊断.     

基于无损约束降噪稀疏自编码的滚动轴承故障诊断技术

在滚动轴承故障诊断过程中,时域振动信号容量大且易受噪声污染,难以建立准确的故障诊断模型。针对上述难题,本文采用无损约束降噪方法对稀疏自编码进行优化,提出了基于无损约束降噪稀疏自编码的滚动轴承故障诊断方法。该方法可直接作用于时域振动信号,消除对人工特征提取的依赖性,无需降噪预处理,降低了故障诊断模型建立的难度。为验证本方法的有效性,利用滚动轴承时域振动信号进行仿真实验,并对诊断过程中学习到的故障特征进行可视化分析。实验结果表明,本方法可以在噪声数据下建立有效的故障诊断模型,且比传统的栈式稀疏自编码诊断算法具有更强的噪声鲁棒性。     

基于潜在低秩图判别分析的高光谱分类

提出一种基于潜在低秩图判别分析（LatLGDA）算法,利用数据的自表示对数据的列表示系数矩阵和行表示系数矩阵同时施加低秩约束,得到保留数据结构的亲和矩阵,再与图嵌入模型相结合实现高光谱图像的流形降维并进行分类。与其他基于稀疏图或稀疏低秩图的高光谱特征提取算法相比,LatLGDA可利用数据的行信息弥补列信息的不足或缺失,对噪音的抗干扰能力更强;在真实数据集上的实验结果表明,LatLGDA算法具有较高的分类精度和运算效率,应用前景广阔。     

基于自适应神经网络集成的电子设备故障预测方法

为了实现装备的主动维修,针对电子设备故障预测问题,提出了一种基于自适应神经网络集成(ANNE)的电子设备故障预测方法。首先利用FCM 聚类算法生成个体网络训练样本,从而确定了神经网络集成的规模。ANNE 根据故障序列样本与个体网络训练样本的相似度动态调整权值,自适应神经网络集成根据装备故障历史数据建立故障预测模型,根据当前时间预测故障间隔时间。仿真实例证明,该方法对平稳的故障间隔时间数据进行故障预测的精度较高。     

非高斯过程与微小故障的故障检测方法

针对生产过程中数据服从非高斯分布的故障检测问题进行了讨论,给出了一个改进的基于稀疏表示的故障检测方法,并通过构建重构误差控制限和距离控制限区间,提高了基于稀疏表示的故障检测水平;给出了在统一框架下的微小故障检测方法,并通过在微小故障字典矩阵中引入时间常数t来提高针对微小故障的检测水平;通过两例数值仿真验证了方法的有效性,并与经典的基于主元分析的故障检测方法进行了对比.结果表明,所提出的方法在上述2种情况下的故障检测水平均超过基于主元分析的故障检测水平.     

基于数据模式聚类算法的离群点检测

针对传统模式挖掘算法在事务包含模式定义上未考虑模式间的包含关系而使聚类结果不够优良的问题, 提出一种新的基于模式聚类的离群点检测算法PCOT, 该算法适合于高维数据空间, 采用一种新的事务包含模式, 通过将模式表示成超图, 用超图分割方法对模式进行聚类. 实验与分析结果表明, 该算法能有效地在高维稀疏空间中发现离群点.     

基于判别稀疏编码的液压泵故障诊断

为解决液压泵故障信号特征难以提取的问题,提出了一种基于判别稀疏编码的液压泵故障诊断新方法。在稀疏编码框架中引入Fisher判别准则,通过对训练样本进行字典学习,获取具有判别性的字典与稀疏系数,使用不同故障类别字典对测试样本进行稀疏表示,利用全局分类方法综合重构误差与系数偏差两方面参数,对液压泵故障信号进行识别。实验结果表明,对于不同状态下的液压泵振动信号,该方法可自适应地完成各类子字典的学习与模式识别过程,与传统方法相比,在液压泵故障诊断中具有更高的准确率和较好的稳定性。     

基于Morphing方法的断层面重构

为提高稀疏数据条件下断层面形态重构的准确性和光滑性,通过对断层面建模数据分析与优选,提出基于Morphing方法构建相邻稀疏断层线的过渡曲线,同时基于CD-TIN重构平稳光滑断层面的方法。以Morphing方法基础理论,分析了断层线数据特征点对应关系,采用距离二分法实现了特征点匹配;参照有限外推法,确定了断层尖灭位置;采用拉格朗日插值方法对断层线节点曲线进行趋势外推,实现相交断层面切削;最终实现了稀疏数据下断层面的光滑构建。通过对比Kriging插值方法和Morphing方法生成的断层面模型形态,结果表明:Morphing方法生成的断层面形态平滑自然,可以更好地还原断层弯曲细节。     

大数据云存储下海量数据传输完整度控制技术

为确保大数据云存储下海量数据传输的完整度,提出了一种基于属性特征匹配和关联规则的海量数据传 输完整度控制方法。构建海量数据的属性特征高维重组模型,得到关键信息的特征分布状况,据此设计海量数 据的关键信息存储分布结构模型,采用关联规则方法进行海量数据的关键信息特征挖掘提取,利用关键信息进 行海量数据的特征分析和数据聚类处理,采用属性特征匹配方法设计海量数据关键信息存储节点后,利用模糊 减法聚类对关键信息存储节点进行聚类处理,在海量数据传输中,以数据关键信息存储节点传输的完整度实现 海量数据的传输完整度控制。仿真结果表明,采用该方法进行海量数据传输完整度控制,能提高云存储下的空 间利用效率,数据传输完整度高。