VW-SAE:一种改进的光谱数据特征表示方法

针对高光谱图像维度高、目标特征提取不准确的问题,提出了一种可变加权堆叠式自编码器(variable-wise weighted stacked autoencoder,VW-SAE)的光谱数据特征表示方法.VW-SAE方法在堆叠式自编码器(SAE)的基础上,从每个AE的输入层中识别出重要的变量,通过对输出变量的相关性分...     

基于流形正则的堆叠胶囊自编码器优化算法

针对堆叠胶囊自编码器存在检测性能慢、不能更好挖掘图像局部特征的问题，本文提出基于流形正则的堆叠胶囊自编码器优化算法。采用Scharr滤波器对堆叠胶囊自编码器模型中的图像进行重建，加强图像目标检测的精度，并在损失函数中引入流形正则项，从而加强对原始数据空间局部特征的提取，最终使用基于流形正则的堆叠胶囊自编码器学习参数，选择出更加具有区别性的特征。在MNIST和Fashion MNIST数据集上的实验结果显示，该优化算法相比于原网络结构，图像分类准确率分别提高了0.26和9.23个百分点，且模型训练速度也得到较大提高。     

基于堆叠去噪自编码器算法的穿墙人体检测（英文）

超宽带雷达在穿墙人体检测中的应用已经越来越成熟,将堆叠去噪自编码器算法应用于穿墙人体状态的识别和分类中,首先使用无监督学习方法对自编码器网络进行训练,从而获得原始数据更加抽象的特征表示;然后在堆叠去噪自编码器网络的最后一层添加一个分类器.使用有监督的学习方法对网络进行微调,获得最优化的模型;最后,将测试集输入到已经训练好的网络模型上进行测试.实验结果表明,堆叠去噪自编码器深度网络可以对穿墙人体目标状态进行有效地分类识别.     

基于自编码器和密度的融合离群点检测算法

针对基于栈式自编码器的离群点(SAE)检测算法和基于密度的离群点(LOF)检测算法检测精度不高的问题,提出了将SAE算法和LOF算法相结合的SAE-LOF算法.该算法的核心是对单独的SAE算法和LOF算法加入"投票"思想,通过神经网络训练权重,计算SAE算法和LOF算法加权投票结果,进而检测离群点.首先,训练并测试SA...     

采用BP算法和深度SAE网络的学生综合能力评价方法

针对现有评价方法需人工提取特征且评价准确率低的问题,提出基于反向传播(BP)算法的深度堆栈编码器(SAE)网络的学生综合能力评价方法.通过SAE网络对输入的学生各项指标成绩进行无监督训练,将SAE学习到的特征结合相应的样本标签,利用柔性最大值分类器(Softmax)进行有监督式分类.采用BP算法进行反向传播调整隐层权重,优化整个模型,以避免过拟合现象的发生.结果表明:该评价方法有利于解决需对传统神经网络进行人工提取和分析特征的问题,可提高评价结果的准确率.     

采用IEWT-SAE算法的配电变压器故障诊断方法

为识别配电变压器运行过程中存在的潜伏性故障,提出一种基于改进经验小波变换(improve empirical wavelet transform,IEWT)及堆栈自编码器(stacked auto-encoder,SAE)算法的故障诊断新方法. 首先,利用顺序统计滤波包络法来改进经验小波变换完成对振动信号的分解,得到一组经验小波分量并计算其与原始信号之间的K-L散度值,以剔除干扰分量. 然后,选取K-L散度值低的经验小波分量作为SAE的输入数据进行特征的自适应提取,再用Softmax分类器完成故障诊断,并在堆栈自编码器训练过程中引入樽海鞘群算法实现参数寻优. 最后,在10kV油浸式变压器上搭建数据采集平台进行故障模拟及分类测试. 实验结果表明,所提方法的分类精度达99.5%,在识别准确率、诊断时间上均优于对比方法.     

基于深度压缩感知的脑电情感识别

【目的】传统压缩感知中存在观测矩阵对信号适应性和重构算法对字典依赖性的问题，深度压缩感知则利用深度学习的方法解决传统压缩感知中存在的问题。【方法】利用深度信念网络(DBN)能够在不破坏观测矩阵随机性的前提下对信号进行自适应压缩，同时利用栈式自编码器(SAE)可以端到端地训练重构网络来摆脱重构算法对稀疏字典的依赖性，根据信号的稀疏表示中所具有的判别性，提出基于DBN和SAE的压缩感知识别模型(CS-DBN-SAE)。【结果】在DEAP情感脑电数据库上的四分类实验结果表明，CS-DBN-SAE模型的识别率达到83.29%,相比于传统压缩感知识别模型均取得了4.3%以上的提升。     

基于自编码的高光谱图像波段加权分类网络研究

高光谱图像(HSI)具有高维度的光谱波段信息,但也包含许多冗余光谱波段.在进行高光谱图像分类时,不同波段对分类任务的贡献存在差异性.为了高效利用光谱波段中的特征信息,提出一种新的编解码波段加权网络(EBW).该网络利用注意机制,根据不同波段对分类性能的贡献自适应地进行波段加权,从而提高输入数据中光谱信息的有效性.在EBW中,首先获取输入HSI的光谱波段信息,再利用自编码器提取的波段相关性和深度特征生成波段权重;然后对输入HSI的光谱波段进行加权;最后将加权后的图片输入到分类网络中得出预测结果.在PaviaU和Salinas数据集上的实验结果表明,与现有基于深度学习的加权方法相比,该方法具有更好的分类性能.     

基于堆叠自动编码器的网络行为识别

网络行为识别一直是网络安全中的研究热点,随着网络中数据量的海量增大以及数据的非线性等问题的影响,对于网络行为识别的特征提取和识别技术提出更高的要求。文章提出了一种基于堆叠自动编码器的网络行为识别方法,该方法通过构建堆叠自动编码器和SOFTMAX分类器的深度学习框架,结合无监督的预训练和有监督的全局微调,优化堆叠自动编码器的特征提取性能,实现了网络行为特征的深度提取,从而对高校流量数据中上网行为进行分析识别。     

基于自编码器的多模态深度嵌入式聚类

近年来,随着获取信息手段的增多,对高维度数据的聚类变得越来越难.利用深度学习与聚类分析相结合的方式,通过对深度聚类算法的深入调查与研究,提出了基于自编码器的多模态嵌入式聚类模型,该模型分别将自编码器、卷积自编码器、卷积变分自编码器模型提取的特征进行自适应特征融合,再将融合后的特征输入深度聚类层得到聚类结果.多模态数据有助于提取更全面的数据信息,自适应特征融合能够很好地计算每个模态提取特征对融合特征的贡献度,从而提高无监督聚类算法的稳定性.提出的模型在4种公开数据集上进行了实验,验证了该模型的有效性,聚类结果优于现有流行的算法.     

基于深度学习与狮群SVM算法的遥感场景分类

针对高分辨遥感图像样本量小,以及传统优化支持向量机(SVM)算法易陷入局部最优解、寻优速度慢等问题,提出一种基于深度迁移学习与狮群优化SVM(LSO-SVM)算法对遥感图像场景进行分类.首先,通过自适应对比度增强图像后利用颜色聚合向量提取图像颜色特征;其次,利用3种预训练网络分别提取图像的迁移学习深度特征;最后,将手工提取的图像特征与用3种预训练网络获取的特征使用系列特征融合方法进行融合,并将其输入LSO-SVM进行图像场景分类.结果表明,该算法解决了小样本情况下深度学习较难训练及传统优化SVM算法易陷入局部最优解、寻优速度慢的问题.在80%的训练条件下,数据集UCM Land-Use和RSSCN7的分类精度分别达到99.52%和98.57%.     

采用IEWT-SAE算法的配电变压器故障诊断方法

为识别配电变压器运行过程中存在的潜伏性故障,提出一种基于改进经验小波变换(improve empirical wavelet transform, IEWT)及堆栈自编码器(stacked auto-encoder, SAE)的故障诊断新方法。首先,利用顺序统计滤波（order statistic filter, OSF）包络法来改进EWT对振动信号进行分解,得到一组经验小波分量并计算其与原始信号之间的K-L散度值,以剔除干扰分量;然后选取K-L散度值低的前n个（实际取3）经验小波分量作为SAE的输入数据,进行特征的自适应提取,并使用Softmax分类器完成故障诊断。为克服人工选取SAE参数带来的结果差、效率低等问题,在SAE训练过程中引入樽海鞘群算法(salp swarm algorithm, SSA)实现预训练学习率和微调学习率的自动寻优。最后在10kV油浸式变压器上搭建数据采集平台进行故障模拟及分类测试。实验结果表明,所提方法的分类精度达到99.5%,在面对强噪声干扰时亦具有较高的识别成功率。经测试发现其在识别准确率及诊断时间上均优于对比方法。     

基于多层自动编码机的fisher判别分析

在常见的特征提取方法中,Fisher判别分析（Fisher Discriminant Analysis,FDA）只能提取线性特征,基于核的方法具有提取非线性特征的能力,但对核函数类型及其参数十分敏感. 文中研究如何有效提取数据特征,提出了一种基于多层自动编码机（Stacked AutoEncoders,SAE）和Fisher标准的特征提取算法,该算法中所使用的深度学习网络模型在训练过程中结合无监督特征提取SAE以及有监督的特征提取FDA. 通过与多层自动编码机、极限学习机（Extreme Learning Machine,ELM）等模型提取的特征进行对比,在数据集Pendigits、mnist、ORL和AR上利用支持向量机对数据特征进行分类,结果表明基于SAE的Fisher变换（FDA-SAE）在分类结果准确率以及分类时间上都有较好的效果. 特别是在小数据集AR上,当样本特征较少的情况下效果非常明显.     

基于改进DEC的评论文本聚类算法

针对原始深度嵌入聚类(DEC)算法中聚类层得出的初始聚类数目和聚类中心有很强的随机性,从而影响DEC算法效果的问题,提出一种基于改进DEC的评论文本聚类算法,对无类别标注的电商评论数据进行无监督聚类.首先获得融合句子嵌入向量和主题分布向量的BERT-LDA数据集向量化表示;然后改进DEC算法,通过自动编码器进行降维处理,在编码器后堆叠聚类层,其中聚类层的聚类数目基于主题连贯性选择,同时使用主题特征向量作为自定义聚类中心,再进行编码器和聚类层的联合训练以提高聚类的准确度;最后利用可视化工具直观展示聚类效果.为验证算法的有效性,将该算法与6个对比算法在无标注的产品评论数据集上进行无监督聚类训练,结果表明,该算法在轮廓系数和Calinski-Harabaz(CH)指标上取得了0.213 5和2 958.18的最佳效果,说明其可有效处理电商评论数据,反映用户对产品的关注情况.     

降噪分层映射算法在多维聚类分析中的优化研究

为了在多维聚类分析中运用有效的深度特征选择方法排除冗余和无关的特征属性,学习数据元素的非线性关系提取最佳特征,提出一种降噪分层映射算法(DHM).首先,基于降噪自动编码器构建非循环神经网络,容错数据经过隐藏层加权和激活函数的训练获取输入数据的非线性关系得到特征空间,实现特征重构选取最佳特征.其次,特征空间用于调整自组织特征映射神经网,通过计算最小化加权平方欧式距离寻找匹配的获胜神经元.最后,结合特征选择网络和无监督聚类网络为降噪分层映射神经网,通过整体模型迭代训练,使权重参数和偏差向量同时得到优化,实现有效的无监督聚类方案.在真实数据集上的实验结果表明,同AESOM,DCSOM和S-SOM算法相比,DHM算法在提高聚类质量及准确性方面有更好的表现.     

基于SAE-SV M的CPS攻击检测

信息物理系统(CPS)在工业控制和关键基础设施等领域被广泛应用,由于具有易受攻击的特点,CPS的安全问题变得尤为重要.为了提高CPS攻击检测的准确度,提出一种稀疏自动编码器(SAE)与支持向量机(SVM)结合的攻击检测算法.针对CPS中数据维数高的问题,使用SAE对数据进行特征学习与降维处理,以无监督方法重建新的特征表...     

融合样本选择与特征选择的AdaBoost支持向量机集成算法

为提高AdaBoost分类器集成算法的分类精确度并简化分类系统的复杂度,提出一种融合样本选择与特征选择的AdaBoost支持向量机集成算法(IFSelect-SVME)。该算法在AdaBoost算法的每个循环中利用加权免疫克隆样本选择算法进行样本选择,并用互信息顺序向前特征选择算法进行特征选择,再利用每个循环优化选择得到的特征样本子集训练个体SVM分类器,并对其进行加权集成,生成最终的决策系统。对实验所用9组UCI数据集的仿真结果表明:与支持向量机集成(SVME)算法相比,IFSelect-SVME算法的正确分类率有所提高,且样本数可减少30.8%~80.0%,特征数可减少32.2%~81.5%,简化了集成结构,缩短了测试样本的分类时间,所得到的分类系统具有更好的分类精度。     

基于鲸鱼优化和深度学习的不平衡大数据分类算法

针对当前不平衡数据分类算法中存在的分类精度低和容易陷入局部最优状态的问题,提出一种基于鲸鱼优化和深度学习的不平衡大数据分类算法.该算法由特征选择、预处理和分类3个阶段组成:(1)为了提高分类精度,使用鲸鱼优化算法(whale optimization algorithm, WOA)在不平衡数据中寻找最优特征子集,消除不相关和多余的特征;(2)采用局部敏感哈希的合成少数类过采样技术(locality sensitive hashing synthetic minority oversampling technique, LSH-SMOT)对数据集进行预处理,解决类不平衡问题;(3)使用基于WOA算法优化的双向递归神经网络(bidirectional recurrent neural networks, BRNN)对预处理后的数据集进行分类.实验结果表明:本文算法能够有效解决不平衡数据集的分类问题,相比于其他算法,本文算法在分类精度和局部最优避免率方面具有明显优势.     

基于Jerk流形正则化深度极限学习机的电能质量复合扰动识别

为了有效利用电能质量复合扰动识别中存在的大量难以标注的实测样本,提出了一种基于Jerk流形正则化深度极限学习机(DJRELM)的半监督扰动学习方法.算法通过堆叠嵌入Jerk流形正则化的极限学习机自编码器(JRELM-AE)实现在复合扰动特征自动提取的同时保持数据内部流形结构.分类层通过阈值预测极限学习机和Jerk正则化...     

深度学习技术及其故障诊断应用分析与展望

"大数据"时代给机械设备智能诊断带来了数据总量大、产生速度快、形式多、价值密度低等新挑战,传统智能故障诊断"人工特征提取+模式识别"的模式已然不能满足发展需求。本文分析了机械大数据的特性对故障诊断结果的影响,详述了堆叠自编码网络(SAE)、卷积神经网络(CNN)、深度置信网络(DBN)、循环神经网络(RNN)4个基本框架和其他深度学习模型在故障诊断领域,尤其是复杂机械数据的特征学习和各种机械设备健康监控任务的目标预测等相关研究。分析了不同模型的利弊和适应问题:SAE与DBN属于无监督学习模型,对数据要求较低,具有强大的特征提取能力,但性能难以保障;CNN在高维数据处理上优势明显,但训练迭代次数较多;RNN可以处理变化的时序数据。文中分析指出机械大数据下深度学习存在的问题:包括机械数据不平衡、来源分散;应用模式简单,缺乏对网络本身性能的分析;机械式引进较多,缺少适应性改造;学习处于"黑箱"阶段,无法解释等。最后,讨论了应对问题的有效措施并对深度学习未来的发展趋势进行展望。