基于无监督迁移成分分析和深度信念网络的轴承故障诊断方法

针对轴承故障样本少导致识别精度低的问题,提出一种基于无监督迁移成分分析(unsupervised transfer component analysis,UTCA)和深度信念网络(deep belief network,DBN)的故障诊断方法。首先利用UTCA的核函数将不同工况样本特征映射到一个共享再生核Hilbert空间中,使得源域和目标域样本集更加相似,并通过最大均值偏差嵌入法(maximum mean discrepancy embedding,MMDE)判断能够迁移的源域数据,将源域样本迁移到目标域中,为深度学习提供充足的训练样本,解决了实际故障样本较少的问题;然后采用DBN模型对源域样本进行训练,再对映射后无标记的目标域样本进行故障诊断分析。利用不同工况下的滚动轴承实验数据进行算法验证,结果表明,与普通DBN、SVM、BPNN以及传统机器学习-UTCA融合方法相比,本文方法对滚动轴承故障的诊断精度更高。     

一种基于彩票迁移的稀疏网络植株病虫害识别模型

植株病虫害的识别能够有效地提高农作物产量,当前数据驱动的深度植株病虫害识别方法需要大量的有标签数据,导致现有方法难以很好地识别少样本的新病虫。且基于深度学习的方法需要对大量的参数进行训练,难以削减计算开销。研究设计一种基于彩票迁移的稀疏网络植株病虫害识别模型:定义深度网络的彩票迁移假设,利用压缩策略构建稀疏网络,识别迁移源域的本质知识,提高深度网络的迁移效率;然后,设计深度彩票迁移算法,训练植株病虫害深度识别模型,解决少样本病虫识别调整;最后,在典型的通用数据与植株病虫害识别数据集上,验证基于彩票迁移的深度植株病虫害识别模型能高效迁移源域的本质知识。在PlantVillage数据集上,对植株病虫害识别准确率为97.69%,且所需训练的参数只有原始网络的约30%。     

适用于样本分布差异的迁移学习调制识别算法

针对大量有标签样本的数据驱动模型方法存在数据分布不完备问题,结合实际环境中通信信号样本差异大的特点,提出一种对抗域适应迁移算法.通过类判别器和域判别器对抗训练,使特征提取器能够提取到既具有类差异性又具有域不变性的特征.以无监督学习方式对目标域信号进行分类,以提升调制识别算法在实际环境中拟合存在分布差异数据集的自适应能力.对实际信号样本集中调制方式相近的9类调制信号在不同信噪比条件下进行测试,域适应迁移方法通过对抗训练有标签高信噪比的源域样本和无标签低信噪比的目标域样本,结果发现该算法的平均识别准确率较以往直接训练的平均识别准确率大幅提升.     

采用深度迁移学习与自适应加权的滚动轴承故障诊断

针对滚动轴承目标域数据中额外故障状态样本影响其故障诊断精度的问题，提出了采用深度迁移学习与自适应加权的滚动轴承故障诊断方法。建立特征提取模块，利用深度卷积神经网络将轴承样本映射到高维特征空间；利用迁移学习思想设计加权领域鉴别器，对样本进行自适应加权，并通过在特征空间的对抗训练，增大目标域与源域共有健康状态样本的领域相似性，抑制目标域额外故障状态样本与源域样本的领域相似性增强；依据样本权重，度量目标域与源域样本的相似性，设定阈值将目标域额外故障状态样本标记为未知故障；将源域故障诊断知识迁移到目标域共有健康状态样本的故障识别中。利用齿轮箱轴承数据、凯斯西储大学滚动轴承数据和机车轮对轴承数据对提出的方法进行验证，结果表明：所提方法在3个数据集上均达到89%以上的诊断精度，而对比方法的诊断精度均低于80%。所提方法能够克服额外故障状态样本的影响，有效实现滚动轴承故障诊断。     

基于迁移学习的小样本轴承故障诊断方法研究

针对实际应用中训练样本严重不足的问题,提出了一种改进迁移学习方法,将模型在源域上学习的故障诊断知识迁移至目标域,并将其用于小样本轴承故障诊断研究。采用全局均值池化层代替卷积神经网络中的全连接层进行分类输出,减少了网络的待训练参数量。采用预训练微调的迁移学习方法,使用数量充足的源域样本来训练网络,避免了数据不足导致的过拟合现象。将网络结构和参数迁移至目标域后,微调较深层的网络参数,使得网络适应目标域样本的数据分布。在凯斯西储大学轴承数据集和实验室轴承数据集上进行了迁移学习实验和轴承分类诊断,结果表明:在跨工况和跨型号的情况下,仅使用1%目标域训练集数据进行微调时,所使用的方法获得了92.25%的平均分类准确率。所提方法完成了小样本下的滚动轴承故障迁移诊断任务,对迁移学习理论在轴承故障诊断中的研究应用具有一定价值。     

基于Res-CAN的Tor网站指纹识别模型

网站指纹识别技术通过分析流量特征判断用户访问的网站站点，能够有效监管TOR匿名网络的用户行为。现有的识别方法通常需要大规模的数据样本以获得高的识别准确率，且普遍存在概念漂移问题。针对以上问题，本文提出一种基于残差和协作对抗网络(Residual network and Collaborative and Adversarial Network, Res-CAN)的网站指纹识别模型。该模型使用残差网络(Residual network)作为特征提取器以减少网络的优化难度。同时，将协作对抗网络(Collaborative and Adversarial Network, CAN)应用于网站指纹识别问题，使得特征提取器同时学习领域相关和领域无关特征，实现源域与目标域的特征空间对齐。实验结果表明，本文提出的方法在小样本环境下网站指纹识别准确率达到91.2%,优于现有的利用对抗领域自适应网络(Domain-Adversarial Neural Networks, DANN)迁移学习方法，且抗概念漂移能力较高。     

SAR-LAM:面向小样本SAR目标识别的轻量化适应策略

针对小样本学习中跨域迁移导致模型性能下降的问题,提出一种面向小样本SAR目标识别的轻量化适应策略(SAR-LAM)。该方法通过知识蒸馏预训练一个具有泛化性能的通用编码器,向其中嵌入一个只在少量目标域样本上进行训练的适应模块,而后将提取的特征映射到一个分辨性更高的空间内,最终以原型网络为基线对查询集样本进行分类。该适应策略以增加少量学习参数为代价,克服了数据分布差异导致模型迁移受限的困难,增强了模型在目标域提取特征的能力,在小样本条件下将SAR目标识别的准确率提升了至少1.93个百分点,较其他方法展现出一定的优越性。     

基于迁移学习的卷积神经网络电网故障诊断

电网拓扑结构复杂、分支众多、潮流分布不平衡、故障样本较少且难以获取。为提高配电网的故障诊断准确性,提出将迁移学习的思想与卷积神经网络(convolutional neural networks, CNN)相结合,以此来解决目标域样本不足导致训练效果差的问题,同时利用主成分分析(principal component analysis, PCA)对时序数据进行降维,提升运行速率,形成配电网故障诊断方法。首先对PCA和CNN的结构特点进行分析;然后通过仿真模拟不同的故障条件,生成面向CNN的时序数据。再通过最大均值差异法(MMD)选择出最适合迁移的源域数据,建立源域故障识别的预训练模型。最后使用目标域数据,在预训练模型的基础上进行迁移微调训练,得到故障诊断模型。仿真结果表明,该方法能够在小样本的情况下迅速完成对故障类型的精准预测。     

一种应用于脑电情感识别的迁移学习框架

脑电信号作为最能表征人体情绪的信号，正在成为情感识别的主流信号源.利用迁移学习可以克服生理信号源域、目标域间存在分布差异的问题.传统迁移学习由于缺少对样本、特征的选择过程，会对迁移效果产生负影响，致使识别率较低.为提升迁移效果，在样本、特征两个方面对迁移数据进行优化.介绍了一种基于Like值的实例筛选方法，以及基于粒子群优化的自动特征选择方法，并使用联合分布适配(joint distribution adaptation, JDA),提出了一种应用于情感识别的迁移学习框架.在SEED数据集上构建了两个迁移任务并进行验证，结果表明，该框架可以有效提升迁移效果，提高跨域情感识别准确率.     

基于注意力机制BiLSTM的设备智能故障诊断方法

状态监测与故障诊断是保证机械设备安全稳定运行的必要手段.本文提出一种基于注意力机制双向LSTM网络(ABiLSTM)的深度学习框架用于机械设备智能故障诊断.首先,将传感器采集的设备原始数据进行预处理,并划分为训练样本集与测试样本集;其次,训练多个不同尺度的双向LSTM网络对原始时域信号进行特征提取,得到设备故障多尺度特征;再次,通过引入注意力机制,对不同双向LSTM网络提取特征的权重参数进行优化,筛选保留目标特征,滤除冗杂特征,以实现精准提取有效故障特征;最后,在输出端利用Softmax分类器输出故障分类结果.通过利用发动机气缸振动实验数据和凯斯西储大学滚动轴承实验数据进行故障诊断实验,故障识别准确率均达到99%以上.实验结果表明,ABiLSTM模型可以实现对原始时域信号的多尺度特征提取和故障诊断,通过与深度卷积网络(CNN)、深度去噪自编码器(DAE)和支持向量机(SVM)等方法进行对比,ABiLSTM模型的故障识别性能优于各类常见模型.另外,通过利用凯斯西储大学滚动轴承在不同工况条件下的数据,对ABiLSTM模型进行泛化性能实验,变工况样本的故障识别准确率仍然能够达到95%以上.     

S变换子域适应的扶梯电机轴承迁移诊断

在缺乏足够的扶梯电机轴承故障数据的情况下,针对扶梯在频繁变载变速的运行状态中轴承故障特征不稳定的问题,提出了Stockwell(S)变换结合子域适应的扶梯电机轴承迁移诊断方法。首先,针对扶梯电机轴承的故障特点,采用S变换结合双线性插值算法生成振动信号时频图。该时频图能有效反映轴承故障特征,并与后续的生成/与特征提取网络输入要求相适应。其次,在基于深度残差神经网络ResNet-50的特征提取网络层的输出端引入局部最大均值差异（LMMD）,将故障样本的类别置信度作为映射后的权重引入最大均值差异（MMD）,在对齐源域和目标域全局分布的同时,对齐同类别样本所属的子域的分布,同时拓展可迁移学习的范围。然后,构建网络的最小化LMMD和交叉熵损失函数,采用小批量梯度下降法训练网络。从而可通过细化不同故障类别间特征差异实现故障子域自适应,并克服迁移诊断精度低的问题。最后,基于两个公开的轴承故障数据集和少量扶梯电机轴承故障数据构建S变换后的时频数据集,并进行迁移诊断实验验证。结果表明,本方法对扶梯轴承的两种源域到目标域的迁移诊断平均准确率分别达到99.1%和95.49%,识别精度和鲁棒性明显优于5种常用...     

考虑样本加权的迁移学习暂态稳定评估模型更新方法

在电力系统暂态稳定评估模型的更新过程中，针对与潜在故障相关性较小的故障样本影响迁移效果的问题，本研究从原始样本的特征量出发，发现其分布差异能反映故障之间的相关程度，由此提出考虑样本加权的迁移学习方法，进一步提高更新后评估模型的性能.首先，通过预先训练获得一个独立的域判别器，以此衡量训练模型的各故障样本相对于潜在故障的相似程度.其次，将量化后的分布差异通过密度比估计的方式进行转化，得到训练模型的各故障样本所赋予的权重大小.最后，将权重引入迁移学习更新评估模型的损失函数中，实现样本筛选.所提方法的有效性在IEEE-39节点系统和华东某区域的实际系统中均得到验证.     

基于特征空间嵌入的对比知识蒸馏算法

因能有效地压缩卷积神经网络模型,知识蒸馏在深度学习领域备受关注。然而,经典知识蒸馏算法在进行知识迁移时,只利用了单个样本的信息,忽略了样本间关系的重要性,算法性能欠佳。为了提高知识蒸馏算法知识迁移的效率和性能,文中提出了一种基于特征空间嵌入的对比知识蒸馏（FSECD）算法。该算法采用批次内构建策略,将学生模型的输出特征嵌入到教师模型特征空间中,使得每个学生模型的输出特征和教师模型输出的N个特征构成N个对比对。每个对比对中,教师模型的输出特征是已优化、固定的,学生模型的输出特征是待优化、可调优的。在训练过程中,FSECD缩小正对比对的距离并扩大负对比对的距离,使得学生模型可感知并学习教师模型输出特征的样本间关系,进而实现教师模型知识向学生模型的迁移。在CIFAR-100和ImageNet数据集上对不同师生网络架构进行的实验结果表明,与其他主流蒸馏算法相比,FSECD算法在不需要额外的网络结构和数据的情况下,显著提升了性能,进一步证明了样本间关系在知识蒸馏中的重要性。     

一种图像分类中基于元学习的渐进式原型网络技术研究

分析了一种基于元学习的渐进式原形网络,只需要少量的图像样本,就可以完成模型的训练工作,并能快速识别新任务,具有极强的泛化能力.采用的渐进式训练策略,提升了模型的训练效率,降低了训练时间.     

一种基于深度融合模型的滚动轴承故障诊断方法

针对噪声环境下滚动轴承故障难以诊断的问题,提出一种基于深度学习融合网络的轴承故障识别新方法。该方法首先对轴承振动信号进行一定程度的随机损坏,并将加噪后的数据输入卷积降噪自编码器(convolutional denoising autoencoder, CDAE)中对网络进行训练,目的是降低信号中的噪声干扰并提取浅层特征;然后,利用深度信念网络(deep belief network, DBN)学习深层特征并建立轴承状态识别模型,输出故障识别结果。在融合模型中,将卷积降噪自编码器作为网络的第一层以增强网络的抗干扰能力,提高故障的识别精度。使用凯斯西储大学(CWRU)滚动轴承数据对所提模型进行验证,结果表明提出的融合模型在噪声环境下能够较好地实现轴承的故障状态识别。     

基于域适应与分类器差异的滚动轴承跨域故障诊断

基于数据驱动方法诊断滚动轴承故障时,不同工况下的数据特征分布差异会导致模型诊断性能严重下降.针对这一问题,提出了基于域适应与分类器差异的滚动轴承跨域故障诊断方法.首先利用卷积神经网络对带标记的源域样本和无标记的目标域样本进行特征提取;然后通过2个全连接分类器进行故障分类;最后通过分步优化分类损失、域最大平均差异损失和分...     

一种基于深度融合模型的滚动轴承故障诊断方法

针对噪声环境下滚动轴承故障难以诊断的问题,提出一种基于深度学习融合网络的轴承故障识别新方法。该方法首先对轴承振动信号进行一定程度的随机损坏,并将加噪后的数据输入卷积降噪自编码器(convolutional denoising autoencoder,CDAE)中对网络进行训练,目的是降低信号中的噪声干扰并提取浅层特征;然后,利用深度信念网络(deep belief network,DBN)学习深层特征并建立轴承状态识别模型,输出故障识别结果。在融合模型中,将卷积降噪自编码器作为网络的第一层以增强网络的抗干扰能力,提高故障的识别精度。使用凯斯西储大学(CWRU)滚动轴承数据对所提模型进行验证,结果表明提出的融合模型在噪声环境下能够较好地实现轴承的故障状态识别。     

非均衡数据下基于注意力网络和代价敏感学习的轨面状态识别

准确识别轨面状态,可为列车牵引/制动性能提升提供关键依据。重点针对传统代价敏感学习应用在非均衡轨面状态识别中存在的同类别样本重要性不同和多数类精度下降等问题,提出一种基于注意力网络和代价敏感学习的轨面状态识别方法。该法首先利用迁移学习思想将均衡数据集的特征迁移到非均衡轨面状态数据集,减轻少数类样本误分类影响;其次在骨干网络ResNet18中引入卷积注意力机制模块,增强网络对目标区域的特征学习能力和全局特征信息的感知性能,调整优化网络权重参数;最后构造依据轨面状态样本重要性大小的自适应加权平衡损失函数,降低决策边界对困难样本中多数类的过拟合,获得更加平滑的决策边界。非均衡数据下的实验结果表明,在3种非均衡比下,所提方法的准确率和召回率分别达到96.00%、90.67%、86.33%,与目前常用的方法Focal相比,分别提升了7.00%、2.34%、3.00%。此外,该方法在提高少数类召回率的同时可有效维持多数类的召回率,并且降低了网络训练时间成本。     

基于无监督迁移学习的核范数最大化轴承故障诊断方法

针对实际工业运行中带标签的轴承故障数据难以获取,导致有监督学习故障诊断效果不佳的问题,提出一种基于无监督迁移学习(transfer learning, TL)的核范数最大化轴承故障诊断方法。该方法通过结构优化深度卷积神经网络(structure optimized deep convolutional neural networks, SOCNN)进行故障特征提取,利用最大均值差异(maximum mean discrepancy, MMD)提升源域和目标域的分布相似度,并结合快速批量核范数最大化(fast batch nuclear-norm maximization, FBNM)来提升目标域批量输出矩阵的可分辨性和多样性。实验结果表明：所提方法在不同噪声环境中都具有较高的诊断精度,能准确识别出轴承的故障类型和故障危害等级,为轴承故障诊断提供有效技术支撑。     

基于边界检测和骨骼提取的显著性检测网络

目前一些方法通过多任务联合实现显著性检测，在一定程度上提升了检测精度，但仍存在误检和漏检问题，其原因在于各任务优化目标不同且特征域差异较大，导致网络对显著性、物体边界等特征辨识能力不足．基于此，借助边界检测和骨骼提取提出一种多任务辅助的显著性检测网络，其包括特征提取子网络、边界检测子网络、骨骼提取子网络以及显著性填充子网络．其中，特征提取子网络利用ResNet101预训练模型提取图像的多尺度特征；边界检测子网络选择前3层特征进行融合，可完整保留显著性目标的边界信息；骨骼提取子网络选择后两层特征进行融合，可准确定位显著性目标的中心位置；所提方法基于边界检测数据集和骨骼提取数据集分别对两个子网络进行训练，保留最好的边界检测模型和骨骼提取模型，作为预训练模型辅助显著性检测任务．为降低网络优化目标与特征域之间的差异，设计了显著性填充子网络将提取的边界特征和骨骼特征进行融合和非线性映射．在4种数据集上的实验结果表明，所提方法能有效恢复缺失的显著性区域，优于其他显著性目标检测方法．