基于组合域的图像标签噪声预处理方法

数据集独立同分布(Independent and identically distributed, IID)的假设和数据集是否干净,分别对应组合域标签噪声领域数据集非独立同分布(Non-independent and identically distributed, Non-IID)和标签噪声问题。该文提出多标签图像多分类模型(Multi-label image multi-classification model, MIMM)预处理方法应对上述问题。为了缓和数据集独立同分布假设,该文证明组合域方法的迁移误差上界,并使用最大关键特征(Maximum key feature, MKF)函数和关键秩匹配分解(Key rank matching decomposition, KRMD)算法实现源域向组合同构数据的目标域迁移。为了保证数据集干净,引入干净的第三方数据微调模型参数,排除标签真实数量不确定导致训练集类别不平衡的情况。在Pascal/COCO数据集上进行实验,结果证明MIMM方法已达到准确率与运行效率的最佳平衡。     

基于校正分布差异的标定迁移方法研究

针对近红外光谱数据的维度高、特征之间存在严重的多重共线性的特点,提出了无迁移标准的通过校正分布差异的标定迁移方法(calibration transfer via correcting distributions difference,CT-CDD).CT-CDD首先建立主仪器的偏最小二乘模型,然后通过偏最小二乘模型提取主仪器和从仪器的潜变量,并且分别对主仪器和从仪器的潜变量进行聚类.该方法基于这样的假设:聚类后的主仪器和从仪器的每一部分特征光谱均服从单高斯分布.最后,找到2个仪器的最接近的子分布,通过校正均值和方差来校正数据分布的差异.实验结果表明CT-CDD通常更加鲁棒并且还可以实现最低的均方根预测误差.     

基于迁移学习的卷积神经网络电网故障诊断

电网拓扑结构复杂、分支众多、潮流分布不平衡、故障样本较少且难以获取。为提高配电网的故障诊断准确性,提出将迁移学习的思想与卷积神经网络(convolutional neural networks, CNN)相结合,以此来解决目标域样本不足导致训练效果差的问题,同时利用主成分分析(principal component analysis, PCA)对时序数据进行降维,提升运行速率,形成配电网故障诊断方法。首先对PCA和CNN的结构特点进行分析;然后通过仿真模拟不同的故障条件,生成面向CNN的时序数据。再通过最大均值差异法(MMD)选择出最适合迁移的源域数据,建立源域故障识别的预训练模型。最后使用目标域数据,在预训练模型的基础上进行迁移微调训练,得到故障诊断模型。仿真结果表明,该方法能够在小样本的情况下迅速完成对故障类型的精准预测。     

基于双塔隐语义与自注意力的跨域推荐模型

为缓解跨域推荐数据稀疏与冷启动问题,该文提出一种融和双塔隐语义与自注意力机制的跨域推荐模型(DLLFM-DA/Self atten CDR model, DLDASA),能够有效提升目标域推荐准确率.首先利用提出的双塔隐语义模型(DLLFM),借助源域和目标域用户的类别偏好和项目类别,生成高质量隐语义;其次,在隐语义特征迁移过程中引入域适应(domain adaptation),有效对齐源域与目标域的特征分布,最小化源域与目标域间数据分布差异,提供更高质量的隐语义特征迁移;然后利用多头自注意力机制捕捉两个域之间的差异性与相关性,对差异信息进行筛选与融合,缓解负迁移问题,以提升跨域推荐质量;最后,在Movielens-Netflix和一品威客(YPWK)-猪八戒网(ZBJW)真实数据集上,将DLDASA与基线单域和跨域推荐模型进行对比实验,结果表明,均方根误差(RMSE)和平均绝对误差(MAE)均有明显改善.该研究验证了DLDASA模型能够更充分地提取用户特征,有效缓解目标域信息不足的问题.     

基于实例迁移的磨煤机过程监测建模

当工业生产过程数据匮乏时,很难利用基于数据统计的方法建立其过程监测模型,这给过程监测的准确性和及时性带来很大影响,迁移学习为解决上述问题提供了有效的途径.针对目标域磨煤机过程数据较少的情况,在源域磨煤机数据的基础上,建立基于实例迁移高斯混合模型(Gaussian mixture model,GMM)的目标域磨煤机过程监...     

基于迁移学习的贝叶斯网络参数学习方法

针对贝叶斯网络参数迁移过程中对源域及目标域限定条件较多等问题,在考虑源域-目标域多种信息形式的情况下,提出一种基于贝叶斯网络参数迁移学习的统一框架.该方法综合考虑了源域结构和数据量在迁移中的作用,在结构相似性的基础上,探讨了备选源域数据量对参数迁移的影响.在迁移过程中引入与目标域数据相关的平衡系数.通过平衡系数将目标域...     

基于无监督迁移成分分析和深度信念网络的轴承故障诊断方法

针对轴承故障样本少导致识别精度低的问题,提出一种基于无监督迁移成分分析(unsupervised transfer component analysis,UTCA)和深度信念网络(deep belief network,DBN)的故障诊断方法。首先利用UTCA的核函数将不同工况样本特征映射到一个共享再生核Hilbert空间中,使得源域和目标域样本集更加相似,并通过最大均值偏差嵌入法(maximum mean discrepancy embedding,MMDE)判断能够迁移的源域数据,将源域样本迁移到目标域中,为深度学习提供充足的训练样本,解决了实际故障样本较少的问题;然后采用DBN模型对源域样本进行训练,再对映射后无标记的目标域样本进行故障诊断分析。利用不同工况下的滚动轴承实验数据进行算法验证,结果表明,与普通DBN、SVM、BPNN以及传统机器学习-UTCA融合方法相比,本文方法对滚动轴承故障的诊断精度更高。     

基于对抗网络的声纹识别域迁移算法

针对声纹识别任务中常常出现的由于真实场景语音与模型训练语料在内部特征(情感、语言、说话风格、年龄)或外部特征(背景噪声、传输信号、麦克风、室内混响)等方面的差异所导致的模型识别率低的问题,提出了一种基于对抗网络的声纹识别域迁移算法。首先,利用源域语音对X-Vector的声纹识别模型进行训练;然后,采用域迁移方法将源域训练的XVector模型迁移至目标域训练数据;最后,在目标域测试数据上检测迁移后的模型性能,并将其与迁移前的模型性能进行对比。实验中采用AISHELL1作为源域,采用VoxCeleb1和CNCeleb分别作为目标域对算法性能进行测试。实验结果表明,采用本文方法进行迁移后,在VoxCeleb1和CN-Celeb的目标域测试集上的等错误率分别下降了21.46%和19.24%。     

基于图卷积神经网络的跨域行人再识别

针对由源域训练的行人再识别模型通常在目标域的泛化能力不强的问题,提出基于图卷积神经网络的跨域行人再识别方法,将源域数据学习到的整合邻居样本信息的能力迁移至目标域数据.首先,为经过特征提取后的源域数据建立亲属子图,并将源域数据特征和亲属子图作为所设计的图卷积神经网络模块的输入,以基于源域的监督信息训练图卷积神经网络模块;然后,对经过特征提取后的目标域数据建立亲属子图,将训练过的图卷积神经网络模块应用于目标域数据,为目标域数据赋伪标签;最后,联合源域数据和目标域数据训练得到一个泛化能力强的行人再识别模型.分别在两个大规模公开数据集Market-1501和DukeMTMC-reID上对所提出方法进行实验验证,结果表明所提出的方法与所选择的基准模型相比使得Market-1501的rank-1准确率和平均准确率均值(mAP)分别提高了7.4%和9.2%,而DukeMTMC-reID的rank-1准确率和m AP分别提高了14.2%和14.9%.     

领域实例迁移的交互文本非平衡情感分类方法

针对交互文本句子短、成分缺失、多领域下类分布不均衡导致的高维、特征值稀疏、正样本稀少的难点,提出面向目标数据集实例迁移的数据层面采样方法。该方法提出目标数据集和源数据集共性特征的Top-N信息增益和值占比函数,选择评价两个数据集实例相似度的特征;提出目标数据集和源数据集特征空间一致性处理方法,克服两者特征空间不一致的问题;提出分领域的实例选取与迁移方法,克服多领域下的类分布不均衡问题。实验结果表明:该方法有效缓解了交互文本的非平衡问题,使支持向量机、随机森林、朴素贝叶斯、随机委员会4个经典分类算法的加权平均的接收者运行特征曲线(receiver operating characteristic,ROC)指标提升了11.3%。     

基于平衡概率分布和实例的迁移学习算法

在联合匹配边缘概率和条件概率分布以减小源域与目标域的差异性时,存在由类不平衡导致模型泛化性能差的问题,从而提出了基于平衡概率分布和实例的迁移学习算法。通过基于核的主成分分析方法将特征数据映射到低维子空间,在子空间中对源域与目标域的边缘分布和条件分布进行联合适配,利用平衡因子动态调节每个分布的重要性,采用加权条件概率分布自适应地改变每个类的权重,同时融合实例更新策略,进一步提升模型的泛化性能。在字符和对象识别数据集上进行了多组对比实验,表明该算法有效地提高了图像分类的准确率。     

基于GRU与PCA-TL的热应力下IGBT故障预测

针对热应力下绝缘栅双极型晶体管(insulated gate bipolar transistor, IGBT)的性能随时间逐步退化的特性,将深度学习中的时间序列预测算法应用到IGBT故障预测中,提出了基于门控循环单元(gated recurrent unit, GRU)与主成分分析-迁移学习(principal components analysis-transfer learning, PCA-TL)的故障预测新方法。该方法以电参数集电极-发射极电压V_CE作为衰退参数,采用GRU模型构建衰退参数与故障时间的映射关系;利用PCA技术综合相异分布特征的IGBT故障指标,引入TL方法,通过微调GRU预测模型的参数完成从源域到目标域的迁移,实现目标域样本的故障预测。实验结果表明,基于GRU的故障预测模型具有较高的预测精度,与长短期记忆(long short-term memory, LSTM)算法相比,训练速度更快;PCA-TL方法可实现同类器件不同工况下的故障监测任务。验证了所提方法的可行性和正确性。     

基于特征迁移和深度学习的配电网故障定位

故障诊断对电力系统的稳定运行至关重要。当配电网的拓扑结构发生较大变化时,难以获取大量带有标签的暂态数据,导致传统的故障预测模型精度难以提高。针对此问题,提出一种将特征迁移和深度学习相结合的配电网故障诊断新方法。首先,采集配电网不同线路的零序电流构造故障特征集;其次,引入加权半监督迁移成分分析(semi-supervised transfer component analysis, SSTCA)方法,利用混合核函数将不同拓扑结构下的特征样本映射到同一特征空间中,缩小数据间的分布差异性;最后,将映射后的源域样本输入卷积神经网络中进行分类训练,并测试映射后的目标域样本。通过Simulink仿真表明,在改变配电网拓扑结构的新场景下,所提的特征迁移方法与其他方法相比,对目标域故障定位精度最高,达到98%以上。     

基于迁移成分分析和词包模型的变工况轴承诊断方法

针对不同工况下的数据无法直接训练并用于检测的问题,提出一种基于迁移成分分析和词包模型的诊断算法,对于用作训练的有标签源域数据和用作检验诊断的无标签目标域数据。首先使用短时傅里叶变换将两者转换为频域数据,其次通过迁移成分分析将两者的频谱能量映射到同一分布以建立相应的词包模型作为数据的特征,最后在源域数据的词包模型上训练出合适的分类器从而进行诊断。在西门子SQI-MFS平台实验数据集、凯斯西储大学公开数据集及机械故障预防技术协会MFPT(machinery failure prevention technology)数据集下的实验结果表明该算法是有效的。     

基于域知识迁移的绝缘子缺陷检测方法

绝缘子缺陷检测模型在应用过程中,需要对多种目标域图像进行检测。然而,由于不同目标域图像的分布不同,会导致在源域训练得到的缺陷检测模型难以在不同目标域中实现较好的检测效果。针对缺陷检测模型泛化性较低的问题,提出了基于域知识迁移的绝缘子缺陷检测方法。首先,采用一种新的特征融合方法提高对缺陷目标的特征提取能力;然后通过对抗性训练实现基于图像和实例级别的域分类器,在图像和目标层级上实现了域迁移;最后在区域建议网络中引入区域级别的域分类器,进一步实现了源域和目标域在区域级别上的对齐。实验结果表明,模型能够缓解不同域图像分布不平衡导致检测效果差的问题,并且与其他多种目标检测方法相比,实现了更好的缺陷检测效果。     

工业网络流量异常检测的概率主成分分析法

针对主成分分析(PCA)法用于工业测控网络流量异常检测时存在的误报率高的问题,提出了一种基于概率主成分分析(PPCA)的检测算法.首先通过分析误报成因,建立了工业测控网络流量矩阵的PPCA模型,然后使用迭代变分贝叶斯算法辨识该模型的参数,再利用模型参数估计值求解流量矩阵的秩的分布函数并得到秩的极大似然估计值,最后以秩的跃变状况为判据进行异常流量检测.模拟攻击实验表明,该方法使漏报率平均下降了32%,从而有效降低了PCA方法的误报率.     

基于域适应与分类器差异的滚动轴承跨域故障诊断

基于数据驱动方法诊断滚动轴承故障时,不同工况下的数据特征分布差异会导致模型诊断性能严重下降.针对这一问题,提出了基于域适应与分类器差异的滚动轴承跨域故障诊断方法.首先利用卷积神经网络对带标记的源域样本和无标记的目标域样本进行特征提取;然后通过2个全连接分类器进行故障分类;最后通过分步优化分类损失、域最大平均差异损失和分...     

深度子领域迁移学习：一种细粒度主动迁移视角

迁移学习能以相关领域中的标注数据为基础，提升目标领域的学习效果。当领域间的数据分布差异很大时，会导致严重的负迁移问题。如何充分捕获源域和目标域之间的相似性，进一步挖掘更多有效信息，最终提高目标域的预测精度，是一个值得探索的问题。该文从细粒度主动迁移的视角，提出一种深度子领域迁移学习(Deep subdomain transfer learning, DSTL)算法，能迭代优化源域和目标域之间的相似性，提升模型预测性能。该文首先提出一种伪标签生成策略，对所有样本进行子领域的划分；制定中心+边缘的主动查询策略，获得关键代表性实例的真实标签；设计一种迭代分布优化策略，实现源域和目标域的子领域对齐，避免负迁移。将DSTL算法与传统迁移学习算法以及当前最新的深度迁移学习算法在主流的基准数据集上进行了测试。统计分析的结果表明，该文所提算法能实现性能的有效提升，扩大模型在实际应用中的适用范围。     

基于迁移学习的小样本轴承故障诊断方法研究

针对实际应用中训练样本严重不足的问题,提出了一种改进迁移学习方法,将模型在源域上学习的故障诊断知识迁移至目标域,并将其用于小样本轴承故障诊断研究。采用全局均值池化层代替卷积神经网络中的全连接层进行分类输出,减少了网络的待训练参数量。采用预训练微调的迁移学习方法,使用数量充足的源域样本来训练网络,避免了数据不足导致的过拟合现象。将网络结构和参数迁移至目标域后,微调较深层的网络参数,使得网络适应目标域样本的数据分布。在凯斯西储大学轴承数据集和实验室轴承数据集上进行了迁移学习实验和轴承分类诊断,结果表明:在跨工况和跨型号的情况下,仅使用1%目标域训练集数据进行微调时,所使用的方法获得了92.25%的平均分类准确率。所提方法完成了小样本下的滚动轴承故障迁移诊断任务,对迁移学习理论在轴承故障诊断中的研究应用具有一定价值。     

S变换子域适应的扶梯电机轴承迁移诊断

在缺乏足够的扶梯电机轴承故障数据的情况下,针对扶梯在频繁变载变速的运行状态中轴承故障特征不稳定的问题,提出了Stockwell(S)变换结合子域适应的扶梯电机轴承迁移诊断方法。首先,针对扶梯电机轴承的故障特点,采用S变换结合双线性插值算法生成振动信号时频图。该时频图能有效反映轴承故障特征,并与后续的生成/与特征提取网络输入要求相适应。其次,在基于深度残差神经网络ResNet-50的特征提取网络层的输出端引入局部最大均值差异（LMMD）,将故障样本的类别置信度作为映射后的权重引入最大均值差异（MMD）,在对齐源域和目标域全局分布的同时,对齐同类别样本所属的子域的分布,同时拓展可迁移学习的范围。然后,构建网络的最小化LMMD和交叉熵损失函数,采用小批量梯度下降法训练网络。从而可通过细化不同故障类别间特征差异实现故障子域自适应,并克服迁移诊断精度低的问题。最后,基于两个公开的轴承故障数据集和少量扶梯电机轴承故障数据构建S变换后的时频数据集,并进行迁移诊断实验验证。结果表明,本方法对扶梯轴承的两种源域到目标域的迁移诊断平均准确率分别达到99.1%和95.49%,识别精度和鲁棒性明显优于5种常用...