基于联合对抗训练的鲁棒度量迁移

迁移度量学习旨在从强大且可靠的距离度量中迁移知识来改善目标度量的效果,这些度量往往来自于学习目标相关的任务.现有的迁移度量学习算法仅关注于如何迁移知识,而这些知识容易过拟合到源域中.首先研究如何在源域中训练一个适合于迁移的源域度量,然后设计了一种通用的深度异质迁移算法来进行高效的迁移学习.值得注意的是,将源域度量以联合对抗学习的方式进行训练,再以深度神经网络的方式将其参数化表示并对其进行迁移.迁移中通过表征模仿的方式来学习源域度量中的知识,这种方式允许源域和目标域中的知识来自于异质域.此外,严格限制目标度量网络的大小,使得目标网络更够进行高效的推理计算.在人脸识别数据集上的实验展现了本方法的有效性.     

采用深度迁移学习与自适应加权的滚动轴承故障诊断

针对滚动轴承目标域数据中额外故障状态样本影响其故障诊断精度的问题，提出了采用深度迁移学习与自适应加权的滚动轴承故障诊断方法。建立特征提取模块，利用深度卷积神经网络将轴承样本映射到高维特征空间；利用迁移学习思想设计加权领域鉴别器，对样本进行自适应加权，并通过在特征空间的对抗训练，增大目标域与源域共有健康状态样本的领域相似性，抑制目标域额外故障状态样本与源域样本的领域相似性增强；依据样本权重，度量目标域与源域样本的相似性，设定阈值将目标域额外故障状态样本标记为未知故障；将源域故障诊断知识迁移到目标域共有健康状态样本的故障识别中。利用齿轮箱轴承数据、凯斯西储大学滚动轴承数据和机车轮对轴承数据对提出的方法进行验证，结果表明：所提方法在3个数据集上均达到89%以上的诊断精度，而对比方法的诊断精度均低于80%。所提方法能够克服额外故障状态样本的影响，有效实现滚动轴承故障诊断。     

基于相似度的神经网络多源迁移学习算法

为了解决迁移学习中的"负迁移"问题,提出了基于相似度的神经网络多源迁移学习算法。该算法是以经典的BP神经网络模型为基分类器,利用梯度下降法对各个源领域与目标域之间的相似度进行学习和优化,把各个源领域的网络权重参数信息按照与目标域之间的相似程度迁移到目标域中,提高机器学习算法在目标域的分类性能。在UCI数据的Letter-recognition数据集以及20Newsgroups文本数据集上进行实验。实验结果表明了MTL-SNN算法比传统的多源迁移学习算法以及BP神经网络算法在分类准确率上有所提升,因此MTL-SNN算法有效地解决了"负迁移"问题。     

基于迁移学习的小样本轴承故障诊断方法研究

针对实际应用中训练样本严重不足的问题,提出了一种改进迁移学习方法,将模型在源域上学习的故障诊断知识迁移至目标域,并将其用于小样本轴承故障诊断研究。采用全局均值池化层代替卷积神经网络中的全连接层进行分类输出,减少了网络的待训练参数量。采用预训练微调的迁移学习方法,使用数量充足的源域样本来训练网络,避免了数据不足导致的过拟合现象。将网络结构和参数迁移至目标域后,微调较深层的网络参数,使得网络适应目标域样本的数据分布。在凯斯西储大学轴承数据集和实验室轴承数据集上进行了迁移学习实验和轴承分类诊断,结果表明:在跨工况和跨型号的情况下,仅使用1%目标域训练集数据进行微调时,所使用的方法获得了92.25%的平均分类准确率。所提方法完成了小样本下的滚动轴承故障迁移诊断任务,对迁移学习理论在轴承故障诊断中的研究应用具有一定价值。     

基于实例迁移的磨煤机过程监测建模

当工业生产过程数据匮乏时，很难利用基于数据统计的方法建立其过程监测模型，这给过程监测的准确性和及时性带来很大影响，迁移学习为解决上述问题提供了有效的途径.针对目标域磨煤机过程数据较少的情况，在源域磨煤机数据的基础上，建立基于实例迁移高斯混合模型(Gaussian mixture model，GMM)的目标域磨煤机过程监测模型.利用实例迁移对源域生产过程和目标域过程数据进行权重分配，通过改进的高斯混合模型算法得到最佳高斯组分数目和对应的模型参数，应用过程监测的全局概率指标实现磨煤机过程的跨域监测.磨煤机过程的研究结果验证了所提出方法的可行性和有效性.     

采用迁移学习的小样本锂电池荷电状态估算方法

针对锂电池荷电状态(SOC)估算面临的大型数据集获取困难和训练速度慢的问题，结合深度学习和迁移学习提出一种小样本锂电池荷电状态估算方法。基于卷积-长短期记忆网络(CNN-LSTM)构建深度神经网络结构。在源域上采用K折交叉验证对NASA数据集进行划分，选取SOC估计性能最优的网络，利用目标域内具有多种工况和温度条件的Panasonic小样本数据进行迁移学习。为了提升方法的整体性能，分析了网络超参数对SOC估计结果的影响。实验结果表明：在相同的迭代次数下，该方法在不同的工况下可以较准确地实现小样本电池SOC估计，相较于非小样本迁移学习处理方法的均方根误差降低了47.29%。     

基于迁移学习的卷积神经网络电网故障诊断

电网拓扑结构复杂、分支众多、潮流分布不平衡、故障样本较少且难以获取。为提高配电网的故障诊断准确性,本文提出将迁移学习的思想与卷积神经网络（Convolutional Neural Networks,CNN）相结合,以此来解决目标域样本不足导致训练效果差的问题,同时利用主成分分析（principal component analysis,PCA）对时序数据进行降维,提升运行速率,形成配电网故障诊断方法。首先对PCA和CNN的结构特点进行分析;然后通过仿真模拟不同的故障条件,生成面向CNN的时序数据。再通过最大均值差异法（MMD）选择出最适合迁移的源域数据,建立源域故障识别的预训练模型。最后使用目标域数据,在预训练模型的基础上进行迁移微调训练,得到故障诊断模型。仿真结果表明,该方法能够在小样本的情况下迅速完成对故障类型的精准预测。     

基于域分离网络的实体解析迁移方法

实体解析致力于识别多条记录是否描述真实世界相同实体，这是数据清洗和数据集成中的关键问题.近年来，基于深度学习的实体解析广受欢迎，它们需要大量标注数据才能达到较优的效果.然而，在现实场景中，大量高质量标注数据不容易获得.本文提出了一个基于深度迁移学习的实体解析模型，通过域分离网络提取源域和目标域的公共特征，并利用公共特征得到实体解析结果，从而实现从源域到目标域的迁移.实验结果表明，在多个数据集上，本文提出的方法比之前最好的方法在F1度量上最大提高了40%左右.实验证明本文的方法具有更好的表现，并且训练时间更短.     

深度子领域迁移学习：一种细粒度主动迁移视角

迁移学习能以相关领域中的标注数据为基础，提升目标领域的学习效果。当领域间的数据分布差异很大时，会导致严重的负迁移问题。如何充分捕获源域和目标域之间的相似性，进一步挖掘更多有效信息，最终提高目标域的预测精度，是一个值得探索的问题。该文从细粒度主动迁移的视角，提出一种深度子领域迁移学习(Deep subdomain transfer learning, DSTL)算法，能迭代优化源域和目标域之间的相似性，提升模型预测性能。该文首先提出一种伪标签生成策略，对所有样本进行子领域的划分；制定中心+边缘的主动查询策略，获得关键代表性实例的真实标签；设计一种迭代分布优化策略，实现源域和目标域的子领域对齐，避免负迁移。将DSTL算法与传统迁移学习算法以及当前最新的深度迁移学习算法在主流的基准数据集上进行了测试。统计分析的结果表明，该文所提算法能实现性能的有效提升，扩大模型在实际应用中的适用范围。     

近红外光谱变分推断标定自适应方法研究

在近红外光谱分析中,已有的标定迁移方法多基于标准样本和无参数归纳模型,普遍存在模型生存周期短、适用范围小等问题.针对此问题,提出了一种参数化对齐源域(主仪器)和目标域(从仪器)特征分布的变分推断标定自适应(variational inference calibration adaptation, VICA)方法.VICA对源域数据进行主成分分析,建立源域特征的变分回归模型.在预测时,VICA首先将目标域数据投影到源域特征子空间中,然后建立源域特征和目标域特征的分布差异函数,通过最小化该函数得到目标域的概率密度模型,实现模型迁移.实验对比表明,VICA比现有的大多数标定迁移方法的标定效果更好.     

基于多生理信息迁移学习的脑力负荷分类

在复杂的人机系统中,保持对实验人员脑力负荷状态的监测对于维护人机系统的安全、高效运行具有极为重要的理论和应用意义。针对现有脑力负荷分类方法识别率低及实际应用时测试样本数据偏移问题,本研究提出采用迁移学习及脑电和心电特征融合的脑力负荷分类识别方法,基于多任务航空情境操作的MATB-II平台同步采集12名健康受试者的脑电信号和心电信号,分别从时域和频域上提取各生理信息特征并进行融合,在此基础上引入迁移学习,基于迁移成分分析(Transfer Component Analysis,TCA)方法进行特征空间变换,实现源域和目标域的边缘分布适配,并进行脑力负荷分类。实验结果表明,基于多生理信息特征融合识别率高于传统脑力负荷识别方法,使用迁移学习可取得较高的识别准确率,为多生理信息脑力负荷分类研究提供了新方法。     

结合表示学习和迁移学习的跨领域情感分类

针对现有跨领域情感分类方法中文本表示特征忽略了重要单词与句子的情感信息, 且在迁移过程中存在负面迁移的问题, 提出一种将文本表示学习与迁移学习算法相结合的跨领域情感分类方法。首先, 利用低维稠密的词向量对文本进行初始化, 通过分层注意力网络, 对文本中重要单词与句子的情感信息进行建模, 从而学习源领域与目标领域的文档级分布式表示。随后, 采用类噪声估计方法, 对源领域中的迁移数据进行检测, 剔除负面迁移样例, 挑选高质量样例来扩充目标领域的训练集。最后, 训练支持向量机对目标领域文本进行情感分类。在大规模公开数据集上进行的两个实验结果表明, 与基准方法相比, 所提方法的均方根误差分别降低1.5%和1.0%, 说明该方法可以有效地提高跨领域情感分类性能。     

基于域适应与分类器差异的滚动轴承跨域故障诊断

基于数据驱动方法诊断滚动轴承故障时，不同工况下的数据特征分布差异会导致模型诊断性能严重下降.针对这一问题，提出了基于域适应与分类器差异的滚动轴承跨域故障诊断方法.首先利用卷积神经网络对带标记的源域样本和无标记的目标域样本进行特征提取;然后通过2个全连接分类器进行故障分类;最后通过分步优化分类损失、域最大平均差异损失和分类器差异损失，实现源域和目标域之间的域分布对齐，从而实现无标记目标域样本的故障诊断.实验结果表明，所提方法与主流的域适应方法相比具有更高故障诊断准确率，验证了该方法的合理性和可行性.     

基于域间相似度序数的迁移学习源领域的选择

现有迁移学习研究大多数都建立在源领域和目标领域的相似度较高的全局约束下,对如何选择合适的源领域缺乏研究。为了确定如何自适应地从候选源领域集合中选择合适源领域,提升迁移效率,避免"负迁移"现象,基于最大均值差异(maximum mean discrepancy,MMD)提出一种叫作域间相似度序数(MMD-SR)的度量方法,用于度量候选源领域与目标领域间的相似度。同时,基于MMD-SR,提出一种迁移学习源域自适应选择策略(MMD-SR source domain selection strategy,MMD-SR_SDSS)。在人工数据集和真实数据集中的实验结果表明了度量方法MMD-SR和源领域选择策略MMD-SR_SDSS的有效性和可行性。     

基于KMM匹配的参数迁移学习算法

当训练数据和测试数据来自不同的领域或任务以至于训练数据和测试数据的分布不相同时,需要进行知识的迁移.本文提出一种基于实例KMM匹配的参数迁移学习方法.利用KMM算法估计每个源领域实例的权重,再利用得到的权重,把这些实例应用到基于参数的迁移学习方法中.把该迁移学习算法应用到无线网络定位问题中时,该方法的定位准确度要高于单...     

基于无监督迁移成分分析和深度信念网络的轴承故障诊断方法

针对轴承故障样本少导致识别精度低的问题,提出一种基于无监督迁移成分分析(unsupervised transfer component analysis,UTCA)和深度信念网络(deep belief network,DBN)的故障诊断方法。首先利用UTCA的核函数将不同工况样本特征映射到一个共享再生核Hilbert空间中,使得源域和目标域样本集更加相似,并通过最大均值偏差嵌入法(maximum mean discrepancy embedding,MMDE)判断能够迁移的源域数据,将源域样本迁移到目标域中,为深度学习提供充足的训练样本,解决了实际故障样本较少的问题;然后采用DBN模型对源域样本进行训练,再对映射后无标记的目标域样本进行故障诊断分析。利用不同工况下的滚动轴承实验数据进行算法验证,结果表明,与普通DBN、SVM、BPNN以及传统机器学习-UTCA融合方法相比,本文方法对滚动轴承故障的诊断精度更高。