基于相似度的神经网络多源迁移学习算法

为了解决迁移学习中的"负迁移"问题,提出了基于相似度的神经网络多源迁移学习算法。该算法是以经典的BP神经网络模型为基分类器,利用梯度下降法对各个源领域与目标域之间的相似度进行学习和优化,把各个源领域的网络权重参数信息按照与目标域之间的相似程度迁移到目标域中,提高机器学习算法在目标域的分类性能。在UCI数据的Letter-recognition数据集以及20Newsgroups文本数据集上进行实验。实验结果表明了MTL-SNN算法比传统的多源迁移学习算法以及BP神经网络算法在分类准确率上有所提升,因此MTL-SNN算法有效地解决了"负迁移"问题。     

采用深度迁移学习与自适应加权的滚动轴承故障诊断

针对滚动轴承目标域数据中额外故障状态样本影响其故障诊断精度的问题，提出了采用深度迁移学习与自适应加权的滚动轴承故障诊断方法。建立特征提取模块，利用深度卷积神经网络将轴承样本映射到高维特征空间；利用迁移学习思想设计加权领域鉴别器，对样本进行自适应加权，并通过在特征空间的对抗训练，增大目标域与源域共有健康状态样本的领域相似性，抑制目标域额外故障状态样本与源域样本的领域相似性增强；依据样本权重，度量目标域与源域样本的相似性，设定阈值将目标域额外故障状态样本标记为未知故障；将源域故障诊断知识迁移到目标域共有健康状态样本的故障识别中。利用齿轮箱轴承数据、凯斯西储大学滚动轴承数据和机车轮对轴承数据对提出的方法进行验证，结果表明：所提方法在3个数据集上均达到89%以上的诊断精度，而对比方法的诊断精度均低于80%。所提方法能够克服额外故障状态样本的影响，有效实现滚动轴承故障诊断。     

基于域间相似度序数的迁移学习源领域的选择

现有迁移学习研究大多数都建立在源领域和目标领域的相似度较高的全局约束下,对如何选择合适的源领域缺乏研究。为了确定如何自适应地从候选源领域集合中选择合适源领域,提升迁移效率,避免"负迁移"现象,基于最大均值差异(maximum mean discrepancy,MMD)提出一种叫作域间相似度序数(MMD-SR)的度量方法,用于度量候选源领域与目标领域间的相似度。同时,基于MMD-SR,提出一种迁移学习源域自适应选择策略(MMD-SR source domain selection strategy,MMD-SR_SDSS)。在人工数据集和真实数据集中的实验结果表明了度量方法MMD-SR和源领域选择策略MMD-SR_SDSS的有效性和可行性。     

基于联合对抗训练的鲁棒度量迁移

迁移度量学习旨在从强大且可靠的距离度量中迁移知识来改善目标度量的效果,这些度量往往来自于学习目标相关的任务.现有的迁移度量学习算法仅关注于如何迁移知识,而这些知识容易过拟合到源域中.首先研究如何在源域中训练一个适合于迁移的源域度量,然后设计了一种通用的深度异质迁移算法来进行高效的迁移学习.值得注意的是,将源域度量以联合对抗学习的方式进行训练,再以深度神经网络的方式将其参数化表示并对其进行迁移.迁移中通过表征模仿的方式来学习源域度量中的知识,这种方式允许源域和目标域中的知识来自于异质域.此外,严格限制目标度量网络的大小,使得目标网络更够进行高效的推理计算.在人脸识别数据集上的实验展现了本方法的有效性.     

基于迁移学习的贝叶斯网络参数学习方法

针对贝叶斯网络参数迁移过程中对源域及目标域限定条件较多等问题，在考虑源域-目标域多种信息形式的情况下，提出一种基于贝叶斯网络参数迁移学习的统一框架.该方法综合考虑了源域结构和数据量在迁移中的作用，在结构相似性的基础上，探讨了备选源域数据量对参数迁移的影响.在迁移过程中引入与目标域数据相关的平衡系数.通过平衡系数将目标域数据与迁移过程联系起来，实现平衡系数的自动调节.Asia网络验证了本文方法的准确性.     

多步桥接精化迁移学习

传统机器学习方法假设训练数据和测试数据分布一致,但在许多实际应用中这个假设并不能得到满足.针对该情况,文中提出了一种非参数化的迁移学习算法--多步桥接精化算法.首先构造一系列中间模型来建立不同领域之间的桥梁,然后在近邻的模型间进行标签传播,实现从源领域到目标领域的判别信息迁移.实验结果表明,分布相近的模型使迁移变得平滑...     

一种基于彩票迁移的稀疏网络植株病虫害识别模型

植株病虫害的识别能够有效地提高农作物产量,当前数据驱动的深度植株病虫害识别方法需要大量的有标签数据,导致现有方法难以很好地识别少样本的新病虫。且基于深度学习的方法需要对大量的参数进行训练,难以削减计算开销。研究设计一种基于彩票迁移的稀疏网络植株病虫害识别模型:定义深度网络的彩票迁移假设,利用压缩策略构建稀疏网络,识别迁移源域的本质知识,提高深度网络的迁移效率;然后,设计深度彩票迁移算法,训练植株病虫害深度识别模型,解决少样本病虫识别调整;最后,在典型的通用数据与植株病虫害识别数据集上,验证基于彩票迁移的深度植株病虫害识别模型能高效迁移源域的本质知识。在PlantVillage数据集上,对植株病虫害识别准确率为97.69%,且所需训练的参数只有原始网络的约30%。     

一种应用于脑电情感识别的迁移学习框架

脑电信号作为最能表征人体情绪的信号，正在成为情感识别的主流信号源.利用迁移学习可以克服生理信号源域、目标域间存在分布差异的问题.传统迁移学习由于缺少对样本、特征的选择过程，会对迁移效果产生负影响，致使识别率较低.为提升迁移效果，在样本、特征两个方面对迁移数据进行优化.介绍了一种基于Like值的实例筛选方法，以及基于粒子群优化的自动特征选择方法，并使用联合分布适配(joint distribution adaptation, JDA),提出了一种应用于情感识别的迁移学习框架.在SEED数据集上构建了两个迁移任务并进行验证，结果表明，该框架可以有效提升迁移效果，提高跨域情感识别准确率.     

迁移拉普拉斯总间隔支持向量机

为了提高半监督分类器在已标记和未标记样本的数量均不足时的分类性能,该文在迁移学习的基础上,提出了一种迁移拉普拉斯总间隔支持向量机。首先提出了联合最大均值差异度量准则,从全局和局部两方面衡量不同领域间的分布差异,并将迁移学习的思想引入半监督学习框架,提出了迁移拉普拉斯总间隔支持向量机。实现源域的知识到目标域的迁移,提高了目标域分类器的性能。8个迁移数据集上的实验结果证明,该方法能处理目标域标记和未标记数据均不足场景下的分类任务。     

适用于样本分布差异的迁移学习调制识别算法

针对大量有标签样本的数据驱动模型方法存在数据分布不完备问题,结合实际环境中通信信号样本差异大的特点,提出一种对抗域适应迁移算法.通过类判别器和域判别器对抗训练,使特征提取器能够提取到既具有类差异性又具有域不变性的特征.以无监督学习方式对目标域信号进行分类,以提升调制识别算法在实际环境中拟合存在分布差异数据集的自适应能力.对实际信号样本集中调制方式相近的9类调制信号在不同信噪比条件下进行测试,域适应迁移方法通过对抗训练有标签高信噪比的源域样本和无标签低信噪比的目标域样本,结果发现该算法的平均识别准确率较以往直接训练的平均识别准确率大幅提升.     

基于无监督迁移学习的核范数最大化轴承故障诊断方法

针对实际工业运行中带标签的轴承故障数据难以获取,导致有监督学习故障诊断效果不佳的问题,提出一种基于无监督迁移学习(transfer learning, TL)的核范数最大化轴承故障诊断方法。该方法通过结构优化深度卷积神经网络(structure optimized deep convolutional neural networks, SOCNN)进行故障特征提取,利用最大均值差异(maximum mean discrepancy, MMD)提升源域和目标域的分布相似度,并结合快速批量核范数最大化(fast batch nuclear-norm maximization, FBNM)来提升目标域批量输出矩阵的可分辨性和多样性。实验结果表明：所提方法在不同噪声环境中都具有较高的诊断精度,能准确识别出轴承的故障类型和故障危害等级,为轴承故障诊断提供有效技术支撑。     

基于句法结构迁移和领域融合的跨领域情感分类

用于文本情感分析的深度学习模型如递归神经网络等参数较多，因此需要大量高质量标记训练数据对模型进行训练和优化。在实际应用中，特定领域难以获取高质量带情感标签评论数据。在跨领域文本情感分类任务中，针对不同领域数据分布差异性，提出了基于句法结构迁移和领域融合的跨领域文本情感分类方法，可以解决特定领域对带标签数据依赖问题。句法结构迁移方面，将依存语法特征加入到递归神经网络中，设计了一种可迁移的依存句法递归神经网络模型，通过句法结构迁移有效地迁移跨领域结构信息，为情感迁移提供支撑。领域融合方面，在传统的最大均值差异领域度量方法上细化了跨领域同类别距离度量信息。通过约束源领域和目标领域的分布，可以保证2个领域距离在学习过程中尽可能减小，有效地提取领域通用特征。实验结果表明，该方法比已有方法有效提高了跨领域情感分类准确率。     

采用迁移学习的小样本锂电池荷电状态估算方法

针对锂电池荷电状态(SOC)估算面临的大型数据集获取困难和训练速度慢的问题，结合深度学习和迁移学习提出一种小样本锂电池荷电状态估算方法。基于卷积-长短期记忆网络(CNN-LSTM)构建深度神经网络结构。在源域上采用K折交叉验证对NASA数据集进行划分，选取SOC估计性能最优的网络，利用目标域内具有多种工况和温度条件的Panasonic小样本数据进行迁移学习。为了提升方法的整体性能，分析了网络超参数对SOC估计结果的影响。实验结果表明：在相同的迭代次数下，该方法在不同的工况下可以较准确地实现小样本电池SOC估计，相较于非小样本迁移学习处理方法的均方根误差降低了47.29%。     

基于无监督迁移成分分析和深度信念网络的轴承故障诊断方法

针对轴承故障样本少导致识别精度低的问题,提出一种基于无监督迁移成分分析(unsupervised transfer component analysis,UTCA)和深度信念网络(deep belief network,DBN)的故障诊断方法。首先利用UTCA的核函数将不同工况样本特征映射到一个共享再生核Hilbert空间中,使得源域和目标域样本集更加相似,并通过最大均值偏差嵌入法(maximum mean discrepancy embedding,MMDE)判断能够迁移的源域数据,将源域样本迁移到目标域中,为深度学习提供充足的训练样本,解决了实际故障样本较少的问题;然后采用DBN模型对源域样本进行训练,再对映射后无标记的目标域样本进行故障诊断分析。利用不同工况下的滚动轴承实验数据进行算法验证,结果表明,与普通DBN、SVM、BPNN以及传统机器学习-UTCA融合方法相比,本文方法对滚动轴承故障的诊断精度更高。     

基于渐进式神经网络的机器人控制策略迁移

在机器人领域,通过深度学习方法来解决复杂的控制任务非常具有吸引力,但是收集足够的机器人运行数据来训练深度学习模型是困难的.为此,提出一种基于渐进式神经网络(progressive neural network,PNN)的迁移算法,该算法基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)框架,通过把模型池中的预训练模型与目标任务的控制模型有机地结合起来,从而完成从源任务到目标任务的控制策略的迁移.两个仿真实验的结果表明,该算法成功地把先前任务中学习到的控制策略迁移到了目标任务的控制模型中.相比于其他基准方法,该算法学习目标任务所需的时间大大减少.     

基于集成深度迁移学习的多源跨领域情感分类

传统的跨领域情感分类往往是实现单一源领域到目标领域的情感迁移,而在现实情况下,往往存在多个源领域的数据。文章从参数迁移和集成学习的角度,提出了一种基于集成深度迁移学习的多源跨领域文本情感分类方法。首先,使用字符向量增强的深度卷积神经网络模型,在单个源领域上训练情感分类模型,然后通过模型迁移的手段,实现源领域的情感知识到目标领域的迁移。通过深度特征抽取和模型迁移,有效提升了跨领域的特征表示能力。为了充分利用所有源领域信息,我们采用集成学习框架对训练好的迁移学习模型进行集成。通过在Amazon多领域的评论数据集上进行实验,验证了文章提出的框架对跨领域情感分类的正确率有一定提升。     

基于无监督迁移分量分析的语种识别

训练数据和测试数据之间由于信道等差异而引起的不匹配会严重影响语种识别的性能。而在实际应用中,通常只能获得少量的和测试数据匹配的标注数据(目标域数据),以及大量的和测试数据不匹配的标注数据(源域数据)。该文利用迁移学习的方法,通过无监督迁移分量分析(unsupervised transfer component analysis,UTCA),可以合理利用上述两种数据寻找到一个低维子空间,在该空间中,源数据和目标数据之间的分布差异最小,而且数据中有利于分类的属性得以保留,从而提高系统识别性能。实验表明:相对于基线系统,该算法对30s和10s语音的识别性能分别有24.7%和8%的提高。     

面向负载均衡的VM迁移调度方法

虚拟机动态迁移是实现虚拟计算环境下负载均衡、绿色节能、在线维护、主动容错以及资源灵活配置等功能的关键技术。针对多个虚拟机迁移场景下的并发性问题、迁移目标选择问题及迁移路径优化问题,该文提出一种以负载均衡为优化目标的虚拟机(VM)迁移调度方法。该方法首先识别可能违背负载均衡的物理节点,确定待迁移的VM对象,采用模拟退火算法以负载均衡为优化目标确定待迁移VM的迁移目标。最后,设计了路径交换策略对迁移路径进行优化以提高并发迁移数目。实验结果表明,该方法不仅能缩短迁移完成时间,而且能优化VM放置,确保负载均衡。     

采用类内迁移学习的红外/可见光异源图像匹配

为解决异源图像匹配中样本量过少和成像原理不同导致成像差异的问题,提出了一种采用类内迁移学习的异源图像匹配网络(PairsNet)。该网络由特征提取子网络和匹配度量子网络两部分组成。特征提取子网络中存在4条卷积神经网络分支,其通过卷积神经网络分支提取出红外图像和可见光图像的特征。将可见光图像作为源域、红外图像作为目标域进行迁移学习,通过减小两个域中样本特征的类内最大均值差异距离,实现了源域和目标域对应图像类别上精准的样本特征分布对齐。匹配度量子网络使用2个全连接层和1个softmax层进行串联,评估出异源图像特征的匹配度。构建了红外和可见光图像数据集,进行端到端的训练和测试。结果表明:与当前使用预训练模型微调的方法相比,PairsNet的准确率提升了10.54%,可见光图像匹配网络的能力可以有效迁移到异源图像匹配网络。     

基于域分离网络的实体解析迁移方法

实体解析致力于识别多条记录是否描述真实世界相同实体，这是数据清洗和数据集成中的关键问题.近年来，基于深度学习的实体解析广受欢迎，它们需要大量标注数据才能达到较优的效果.然而，在现实场景中，大量高质量标注数据不容易获得.本文提出了一个基于深度迁移学习的实体解析模型，通过域分离网络提取源域和目标域的公共特征，并利用公共特征得到实体解析结果，从而实现从源域到目标域的迁移.实验结果表明，在多个数据集上，本文提出的方法比之前最好的方法在F1度量上最大提高了40%左右.实验证明本文的方法具有更好的表现，并且训练时间更短.