基于相似度的神经网络多源迁移学习算法

为了解决迁移学习中的"负迁移"问题,提出了基于相似度的神经网络多源迁移学习算法。该算法是以经典的BP神经网络模型为基分类器,利用梯度下降法对各个源领域与目标域之间的相似度进行学习和优化,把各个源领域的网络权重参数信息按照与目标域之间的相似程度迁移到目标域中,提高机器学习算法在目标域的分类性能。在UCI数据的Letter-recognition数据集以及20Newsgroups文本数据集上进行实验。实验结果表明了MTL-SNN算法比传统的多源迁移学习算法以及BP神经网络算法在分类准确率上有所提升,因此MTL-SNN算法有效地解决了"负迁移"问题。     

基于域分离网络的实体解析迁移方法

实体解析致力于识别多条记录是否描述真实世界相同实体，这是数据清洗和数据集成中的关键问题.近年来，基于深度学习的实体解析广受欢迎，它们需要大量标注数据才能达到较优的效果.然而，在现实场景中，大量高质量标注数据不容易获得.本文提出了一个基于深度迁移学习的实体解析模型，通过域分离网络提取源域和目标域的公共特征，并利用公共特征得到实体解析结果，从而实现从源域到目标域的迁移.实验结果表明，在多个数据集上，本文提出的方法比之前最好的方法在F1度量上最大提高了40%左右.实验证明本文的方法具有更好的表现，并且训练时间更短.     

基于KMM匹配的参数迁移学习算法

当训练数据和测试数据来自不同的领域或任务以至于训练数据和测试数据的分布不相同时,需要进行知识的迁移.本文提出一种基于实例KMM匹配的参数迁移学习方法.利用KMM算法估计每个源领域实例的权重,再利用得到的权重,把这些实例应用到基于参数的迁移学习方法中.把该迁移学习算法应用到无线网络定位问题中时,该方法的定位准确度要高于单...     

深度子领域迁移学习：一种细粒度主动迁移视角

迁移学习能以相关领域中的标注数据为基础，提升目标领域的学习效果。当领域间的数据分布差异很大时，会导致严重的负迁移问题。如何充分捕获源域和目标域之间的相似性，进一步挖掘更多有效信息，最终提高目标域的预测精度，是一个值得探索的问题。该文从细粒度主动迁移的视角，提出一种深度子领域迁移学习(Deep subdomain transfer learning, DSTL)算法，能迭代优化源域和目标域之间的相似性，提升模型预测性能。该文首先提出一种伪标签生成策略，对所有样本进行子领域的划分；制定中心+边缘的主动查询策略，获得关键代表性实例的真实标签；设计一种迭代分布优化策略，实现源域和目标域的子领域对齐，避免负迁移。将DSTL算法与传统迁移学习算法以及当前最新的深度迁移学习算法在主流的基准数据集上进行了测试。统计分析的结果表明，该文所提算法能实现性能的有效提升，扩大模型在实际应用中的适用范围。     

采用深度迁移学习与自适应加权的滚动轴承故障诊断

针对滚动轴承目标域数据中额外故障状态样本影响其故障诊断精度的问题，提出了采用深度迁移学习与自适应加权的滚动轴承故障诊断方法。建立特征提取模块，利用深度卷积神经网络将轴承样本映射到高维特征空间；利用迁移学习思想设计加权领域鉴别器，对样本进行自适应加权，并通过在特征空间的对抗训练，增大目标域与源域共有健康状态样本的领域相似性，抑制目标域额外故障状态样本与源域样本的领域相似性增强；依据样本权重，度量目标域与源域样本的相似性，设定阈值将目标域额外故障状态样本标记为未知故障；将源域故障诊断知识迁移到目标域共有健康状态样本的故障识别中。利用齿轮箱轴承数据、凯斯西储大学滚动轴承数据和机车轮对轴承数据对提出的方法进行验证，结果表明：所提方法在3个数据集上均达到89%以上的诊断精度，而对比方法的诊断精度均低于80%。所提方法能够克服额外故障状态样本的影响，有效实现滚动轴承故障诊断。     

基于平衡概率分布和实例的迁移学习算法

在联合匹配边缘概率和条件概率分布以减小源域与目标域的差异性时,存在由类不平衡导致模型泛化性能差的问题,从而提出了基于平衡概率分布和实例的迁移学习算法。通过基于核的主成分分析方法将特征数据映射到低维子空间,在子空间中对源域与目标域的边缘分布和条件分布进行联合适配,利用平衡因子动态调节每个分布的重要性,采用加权条件概率分布自适应地改变每个类的权重,同时融合实例更新策略,进一步提升模型的泛化性能。在字符和对象识别数据集上进行了多组对比实验,表明该算法有效地提高了图像分类的准确率。     

基于无监督迁移成分分析和深度信念网络的轴承故障诊断方法

针对轴承故障样本少导致识别精度低的问题,提出一种基于无监督迁移成分分析(unsupervised transfer component analysis,UTCA)和深度信念网络(deep belief network,DBN)的故障诊断方法。首先利用UTCA的核函数将不同工况样本特征映射到一个共享再生核Hilbert空间中,使得源域和目标域样本集更加相似,并通过最大均值偏差嵌入法(maximum mean discrepancy embedding,MMDE)判断能够迁移的源域数据,将源域样本迁移到目标域中,为深度学习提供充足的训练样本,解决了实际故障样本较少的问题;然后采用DBN模型对源域样本进行训练,再对映射后无标记的目标域样本进行故障诊断分析。利用不同工况下的滚动轴承实验数据进行算法验证,结果表明,与普通DBN、SVM、BPNN以及传统机器学习-UTCA融合方法相比,本文方法对滚动轴承故障的诊断精度更高。     

基于双塔隐语义与自注意力的跨域推荐模型

为缓解跨域推荐数据稀疏与冷启动问题,该文提出一种融和双塔隐语义与自注意力机制的跨域推荐模型(DLLFM-DA/Self atten CDR model, DLDASA),能够有效提升目标域推荐准确率.首先利用提出的双塔隐语义模型(DLLFM),借助源域和目标域用户的类别偏好和项目类别,生成高质量隐语义;其次,在隐语义特征迁移过程中引入域适应(domain adaptation),有效对齐源域与目标域的特征分布,最小化源域与目标域间数据分布差异,提供更高质量的隐语义特征迁移;然后利用多头自注意力机制捕捉两个域之间的差异性与相关性,对差异信息进行筛选与融合,缓解负迁移问题,以提升跨域推荐质量;最后,在Movielens-Netflix和一品威客(YPWK)-猪八戒网(ZBJW)真实数据集上,将DLDASA与基线单域和跨域推荐模型进行对比实验,结果表明,均方根误差(RMSE)和平均绝对误差(MAE)均有明显改善.该研究验证了DLDASA模型能够更充分地提取用户特征,有效缓解目标域信息不足的问题.     

近红外光谱变分推断标定自适应方法研究

在近红外光谱分析中,已有的标定迁移方法多基于标准样本和无参数归纳模型,普遍存在模型生存周期短、适用范围小等问题.针对此问题,提出了一种参数化对齐源域(主仪器)和目标域(从仪器)特征分布的变分推断标定自适应(variational inference calibration adaptation, VICA)方法.VICA对源域数据进行主成分分析,建立源域特征的变分回归模型.在预测时,VICA首先将目标域数据投影到源域特征子空间中,然后建立源域特征和目标域特征的分布差异函数,通过最小化该函数得到目标域的概率密度模型,实现模型迁移.实验对比表明,VICA比现有的大多数标定迁移方法的标定效果更好.     

运动想象脑机接口的判别迁移特征学习与分类

为了解决不同时间采集的运动想象脑电数据之间存在的分布差异,避免跨时段使用前长时间的重校准步骤,提出了一种基于判别迁移特征学习（discriminative transfer feature learning, DTFL）的运动想象分类方法。DTFL通过联合匹配源域和目标域之间的边缘分布和类条件分布来减少域间的差异,同时最大化类间距离和最小化类内距离来保留类判别信息,从而提升对运动想象的分类性能。基于DTFL的运动想象分类方法无需目标域脑电样本的类别信息,可以有效避免长时间的校准。在脑机接口竞赛数据集上的实验结果表明,DTFL显著优于其他迁移学习方法,有效缓解跨域分布的不一致性,提高了运动想象的分类正确率。     

基于低秩交叉重构的领域自适应算法

为了解决现有领域在自适应方法中忽略了整个数据域内部结构的信息和源域与目标域之间的差异问题,提出了一种新的基于低秩交叉重构的领域自适应方法.通过对源域和目标域的交叉重构来构造新的源域与目标域,使得同类数据相互交织,缩短了同类数据之间的距离; 通过对重构矩阵施加低秩约束,将2个域的同类数据对齐,以此来充分挖掘源域和目标域同类数据之间的内在结构信息,并利用该结构信息来学习分类器,从而取得更好的跨域识别效果.在5个公开数据集上的实验结果表明:该方法具有较高的跨域识别准确率.     

迁移拉普拉斯总间隔支持向量机

为了提高半监督分类器在已标记和未标记样本的数量均不足时的分类性能,该文在迁移学习的基础上,提出了一种迁移拉普拉斯总间隔支持向量机。首先提出了联合最大均值差异度量准则,从全局和局部两方面衡量不同领域间的分布差异,并将迁移学习的思想引入半监督学习框架,提出了迁移拉普拉斯总间隔支持向量机。实现源域的知识到目标域的迁移,提高了目标域分类器的性能。8个迁移数据集上的实验结果证明,该方法能处理目标域标记和未标记数据均不足场景下的分类任务。     

基于迁移学习的软件缺陷预测方法研究

针对传统的软件缺陷预测方法难以在单独的项目中利用小规模训练数据的问题,提出了一种基于迁移学习的软件缺陷预测技术,利用已有的项目辅助新项目的预测.该方法在源项目和目标项目之间寻找一个公共特征空间,使得在公共特征空间上2个项目的数据分布距离最小.在这个公共空间进行模型训练,以达到迁移分类的效果.实验结果显示该方法相对传统的缺陷预测算法有更好的预测性能,并且充分利用了原始训练数据,可以更高效地运用于各种软件缺陷预测任务.     

一种应用于脑电情感识别的迁移学习框架

脑电信号作为最能表征人体情绪的信号，正在成为情感识别的主流信号源.利用迁移学习可以克服生理信号源域、目标域间存在分布差异的问题.传统迁移学习由于缺少对样本、特征的选择过程，会对迁移效果产生负影响，致使识别率较低.为提升迁移效果，在样本、特征两个方面对迁移数据进行优化.介绍了一种基于Like值的实例筛选方法，以及基于粒子群优化的自动特征选择方法，并使用联合分布适配(joint distribution adaptation, JDA),提出了一种应用于情感识别的迁移学习框架.在SEED数据集上构建了两个迁移任务并进行验证，结果表明，该框架可以有效提升迁移效果，提高跨域情感识别准确率.     

基于特征迁移和深度学习的配电网故障定位

故障诊断对电力系统的稳定运行至关重要。当配电网的拓扑结构发生较大变化时,难以获取大量带有标签的暂态数据,导致传统的故障预测模型精度难以提高。针对此问题,提出一种将特征迁移和深度学习相结合的配电网故障诊断新方法。首先,采集配电网不同线路的零序电流构造故障特征集;其次,引入加权半监督迁移成分分析方法(semi supervised migration component analysis,SSTCA),利用混合核函数将不同拓扑结构下的特征样本映射到同一特征空间中,缩小数据间的分布差异性;最后,将映射后的源域样本输入到卷积神经网络中进行分类训练,并测试映射后的目标域样本。通过Simulink仿真表明,在改变配电网拓扑结构的新场景下,文中所提的特征迁移方法与其它方法相比,对目标域故障定位精度最高且达到98%以上。     

基于迁移学习的贝叶斯网络参数学习方法

针对贝叶斯网络参数迁移过程中对源域及目标域限定条件较多等问题，在考虑源域-目标域多种信息形式的情况下，提出一种基于贝叶斯网络参数迁移学习的统一框架.该方法综合考虑了源域结构和数据量在迁移中的作用，在结构相似性的基础上，探讨了备选源域数据量对参数迁移的影响.在迁移过程中引入与目标域数据相关的平衡系数.通过平衡系数将目标域数据与迁移过程联系起来，实现平衡系数的自动调节.Asia网络验证了本文方法的准确性.     

基于迁移学习的卷积神经网络电网故障诊断

电网拓扑结构复杂、分支众多、潮流分布不平衡、故障样本较少且难以获取。为提高配电网的故障诊断准确性,本文提出将迁移学习的思想与卷积神经网络（Convolutional Neural Networks,CNN）相结合,以此来解决目标域样本不足导致训练效果差的问题,同时利用主成分分析（principal component analysis,PCA）对时序数据进行降维,提升运行速率,形成配电网故障诊断方法。首先对PCA和CNN的结构特点进行分析;然后通过仿真模拟不同的故障条件,生成面向CNN的时序数据。再通过最大均值差异法（MMD）选择出最适合迁移的源域数据,建立源域故障识别的预训练模型。最后使用目标域数据,在预训练模型的基础上进行迁移微调训练,得到故障诊断模型。仿真结果表明,该方法能够在小样本的情况下迅速完成对故障类型的精准预测。     

基于域间相似度序数的迁移学习源领域的选择

现有迁移学习研究大多数都建立在源领域和目标领域的相似度较高的全局约束下,对如何选择合适的源领域缺乏研究。为了确定如何自适应地从候选源领域集合中选择合适源领域,提升迁移效率,避免"负迁移"现象,基于最大均值差异(maximum mean discrepancy,MMD)提出一种叫作域间相似度序数(MMD-SR)的度量方法,用于度量候选源领域与目标领域间的相似度。同时,基于MMD-SR,提出一种迁移学习源域自适应选择策略(MMD-SR source domain selection strategy,MMD-SR_SDSS)。在人工数据集和真实数据集中的实验结果表明了度量方法MMD-SR和源领域选择策略MMD-SR_SDSS的有效性和可行性。     

一种基于彩票迁移的稀疏网络植株病虫害识别模型

植株病虫害的识别能够有效地提高农作物产量,当前数据驱动的深度植株病虫害识别方法需要大量的有标签数据,导致现有方法难以很好地识别少样本的新病虫。且基于深度学习的方法需要对大量的参数进行训练,难以削减计算开销。研究设计一种基于彩票迁移的稀疏网络植株病虫害识别模型:定义深度网络的彩票迁移假设,利用压缩策略构建稀疏网络,识别迁移源域的本质知识,提高深度网络的迁移效率;然后,设计深度彩票迁移算法,训练植株病虫害深度识别模型,解决少样本病虫识别调整;最后,在典型的通用数据与植株病虫害识别数据集上,验证基于彩票迁移的深度植株病虫害识别模型能高效迁移源域的本质知识。在PlantVillage数据集上,对植株病虫害识别准确率为97.69%,且所需训练的参数只有原始网络的约30%。     

小样本域自适应的皮肤病临床影像识别方法

针对公开数据集训练所得模型无法直接应用于临床上不同设备的辅助诊断,而临床获取的数据又缺少足够人力进行标注的问题,提出了一种面向皮肤病临床影像识别的小样本域自适应方法。以ISIC皮肤病公开数据集作为标签已知的源域,以实际临床采集的数据作为待识别的目标域,通过医生对极少量临床数据进行标注,建立由卷积神经网络实现的特征提取器和分类器,构建小样本域自适应模型。引入最大相关熵准则来提高识别模型的精度和泛化能力,在每类只有少量带标签目标域样本的情况下,通过交替最大最小化条件熵,在提取区别性特征的同时减小不同域之间的分布差距,提高了分类器在新域上的准确率,实现了模型的跨域迁移。对所提方法在日光性角化病和脂溢性角化病分类问题上进行了实验验证,结果表明:相比于非域自适应方法,所提方法克服了不同采集设备造成的数据分布差异问题,取得了更高的识别准确率;相比于无监督域自适应方法,所提方法通过加入极少量标注的临床数据实现了域自适应,识别准确率为93.94%。