基于相似度的神经网络多源迁移学习算法

为了解决迁移学习中的"负迁移"问题,提出了基于相似度的神经网络多源迁移学习算法。该算法是以经典的BP神经网络模型为基分类器,利用梯度下降法对各个源领域与目标域之间的相似度进行学习和优化,把各个源领域的网络权重参数信息按照与目标域之间的相似程度迁移到目标域中,提高机器学习算法在目标域的分类性能。在UCI数据的Letter-recognition数据集以及20Newsgroups文本数据集上进行实验。实验结果表明了MTL-SNN算法比传统的多源迁移学习算法以及BP神经网络算法在分类准确率上有所提升,因此MTL-SNN算法有效地解决了"负迁移"问题。     

深度子领域迁移学习：一种细粒度主动迁移视角

迁移学习能以相关领域中的标注数据为基础，提升目标领域的学习效果。当领域间的数据分布差异很大时，会导致严重的负迁移问题。如何充分捕获源域和目标域之间的相似性，进一步挖掘更多有效信息，最终提高目标域的预测精度，是一个值得探索的问题。该文从细粒度主动迁移的视角，提出一种深度子领域迁移学习(Deep subdomain transfer learning, DSTL)算法，能迭代优化源域和目标域之间的相似性，提升模型预测性能。该文首先提出一种伪标签生成策略，对所有样本进行子领域的划分；制定中心+边缘的主动查询策略，获得关键代表性实例的真实标签；设计一种迭代分布优化策略，实现源域和目标域的子领域对齐，避免负迁移。将DSTL算法与传统迁移学习算法以及当前最新的深度迁移学习算法在主流的基准数据集上进行了测试。统计分析的结果表明，该文所提算法能实现性能的有效提升，扩大模型在实际应用中的适用范围。     

基于联合对抗训练的鲁棒度量迁移

迁移度量学习旨在从强大且可靠的距离度量中迁移知识来改善目标度量的效果,这些度量往往来自于学习目标相关的任务.现有的迁移度量学习算法仅关注于如何迁移知识,而这些知识容易过拟合到源域中.首先研究如何在源域中训练一个适合于迁移的源域度量,然后设计了一种通用的深度异质迁移算法来进行高效的迁移学习.值得注意的是,将源域度量以联合对抗学习的方式进行训练,再以深度神经网络的方式将其参数化表示并对其进行迁移.迁移中通过表征模仿的方式来学习源域度量中的知识,这种方式允许源域和目标域中的知识来自于异质域.此外,严格限制目标度量网络的大小,使得目标网络更够进行高效的推理计算.在人脸识别数据集上的实验展现了本方法的有效性.     

采用深度迁移学习与自适应加权的滚动轴承故障诊断

针对滚动轴承目标域数据中额外故障状态样本影响其故障诊断精度的问题，提出了采用深度迁移学习与自适应加权的滚动轴承故障诊断方法。建立特征提取模块，利用深度卷积神经网络将轴承样本映射到高维特征空间；利用迁移学习思想设计加权领域鉴别器，对样本进行自适应加权，并通过在特征空间的对抗训练，增大目标域与源域共有健康状态样本的领域相似性，抑制目标域额外故障状态样本与源域样本的领域相似性增强；依据样本权重，度量目标域与源域样本的相似性，设定阈值将目标域额外故障状态样本标记为未知故障；将源域故障诊断知识迁移到目标域共有健康状态样本的故障识别中。利用齿轮箱轴承数据、凯斯西储大学滚动轴承数据和机车轮对轴承数据对提出的方法进行验证，结果表明：所提方法在3个数据集上均达到89%以上的诊断精度，而对比方法的诊断精度均低于80%。所提方法能够克服额外故障状态样本的影响，有效实现滚动轴承故障诊断。     

迁移拉普拉斯总间隔支持向量机

为了提高半监督分类器在已标记和未标记样本的数量均不足时的分类性能,该文在迁移学习的基础上,提出了一种迁移拉普拉斯总间隔支持向量机。首先提出了联合最大均值差异度量准则,从全局和局部两方面衡量不同领域间的分布差异,并将迁移学习的思想引入半监督学习框架,提出了迁移拉普拉斯总间隔支持向量机。实现源域的知识到目标域的迁移,提高了目标域分类器的性能。8个迁移数据集上的实验结果证明,该方法能处理目标域标记和未标记数据均不足场景下的分类任务。     

基于迁移的联合矩阵分解的协同过滤算法

早期的协同过滤算法利用矩阵分解来解决数据稀疏问题,但是严重的稀疏问题导致矩阵分解的性能很难满足应用的需求.随后,迁移学习被引入到协同过滤的研究中,它主要利用辅助域和目标域的公共用户的各种信息来解决目标域的数据稀疏问题.虽然通过引入辅助域的信息能够帮助目标域获取更多的知识,但是在公共用户包含的公共商品项目少的情况下,只利用公共用户的浅层特征来度量用户的相似性,不能很好地捕捉用户的潜在特征,相似性度量效果不好.为此,本文提出了一种基于迁移的联合矩阵分解协同过滤模型,以公共用户为锚,将两个领域的用户和商品映射到一个潜在的语义空间.模型通过对两个领域的用户 商品评分矩阵在以公共用户信息作为约束项的情况下,进行联合矩阵分解,在实际基准数据集上的实验结果表明,本文所提出的方法明显优于现有基于相似度计算的迁移学习方法,也证明了模型的有效性.     

基于综合相似度迁移的协同过滤算法

数据稀疏性问题是传统协同过滤算法的主要瓶颈之一.迁移学习通常是利用目标领域与辅助领域的潜在关系,对辅助领域进行知识迁移,以此来提高目标领域的推荐质量.现有的基于相似度迁移模型,普遍只利用了用户评分信息,并且在评分相似度计算上忽略了用户评分标准个性差异.针对这些问题,提出了一种综合相似度迁移模型,在相似度计算上,即利用了用户评分信息同时也利用了用户属性信息,并且考虑了用户间对满意度的打分标准的差异性,采用了用户评分分布一致性来衡量用户评分相似度的方法,提高了相似度计算的准确性,从而提高了数据迁移的质量.实验结果表明,该模型较其他算法能比较有效地缓解数据稀疏性问题.     

近红外光谱变分推断标定自适应方法研究

在近红外光谱分析中,已有的标定迁移方法多基于标准样本和无参数归纳模型,普遍存在模型生存周期短、适用范围小等问题.针对此问题,提出了一种参数化对齐源域(主仪器)和目标域(从仪器)特征分布的变分推断标定自适应(variational inference calibration adaptation, VICA)方法.VICA对源域数据进行主成分分析,建立源域特征的变分回归模型.在预测时,VICA首先将目标域数据投影到源域特征子空间中,然后建立源域特征和目标域特征的分布差异函数,通过最小化该函数得到目标域的概率密度模型,实现模型迁移.实验对比表明,VICA比现有的大多数标定迁移方法的标定效果更好.     

基于无监督迁移成分分析和深度信念网络的轴承故障诊断方法

针对轴承故障样本少导致识别精度低的问题,提出一种基于无监督迁移成分分析(unsupervised transfer component analysis,UTCA)和深度信念网络(deep belief network,DBN)的故障诊断方法。首先利用UTCA的核函数将不同工况样本特征映射到一个共享再生核Hilbert空间中,使得源域和目标域样本集更加相似,并通过最大均值偏差嵌入法(maximum mean discrepancy embedding,MMDE)判断能够迁移的源域数据,将源域样本迁移到目标域中,为深度学习提供充足的训练样本,解决了实际故障样本较少的问题;然后采用DBN模型对源域样本进行训练,再对映射后无标记的目标域样本进行故障诊断分析。利用不同工况下的滚动轴承实验数据进行算法验证,结果表明,与普通DBN、SVM、BPNN以及传统机器学习-UTCA融合方法相比,本文方法对滚动轴承故障的诊断精度更高。     

基于特征迁移的在线教育导师推荐方法

在推荐系统中,数据稀疏和数据冷启动问题一直是待解决的重要难题。针对推荐系统中用户数量过少、评价数据稀疏、模型启动困难等问题,以及针对在线教育领域存在特征关联的特性,提出了一种全新的基于特征迁移的导师推荐方法。为了迁移出更多有用的信息,该方法基于有限的领域特征,在目标领域和训练领域之间建立了一个基于特征相似度的桥梁。首先,获取训练领域和目标领域的推荐矩阵。然后,向量化用户和项目的特征空间,计算目标领域和训练领域之间特征的相似度。最后,构建特征迁移模型对目标领域进行迁移,得出目标推荐矩阵。研究结果表明,提出的方法能够很好地解决在线教育导师推荐领域中数据冷启动以及数据稀疏问题,与传统的推荐方法相比取得了很好的效果。     

基于低秩交叉重构的领域自适应算法

为了解决现有领域在自适应方法中忽略了整个数据域内部结构的信息和源域与目标域之间的差异问题,提出了一种新的基于低秩交叉重构的领域自适应方法.通过对源域和目标域的交叉重构来构造新的源域与目标域,使得同类数据相互交织,缩短了同类数据之间的距离; 通过对重构矩阵施加低秩约束,将2个域的同类数据对齐,以此来充分挖掘源域和目标域同类数据之间的内在结构信息,并利用该结构信息来学习分类器,从而取得更好的跨域识别效果.在5个公开数据集上的实验结果表明:该方法具有较高的跨域识别准确率.     

基于域知识迁移的绝缘子缺陷检测方法

绝缘子缺陷检测模型在应用过程中，需要对多种目标域图像进行检测。然而，由于不同目标域图像的分布不同，会导致在源域训练得到的缺陷检测模型难以在不同目标域中实现较好的检测效果。针对缺陷检测模型泛化性较低的问题，提出了基于域知识迁移的绝缘子缺陷检测方法。首先，采用一种新的特征融合方法提高对缺陷目标的特征提取能力；然后通过对抗性训练实现基于图像和实例级别的域分类器，在图像和目标层级上实现了域迁移；最后在区域建议网络中引入区域级别的域分类器，进一步实现了源域和目标域在区域级别上的对齐。实验结果表明，模型能够缓解不同域图像分布不平衡导致检测效果差的问题，并且与其他多种目标检测方法相比，实现了更好的缺陷检测效果。     

基于迁移学习的贝叶斯网络参数学习方法

针对贝叶斯网络参数迁移过程中对源域及目标域限定条件较多等问题，在考虑源域-目标域多种信息形式的情况下，提出一种基于贝叶斯网络参数迁移学习的统一框架.该方法综合考虑了源域结构和数据量在迁移中的作用，在结构相似性的基础上，探讨了备选源域数据量对参数迁移的影响.在迁移过程中引入与目标域数据相关的平衡系数.通过平衡系数将目标域数据与迁移过程联系起来，实现平衡系数的自动调节.Asia网络验证了本文方法的准确性.     

领域问答系统答案提取方法研究

在特定领域问答系统中,领域知识直接影响问答效果．本文提出了一种领域问答答案提取方法,以问题分析得到问题查询、问题类型及答案类型为基础,借助领域知识检索获得答案提取候选段落．对于定义性问题,结合关键词加权权重计算方法及句子与问题语义相似度方法,对候选段落或句子与问题相关度排序,提取相关度高的句子或段落作为答案,对于数词或列表性实体问题,借助命名实体识别,提取与问题中心相关的领域实体作为答案．在云南旅游领域进行了答案提取实验,结果表明该方法具有较好的效果．     

基于域适应与分类器差异的滚动轴承跨域故障诊断

基于数据驱动方法诊断滚动轴承故障时，不同工况下的数据特征分布差异会导致模型诊断性能严重下降.针对这一问题，提出了基于域适应与分类器差异的滚动轴承跨域故障诊断方法.首先利用卷积神经网络对带标记的源域样本和无标记的目标域样本进行特征提取;然后通过2个全连接分类器进行故障分类;最后通过分步优化分类损失、域最大平均差异损失和分类器差异损失，实现源域和目标域之间的域分布对齐，从而实现无标记目标域样本的故障诊断.实验结果表明，所提方法与主流的域适应方法相比具有更高故障诊断准确率，验证了该方法的合理性和可行性.     

基于可调节判别器的领域适应

当前基于对抗学习的领域适应(DA)对目标样本的适应性较差,导致目标域的预测精确度较低,为此提出基于可调节判别器的领域适应(A-DADA)算法.首先,利用两个判别器分类概率的距离作为权重应用到目标域对抗训练损失函数中,旨在减少已对齐目标样本对抗训练的次数同时增加未对齐目标样本的对抗训练次数;其次,将平方熵损失函数作为最小...     

基于自适应噪声校正的鲁棒域适应学习

域适应（Domain Adaptation,DA）学习旨在利用标签丰富的源域来帮助标签稀缺的目标域学习。DA方法通常假设源域数据已正确标记,然而现实中通常很难收集到大量带有干净标签的源实例,带有噪声源标签的噪声DA学习可能会降低目标学习性能。为此,本文提出基于自适应标签噪声校正的鲁棒DA学习方法（Robust DA Method through Adaptive Noise Correction,RoDAC）。RoDAC包含两个学习阶段,即自适应噪声标签检测（Adaptive Noise Label Detection,ANLD）和自适应噪声标签校正（Adaptive Noise Label Correction,ANLC）。在ANLD中,使用自适应噪声检测器识别带有噪声标签的源实例,并进一步在ANLC中自适应地校正噪声标签,将其重新投入域适应学习中。与基准数据集进行比较,结果表明RoDAC方法在源域标签存在噪声的域适应场景中取得了显著的性能提升。该学习策略可集成至许多现有的DA方法中,以提升其在噪声标签场景下的学习性能。