基于Logistic回归分析的直推式迁移学习

传统的机器学习方法基于一个基本的假设:训练数据和测试数据遵循相同的分布。然而,在许多现实的应用中,这种假设并不能够被保证。在这种情况下,传统的机器学习方法因没有意识到分布的改变而可能失败。近年来,迁移学习技术被专门用来解决这一缺陷。文章提出了一种叫做TTLR的方法,将原始领域中的训练数据有效地迁移到目标领域中,该方法首先对Logistic回归分析模型进行扩展,然后利用不同领域概率分布之间的差异性,调节训练数据中每个实例的权重,从而使得训练得到的分类器更加适应于目标领域;在所选取的数据集上得到的实验结果表明,与传统的监督式学习方法相比,所提出的方法有很大的优势。     

多步桥接精化迁移学习

传统机器学习方法假设训练数据和测试数据分布一致,但在许多实际应用中这个假设并不能得到满足.针对该情况,文中提出了一种非参数化的迁移学习算法--多步桥接精化算法.首先构造一系列中间模型来建立不同领域之间的桥梁,然后在近邻的模型间进行标签传播,实现从源领域到目标领域的判别信息迁移.实验结果表明,分布相近的模型使迁移变得平滑...     

基于共享表示的跨领域中文模糊限制语识别

为充分利用源领域的标注数据,减少目标领域的标注代价,提出一种基于共享表示的跨领域模糊限制语识别方法.该方法利用双向长短期记忆网络,通过参数共享机制交替地学习源领域和目标领域的训练数据,同时引入对抗学习,把各领域私有特征从共享特征中剥离,从而获得不同领域间的共享语义表示.在中文生物医学和维基百科两个领域上的实验表明,基于共享表示的方法在跨领域中文模糊限制语识别性能上明显优于基于实例和基于特征的迁移学习方法.     

儿童孤独症的高秩矩阵填充模型与方法

针对儿童孤独症的临床数据填补,提出了一种基于交替方向乘子(ADMM)算法的高秩矩阵填充(HRMC)算法.该算法考虑到数据中的不同参数具有不同的重要性,在算法设计时将重要参数与非重要参数赋予不同权重.在案例分析中,利用生成的测试数据寻找最优的参数配置,并且将该算法应用到实际孤独症数据的填充中,填充结果与参数化填充方法和低秩矩阵填充方法的结果进行对比.结果显示:所提出的算法在矩阵填充精度方面显著优于其他算法,并可应用于实际的数据清洗与处理过程中.     

基于渐进式神经网络的机器人控制策略迁移

在机器人领域,通过深度学习方法来解决复杂的控制任务非常具有吸引力,但是收集足够的机器人运行数据来训练深度学习模型是困难的.为此,提出一种基于渐进式神经网络(progressive neural network,PNN)的迁移算法,该算法基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)框架,通过把模型池中的预训练模型与目标任务的控制模型有机地结合起来,从而完成从源任务到目标任务的控制策略的迁移.两个仿真实验的结果表明,该算法成功地把先前任务中学习到的控制策略迁移到了目标任务的控制模型中.相比于其他基准方法,该算法学习目标任务所需的时间大大减少.     

基于隐变量后验生成对抗网络的不平衡学习

针对现有不平衡分类问题中过采样方法不能充分利用数据概率密度分布的问题,提出了一种基于隐变量后验生成对抗网络的过采样(LGOS)算法.该方法利用变分自编码求取隐变量的近似后验分布,生成器能有效估计数据真实概率分布,在隐空间中采样克服了生成对抗网络采样过程的随机性,并引入边缘分布自适应损失和条件分布自适应损失提升生成数据质量.此外,将生成样本当作源领域样本放入迁移学习框架中,提出了改进的基于实例的迁移学习(TrWSBoost)分类算法,引入了权重缩放因子,有效解决了源领域样本权重收敛过快、学习不充分的问题.实验结果表明,提出的方法在分类问题各指标上的表现明显优于现有方法.     

基于相似度的神经网络多源迁移学习算法

为了解决迁移学习中的"负迁移"问题,提出了基于相似度的神经网络多源迁移学习算法。该算法是以经典的BP神经网络模型为基分类器,利用梯度下降法对各个源领域与目标域之间的相似度进行学习和优化,把各个源领域的网络权重参数信息按照与目标域之间的相似程度迁移到目标域中,提高机器学习算法在目标域的分类性能。在UCI数据的Letter-recognition数据集以及20Newsgroups文本数据集上进行实验。实验结果表明了MTL-SNN算法比传统的多源迁移学习算法以及BP神经网络算法在分类准确率上有所提升,因此MTL-SNN算法有效地解决了"负迁移"问题。     

基于实例迁移的磨煤机过程监测建模

当工业生产过程数据匮乏时，很难利用基于数据统计的方法建立其过程监测模型，这给过程监测的准确性和及时性带来很大影响，迁移学习为解决上述问题提供了有效的途径.针对目标域磨煤机过程数据较少的情况，在源域磨煤机数据的基础上，建立基于实例迁移高斯混合模型(Gaussian mixture model，GMM)的目标域磨煤机过程监测模型.利用实例迁移对源域生产过程和目标域过程数据进行权重分配，通过改进的高斯混合模型算法得到最佳高斯组分数目和对应的模型参数，应用过程监测的全局概率指标实现磨煤机过程的跨域监测.磨煤机过程的研究结果验证了所提出方法的可行性和有效性.     

基于深度迁移网络MobileNetV3的地形识别

传统地形识别算法,主要建立在人工提取特征和训练分类器的前提上,其通用能力有限且准确度不高,或者需要大量的数据集训练基础,这种方法训练的网络模型参数较大且预测耗时较长,不利于移植到移动端。因此,运用迁移学习思想,提出了一种基于深度迁移网络的地形识别算法。采用轻量级卷积神经网络MobileNetV3,在爬虫获取和自建适量数据集基础上,对神经网络进行迁移学习。首先,采用图像分类数据集ImageNet上的预训练成果,根据预训练模型权重对MobileNetV3网络进行初始化,实现对模型大规模共享参数的迁移;然后,通过在自建数据集GXU-Terrain6上进行新的训练,微调模型参数,进而得到新的分类模型;最后,利用训练好的模型对地形类别进行预测,从而完成识别任务。提出算法在GXU-Terrain6测试集上取得了93.00%的平均预测准确率。实验结果表明,基于深度迁移的地形识别算法运用较少数据,可获得较高的识别准确率,网络实时性好,适合向移动端移植。     

基于无监督迁移分量分析的语种识别

训练数据和测试数据之间由于信道等差异而引起的不匹配会严重影响语种识别的性能。而在实际应用中,通常只能获得少量的和测试数据匹配的标注数据(目标域数据),以及大量的和测试数据不匹配的标注数据(源域数据)。该文利用迁移学习的方法,通过无监督迁移分量分析(unsupervised transfer component analysis,UTCA),可以合理利用上述两种数据寻找到一个低维子空间,在该空间中,源数据和目标数据之间的分布差异最小,而且数据中有利于分类的属性得以保留,从而提高系统识别性能。实验表明:相对于基线系统,该算法对30s和10s语音的识别性能分别有24.7%和8%的提高。     

基于无监督迁移成分分析和深度信念网络的轴承故障诊断方法

针对轴承故障样本少导致识别精度低的问题,提出一种基于无监督迁移成分分析(unsupervised transfer component analysis,UTCA)和深度信念网络(deep belief network,DBN)的故障诊断方法。首先利用UTCA的核函数将不同工况样本特征映射到一个共享再生核Hilbert空间中,使得源域和目标域样本集更加相似,并通过最大均值偏差嵌入法(maximum mean discrepancy embedding,MMDE)判断能够迁移的源域数据,将源域样本迁移到目标域中,为深度学习提供充足的训练样本,解决了实际故障样本较少的问题;然后采用DBN模型对源域样本进行训练,再对映射后无标记的目标域样本进行故障诊断分析。利用不同工况下的滚动轴承实验数据进行算法验证,结果表明,与普通DBN、SVM、BPNN以及传统机器学习-UTCA融合方法相比,本文方法对滚动轴承故障的诊断精度更高。     

基于迁移学习的贝叶斯网络参数学习方法

针对贝叶斯网络参数迁移过程中对源域及目标域限定条件较多等问题，在考虑源域-目标域多种信息形式的情况下，提出一种基于贝叶斯网络参数迁移学习的统一框架.该方法综合考虑了源域结构和数据量在迁移中的作用，在结构相似性的基础上，探讨了备选源域数据量对参数迁移的影响.在迁移过程中引入与目标域数据相关的平衡系数.通过平衡系数将目标域数据与迁移过程联系起来，实现平衡系数的自动调节.Asia网络验证了本文方法的准确性.     

基于自适应噪声校正的鲁棒域适应学习

域适应（Domain Adaptation,DA）学习旨在利用标签丰富的源域来帮助标签稀缺的目标域学习。DA方法通常假设源域数据已正确标记,然而现实中通常很难收集到大量带有干净标签的源实例,带有噪声源标签的噪声DA学习可能会降低目标学习性能。为此,本文提出基于自适应标签噪声校正的鲁棒DA学习方法（Robust DA Method through Adaptive Noise Correction,RoDAC）。RoDAC包含两个学习阶段,即自适应噪声标签检测（Adaptive Noise Label Detection,ANLD）和自适应噪声标签校正（Adaptive Noise Label Correction,ANLC）。在ANLD中,使用自适应噪声检测器识别带有噪声标签的源实例,并进一步在ANLC中自适应地校正噪声标签,将其重新投入域适应学习中。与基准数据集进行比较,结果表明RoDAC方法在源域标签存在噪声的域适应场景中取得了显著的性能提升。该学习策略可集成至许多现有的DA方法中,以提升其在噪声标签场景下的学习性能。     

基于GRU与PCA-TL的热应力下IGBT故障预测

针对热应力下绝缘栅双极型晶体管(insulated gate bipolar transistor，IGBT)的性能随时间逐步退化的特性，将深度学习中的时间序列预测算法应用到IGBT故障预测中，提出了基于门控循环单元（Gated Recurrent Unit，GRU）与主成分分析-迁移学习（principal components analysis- Transfer Learning，PCA-TL）的故障预测新方法。该方法以电参数集电极-发射极电压VCE作为衰退参数，采用GRU模型构建衰退参数与故障时间的映射关系；利用PCA技术综合相异分布特征的IGBT故障指标，引入TL方法，通过微调GRU预测模型的参数完成从源域到目标域的迁移，实现目标域样本的故障预测。实验结果表明，基于GRU的故障预测模型具有较高的预测精度，与长短期记忆算法（Long Short-Term Memory，LSTM）算法相比，训练速度更快；PCA-TL方法可实现同类器件不同工况下的故障监测任务。验证了所提方法的可行性和正确性。     

基于迁移学习的卷积神经网络电网故障诊断

电网拓扑结构复杂、分支众多、潮流分布不平衡、故障样本较少且难以获取。为提高配电网的故障诊断准确性,本文提出将迁移学习的思想与卷积神经网络（Convolutional Neural Networks,CNN）相结合,以此来解决目标域样本不足导致训练效果差的问题,同时利用主成分分析（principal component analysis,PCA）对时序数据进行降维,提升运行速率,形成配电网故障诊断方法。首先对PCA和CNN的结构特点进行分析;然后通过仿真模拟不同的故障条件,生成面向CNN的时序数据。再通过最大均值差异法（MMD）选择出最适合迁移的源域数据,建立源域故障识别的预训练模型。最后使用目标域数据,在预训练模型的基础上进行迁移微调训练,得到故障诊断模型。仿真结果表明,该方法能够在小样本的情况下迅速完成对故障类型的精准预测。     

基于联合对抗训练的鲁棒度量迁移

迁移度量学习旨在从强大且可靠的距离度量中迁移知识来改善目标度量的效果,这些度量往往来自于学习目标相关的任务.现有的迁移度量学习算法仅关注于如何迁移知识,而这些知识容易过拟合到源域中.首先研究如何在源域中训练一个适合于迁移的源域度量,然后设计了一种通用的深度异质迁移算法来进行高效的迁移学习.值得注意的是,将源域度量以联合对抗学习的方式进行训练,再以深度神经网络的方式将其参数化表示并对其进行迁移.迁移中通过表征模仿的方式来学习源域度量中的知识,这种方式允许源域和目标域中的知识来自于异质域.此外,严格限制目标度量网络的大小,使得目标网络更够进行高效的推理计算.在人脸识别数据集上的实验展现了本方法的有效性.     

基于多生理信息迁移学习的脑力负荷分类

在复杂的人机系统中,保持对实验人员脑力负荷状态的监测对于维护人机系统的安全、高效运行具有极为重要的理论和应用意义。针对现有脑力负荷分类方法识别率低及实际应用时测试样本数据偏移问题,本研究提出采用迁移学习及脑电和心电特征融合的脑力负荷分类识别方法,基于多任务航空情境操作的MATB-II平台同步采集12名健康受试者的脑电信号和心电信号,分别从时域和频域上提取各生理信息特征并进行融合,在此基础上引入迁移学习,基于迁移成分分析(Transfer Component Analysis,TCA)方法进行特征空间变换,实现源域和目标域的边缘分布适配,并进行脑力负荷分类。实验结果表明,基于多生理信息特征融合识别率高于传统脑力负荷识别方法,使用迁移学习可取得较高的识别准确率,为多生理信息脑力负荷分类研究提供了新方法。     

基于置信规则库和差分进化的设备寿命评估方法

介绍了置信规则库转换(BRB-transformation,BRB-T)模型以及运用置信规则库(belief rule base,BRB)推理进行寿命评估的过程.针对当前的置信规则库学习方法还存在依赖初始解、规则条数偏多、系统结构复杂的问题,结合装备贮存寿命评估的BRB-T模型,提出了基于差分进化算法(DE)对该模型的BRB参数进行学习的优化方法.最后,通过某航天设备的失效数据进行了验证.结果表明,该优化方法能够有效地对模型的BRB参数进行优化;并且优化后的模型可以准确地对产品的寿命进行评估.