基于深度迁移网络MobileNetV3的地形识别

传统地形识别算法,主要建立在人工提取特征和训练分类器的前提上,其通用能力有限且准确度不高,或者需要大量的数据集训练基础,这种方法训练的网络模型参数较大且预测耗时较长,不利于移植到移动端。因此,运用迁移学习思想,提出了一种基于深度迁移网络的地形识别算法。采用轻量级卷积神经网络MobileNetV3,在爬虫获取和自建适量数据集基础上,对神经网络进行迁移学习。首先,采用图像分类数据集ImageNet上的预训练成果,根据预训练模型权重对MobileNetV3网络进行初始化,实现对模型大规模共享参数的迁移;然后,通过在自建数据集GXU-Terrain6上进行新的训练,微调模型参数,进而得到新的分类模型;最后,利用训练好的模型对地形类别进行预测,从而完成识别任务。提出算法在GXU-Terrain6测试集上取得了93.00%的平均预测准确率。实验结果表明,基于深度迁移的地形识别算法运用较少数据,可获得较高的识别准确率,网络实时性好,适合向移动端移植。     

基于迁移学习的高分辨率遥感影像场景分类研究

对于小样本集合的遥感影像场景分类问题,采取了一种基于迁移学习的卷积神经网络高分辨率遥感影像识别方法,通过深度卷积神经网络Inception-v4在ImageNet上训练,得到预训练模型以及相应的初始化参数,随后将小样本遥感数据按比例划分注入预训练模型当中,根据样本集合特征,不断调整网络参数以便获得最佳识别分类模型.最后将本文的方法与现有的场景分类方法进行实验对比,测得该方法在UC merced land use场景影像数据集上取得97.92%的准确率,有效提高了高分影像场景分类精度.     

基于预训练语言模型的语法错误纠正方法

自然语言处理中的语法错误纠正(GEC)任务存在着低资源性的问题,学习GEC模型需要耗费大量的标注成本以及训练成本.对此,采用从掩码式序列到序列的预训练语言生成模型(MASS)中的迁移学习方式,充分利用预训练模型已提取的语言特征,在GEC的标注数据上微调模型,结合特定的前处理、后处理方法改善GEC模型的表现,从而提出一种新的GEC系统(MASS-GEC).在两个公开的GEC任务中评估该系统,在有限的资源下,与当前GEC系统相比,达到了更好的效果.具体地,在CoNLL14数据集上,该系统在强调查准率的指标F_0.5上表现分数为57.9;在JFLEG数据集上,该系统在基于系统输出纠正结果与参考纠正结果n元语法重合度的评估指标GLEU上表现分数为59.1.该方法为GEC任务低资源问题的解决提供了新视角,即从自监督预训练语言模型中,利用适用于GEC任务的文本特征,辅助解决GEC问题.     

基于迁移学习的小样本轴承故障诊断方法研究

针对实际应用中训练样本严重不足的问题,提出了一种改进迁移学习方法,将模型在源域上学习的故障诊断知识迁移至目标域,并将其用于小样本轴承故障诊断研究。采用全局均值池化层代替卷积神经网络中的全连接层进行分类输出,减少了网络的待训练参数量。采用预训练微调的迁移学习方法,使用数量充足的源域样本来训练网络,避免了数据不足导致的过拟合现象。将网络结构和参数迁移至目标域后,微调较深层的网络参数,使得网络适应目标域样本的数据分布。在凯斯西储大学轴承数据集和实验室轴承数据集上进行了迁移学习实验和轴承分类诊断,结果表明:在跨工况和跨型号的情况下,仅使用1%目标域训练集数据进行微调时,所使用的方法获得了92.25%的平均分类准确率。所提方法完成了小样本下的滚动轴承故障迁移诊断任务,对迁移学习理论在轴承故障诊断中的研究应用具有一定价值。     

基于YOLOv3及迁移学习的河道船舶目标检测算法

为加强对河道监控视频图像中散体物料采运船舶的监测和跟踪，从而辅助实现智能、高效的河道采砂监管和散体物料调度，基于You Only Look Once version 3（YOLOv3）算法及迁移学习提出一种河道散体物料船舶目标检测算法。首先使用COCO数据集训练初始的YOLOv3算法，得到模型的预训练权重；然后对从广西重要河道周围监控设备采集的采砂运砂船舶影像数据进行图像处理，得到高质量船舶数据集；最后以此数据集为驱动，利用迁移学习得到的预训练权重来训练针对河道采砂船等重点目标的YOLOv3检测模型。该模型采用Darknet-53作为主干网络，并融合了多尺度的特征图，从而实现对小、中、大等各类目标的检测。实验结果表明：该算法在测试集上的平均精度和检测速度分别达到98.00%和17.78 fps，对提高河道采砂监管效能和实现散体物料智能调度具有现实意义。     

基于深度残差网络与迁移学习的地形识别方法

针对现有机器人基于深度网络的地形识别方法准确率低、网络训练时间长且需要大量训练数据的问题,提出一种基于深度残差网络与迁移学习的地形识别方法。首先,基于Resnet网络构建一种深度残差网络;其次,利用现有Imagenet大型数据集对构建的深度残差网络进行预训练,作为预训练网络,保留预训练网络除全连接层的训练权重,实现预训练网络大规模的参数迁移;最后,利用自建地形图像数据集对深度残差网络的全连接层进行训练,实现深度残差网络微调。实验结果表明,通过迁移学习的方法,利用深度残差网络对石子路、水泥路、砖地、沥青、草地、泥地6种自建地形图像进行分类,平均准确率达到了99.3%,同时网络训练时间也显著降低。     

预训练模型的跨领域跨任务迁移学习

为了解决计算机深度学习时标注数据工作量大、准确度不高、耗时耗力等问题,需要将预先训练好的模型中的数据进行跨领域跨任务迁移学习。基于对不同数据集的迁移效果的研究,试验时将视觉领域中表现良好的ImageNet预训练模型迁移到音频分类任务,通过剔除无声部分、统一音频长度、数据转换和正则化处理这4个步骤,采用经典图像增强和样本混淆两种数据增强方法,以5种不同的方式训练数据集,实验证明:ImageNET目标训练模型的跨领域迁移学习效果显著,但源领域的模型效果和目标领域的最终效果并没有必然联系,且使用同领域相似数据分布的数据集的预训练效果比ImageNet上的预训练效果更差。     

基于多模型集成的语义文本相似性判断

作为目前自然语言处理及人工智能领域的主流方法,各种预训练语言模型由于在语言建模、特征表示、模型结构、训练目标及训练语料等方面存在差异,导致它们在下游任务中的表现各有优劣。为了更好地融合不同预训练语言模型中的知识及在下游任务中的学习能力,结合语义文本相似性判断任务的特点,提出一种多模型集成方法MME-STS,给出相应的模型总体架构及相应的特征表示,并针对多模型的集成问题分别提出基于平均值、基于全连接层训练和基于Adaboost算法的3种不同集成策略,同时在两个常用的经典基准数据集上验证该方法的有效性。实验结果表明,MME-STS在国际语义评测SemEval 2014任务4的SICK和SemEval 2017 STS-B数据集上的Pearson共关系值和Spearman相关系数值均超过单个预训练语言模型方法。     

基于深度迁移学习的人脸识别方法研究

针对大数据集上学习的深度人脸模型在实践中的相关问题,提出一种通过迁移一个预训练的深度人脸模型到特定的任务来解决该问题的方案:将深度人脸模型学习的分层表示作为源模型,然后在一个小训练集上学习高层表示以得到一个特定于任务的目标模型;在公共的小数据集及采集的真实人脸数据集上的实验表明,所采用的迁移学习方法有效且高效;经验性地探索了一个重要的开放问题——深度模型不同层特征的特点及其可迁移能力,认为越底层的特征越局部、越通用,而越高层的特征则越全局、越特定,具有更好的类内不变性和类间区分性;无监督的特征可视化与有监督的人脸识别实验结果都能较好地支持上述观点.     

融合非偏好注意力跨度的预训练语言模型

语言模型是自然语言处理领域最重要的任务之一,并以迁移学习的方式影响着机器翻译、机器阅读理解、自动文本摘要等诸多下游任务。依托多头自注意力构建的大规模预训练语言模型在特征提取和文本表征能力上相较之前的神经网络模型取得了较大提升,却也极大地增加了模型训练的时空复杂度。为此,从模糊群决策的角度出发,将毕达哥拉斯模糊非偏好函数用作多头注意力跨度范围的先验,提出一种自适应的注意力跨度调节机制,较大程度地改善了模型捕捉长距离文本依赖的能力,并使模型的整体计算复杂度相较原始Transformer结构维持在较低水平。公开语言模型数据集上的实验表明：所提方法在困惑度指标上取得了较好的性能,超越了多种以往的方法。     

基于BERT模型的医学短文本分类算法研究

提出基于预训练语言模型的医疗命名实体审核算法.首先借助BERT预训练模型对短文本数据进行句子层面的特征向量表示;然后通过构建循环神经网络和迁移学习模型实现短文本分类;最后在参数相同的条件下,将获得的文本特征向量分别输入到循环神经网络和迁移学习模型中进行训练.实验结果表明,与迁移学习相比,基于BERT和循环神经网络模型的...     

基于深度表示学习的多语言文本情感分析

迁移学习专注于解决监督学习在小数据集上难以获得好的分类效果的问题,与传统监督学习的基本假设相比,它并不要求训练集和测试集服从相同或相似的数据分布。通过在标注资源丰富的源语言中学习,并将目标语言的文档投影到与源语言相同的特征空间中去,从而解决目标语言因数据量较小而难以获得好的分类模型的问题。选择亚马逊在书籍、DVD和音乐类目下的中文、英文和日文评论作为实验数据,情感分析作为研究任务,提出了一种新的跨语言深度表示学习模型(cross lingual deep representation learning,CLDRL),实现了不同语言环境下的知识迁移。实验结果表明,CLDRL模型在跨语言环境下最优F1值达到了78.59%,证明了该模型的有效性。     

基于迁移学习的危险行为识别方法研究

深度学习中卷积神经网络在行为识别领域有着良好的识别效果,但是由于深度学习需要较大数据集训练模型,而现今公开数据集中危险行为识别相关方向没有大量数据集。针对危险行为识别领域样本少、无法进行深度学习训练等问题,建立了危险行为识别数据集,并采用迁移学习方法对C3D网络模型进行迁移训练。结果表明,迁移学习后C3D网络模型对危险行为识别数据集平均识别率达到了83. 2%,可以有效识别危险行为动作。     

基于联邦迁移学习的应用系统日志异常检测研究

迄今为止，基于日志的异常检测研究已经取得了很多进展，然而，在现实条件下仍旧存在两个挑战：（1） 是日志数据通常以“数据孤岛”形式储存在不同的服务器上，单一公司或组织的日志数据中异常样本量不足，且异常模式较为固定，很难通过这些数据训练出一个准确率高的检测模型. 为了解决这个问题，将不同来源的日志数据整合成更大的数据集可以提高模型训练的效果但可能会在数据传输过程中产生日志数据泄露问题；（2） 是不同应用系统类型的日志数据通常在结构和语法上存在差异，简单地整合并用于训练模型效果不佳. 基于以上原因，本文提出一种基于联邦迁移学习的日志异常检测模型训练框架LogFTL，该框架利用基于匹配平均的联邦学习算法，在保证客户端数据隐私安全的前提下于服务器聚合客户端的模型参数形成全局模型，再将全局模型分发给客户端并基于客户端的本地数据进行迁移学习，优化客户端本地模型针对自身常见异常行为的检测能力. 经过实验表明，本文提出的LogFTL框架在联邦学习场景下效果超过了传统的日志异常检测方法，同时也证明了该框架中迁移学习的效果.     

基于改进八度卷积算法的人脸表情识别

针对目前人脸表情识别存在准确率不高、模型复杂和计算量大的问题，文章提出了一种基于八度卷积改进的人脸表情识别模型(OCNN):使用改进的八度卷积进行特征提取，提高对细节特征的提取效果，降低特征图的冗余，在不增加参数的同时减少运算量，以提高特征提取性能；利用DyReLU激活函数来增强模型的学习和表达能力；使用自适应平均池化下采样层代替全连接层，以减少参数；将模型在大规模数据集上进行预训练，并在FER2013、FERPlus、RAF-DB数据集上进行模型性能验证实验。实验结果表明：训练后的模型权重为10.4 MB,在人脸表情识别数据集FER2013、FERPlus和RAF-DB上的准确率分别达到73.53%、89.58%和88.50%;与目前诸模型相比，OCNN模型的准确性高且计算资源消耗低，充分证明了该模型的有效性。     

基于深度学习与数据增强技术的小样本岩石分类

在油气勘探中,利用深度学习技术对岩石进行识别与分类能极大提高工作效率。岩石采样并制作样本图像费时费力,因此岩石样本通常较少。有鉴于此,基于深度学习技术设计一个新的神经网络模型MyNet,该模型能对小样本进行学习并完成岩石样本的分类。使用数据增强技术通过Python编程将314张岩石样本扩充成28 272张图像,为了充分利用现有数据,取其中的27 384张作为训练集,剩余888张作为测试集。将数据分别导入MyNet、ResNet50、Vgg16进行训练和测试。实验结果表明,加载、不加载预训练参数的ResNet50、Vgg16的岩石分类结果因受有无迁移学习影响会有所不同;MyNet的总体分类准确率为75.6%,均优于有无迁移学习的ResNet50、Vgg16,且MyNet、ResNet50、Vgg16所需训练的参数量分别为919 278、25 503 912、138 357 544,显然,MyNet模型的复杂度与训练代价明显低于其他对比模型,但性能最优,说明新模型应用于小样本的岩石分类可行有效且经济安全,更容易推广应用。     

相似度增强的译文质量评估方法

机器翻译的质量评估作为不依赖参考译文而预测翻译质量的任务，在机器翻译领域中起到了重要的作用.相较于机器翻译，质量评估的数据资源非常稀缺，将跨语言预训练模型应用到该任务中，不但能受益于从大规模语料中学习到的跨语言知识，解决数据量不足的问题，而且极大地节约了计算资源.但与建立跨语言预训练模型采用的正常数据不同，译文质量评估面对的是正常的源端文本和错误程度不同的目标端文本，即它需要应对更大的两端语义差异.因此，本文为基于跨语言预训练模型的译文质量评估系统引入了特殊的语义关联处理层，通过相似度增强的拼接机制来增强原文与译文的语义关联性，从而提高质量评估的准确性.该方法在WMT19质量评估任务数据集上的实验结果验证了上述方法的有效性.     

基于迁移学习的维吾尔语命名实体识别

针对维吾尔语命名实体识别存在无法关注词序列依赖关系等问题,提出一种基于迁移学习的联合深度模型(TBIBC).首先通过BERT(Bidirectional Encoder Representations from Transformers)预训练中文数据集生成具有语义信息的词向量,再将词向量序列通过空洞卷积神经网络(IDCNN)进行膨胀操作以减少神经元层数和参数,输出向量输入到双向门控循环单元(BiGRU)进行上下文语义信息提取,然后通过CRF层得到最优标签序列.模型采用共享深度神经网络隐藏层的方法将训练好的中文实体识别模型迁移到维吾尔语模型上.结果表明,该模型的准确率为91.39%,召回率为90.11%,F1值达到90.75%,能显著提升维吾尔语命名实体识别性能.     

基于深度学习与狮群SVM算法的遥感场景分类

针对高分辨遥感图像样本量小,以及传统优化支持向量机(SVM)算法易陷入局部最优解、寻优速度慢等问题,提出一种基于深度迁移学习与狮群优化SVM(LSO-SVM)算法对遥感图像场景进行分类.首先,通过自适应对比度增强图像后利用颜色聚合向量提取图像颜色特征;其次,利用3种预训练网络分别提取图像的迁移学习深度特征;最后,将手工提取的图像特征与用3种预训练网络获取的特征使用系列特征融合方法进行融合,并将其输入LSO-SVM进行图像场景分类.结果表明,该算法解决了小样本情况下深度学习较难训练及传统优化SVM算法易陷入局部最优解、寻优速度慢的问题.在80%的训练条件下,数据集UCM Land-Use和RSSCN7的分类精度分别达到99.52%和98.57%.     

采用迁移学习的小样本锂电池荷电状态估算方法

针对锂电池荷电状态(SOC)估算面临的大型数据集获取困难和训练速度慢的问题，结合深度学习和迁移学习提出一种小样本锂电池荷电状态估算方法。基于卷积-长短期记忆网络(CNN-LSTM)构建深度神经网络结构。在源域上采用K折交叉验证对NASA数据集进行划分，选取SOC估计性能最优的网络，利用目标域内具有多种工况和温度条件的Panasonic小样本数据进行迁移学习。为了提升方法的整体性能，分析了网络超参数对SOC估计结果的影响。实验结果表明：在相同的迭代次数下，该方法在不同的工况下可以较准确地实现小样本电池SOC估计，相较于非小样本迁移学习处理方法的均方根误差降低了47.29%。