归纳式迁移学习在跨领域情感倾向性分析中的应用

在解决情感倾向性分析问题中,传统的监督学习和半监督学习都是在训练和测试所用的数据来自相同分布的假设基础之上的,但在很多情况下不能满足这样的假设,这就产生了跨领域的情感倾向性分析问题.在跨领域情感倾向性分析中,提出一种基于归纳式迁移学习的图模型,通过图模型建立源领域和目标领域数据之间的关联,使得源领域的数据通过图模型学习目标领域数据在特征和实例上的特点.同时,利用归纳式迁移学习方法使用少量的目标领域的已标注数据进行训练,从而提高了情感分类器在目标领域的分类准确率,极大地改进了跨领域情感倾向性分析的效果.在标准数据集上进行了实验,并与监督学习方法 SVM、半监督学习方向TSVM以及其它3种常用的迁移学习方法进行了对比,对比结果显示本文方法显著的高于SVM和TSVM,并在大多数数据集上优于其它3种迁移学习方法,实验结果表明该方法是有效的.     

基于集成深度迁移学习的多源跨领域情感分类

传统的跨领域情感分类往往是实现单一源领域到目标领域的情感迁移,而在现实情况下,往往存在多个源领域的数据。文章从参数迁移和集成学习的角度,提出了一种基于集成深度迁移学习的多源跨领域文本情感分类方法。首先,使用字符向量增强的深度卷积神经网络模型,在单个源领域上训练情感分类模型,然后通过模型迁移的手段,实现源领域的情感知识到目标领域的迁移。通过深度特征抽取和模型迁移,有效提升了跨领域的特征表示能力。为了充分利用所有源领域信息,我们采用集成学习框架对训练好的迁移学习模型进行集成。通过在Amazon多领域的评论数据集上进行实验,验证了文章提出的框架对跨领域情感分类的正确率有一定提升。     

基于句法结构迁移和领域融合的跨领域情感分类

用于文本情感分析的深度学习模型如递归神经网络等参数较多，因此需要大量高质量标记训练数据对模型进行训练和优化。在实际应用中，特定领域难以获取高质量带情感标签评论数据。在跨领域文本情感分类任务中，针对不同领域数据分布差异性，提出了基于句法结构迁移和领域融合的跨领域文本情感分类方法，可以解决特定领域对带标签数据依赖问题。句法结构迁移方面，将依存语法特征加入到递归神经网络中，设计了一种可迁移的依存句法递归神经网络模型，通过句法结构迁移有效地迁移跨领域结构信息，为情感迁移提供支撑。领域融合方面，在传统的最大均值差异领域度量方法上细化了跨领域同类别距离度量信息。通过约束源领域和目标领域的分布，可以保证2个领域距离在学习过程中尽可能减小，有效地提取领域通用特征。实验结果表明，该方法比已有方法有效提高了跨领域情感分类准确率。     

基于迁移学习的小样本轴承故障诊断方法研究

针对实际应用中训练样本严重不足的问题,提出了一种改进迁移学习方法,将模型在源域上学习的故障诊断知识迁移至目标域,并将其用于小样本轴承故障诊断研究。采用全局均值池化层代替卷积神经网络中的全连接层进行分类输出,减少了网络的待训练参数量。采用预训练微调的迁移学习方法,使用数量充足的源域样本来训练网络,避免了数据不足导致的过拟合现象。将网络结构和参数迁移至目标域后,微调较深层的网络参数,使得网络适应目标域样本的数据分布。在凯斯西储大学轴承数据集和实验室轴承数据集上进行了迁移学习实验和轴承分类诊断,结果表明:在跨工况和跨型号的情况下,仅使用1%目标域训练集数据进行微调时,所使用的方法获得了92.25%的平均分类准确率。所提方法完成了小样本下的滚动轴承故障迁移诊断任务,对迁移学习理论在轴承故障诊断中的研究应用具有一定价值。     

结合表示学习和迁移学习的跨领域情感分类

针对现有跨领域情感分类方法中文本表示特征忽略了重要单词与句子的情感信息, 且在迁移过程中存在负面迁移的问题, 提出一种将文本表示学习与迁移学习算法相结合的跨领域情感分类方法。首先, 利用低维稠密的词向量对文本进行初始化, 通过分层注意力网络, 对文本中重要单词与句子的情感信息进行建模, 从而学习源领域与目标领域的文档级分布式表示。随后, 采用类噪声估计方法, 对源领域中的迁移数据进行检测, 剔除负面迁移样例, 挑选高质量样例来扩充目标领域的训练集。最后, 训练支持向量机对目标领域文本进行情感分类。在大规模公开数据集上进行的两个实验结果表明, 与基准方法相比, 所提方法的均方根误差分别降低1.5%和1.0%, 说明该方法可以有效地提高跨领域情感分类性能。     

基于深度迁移网络MobileNetV3的地形识别

传统地形识别算法,主要建立在人工提取特征和训练分类器的前提上,其通用能力有限且准确度不高,或者需要大量的数据集训练基础,这种方法训练的网络模型参数较大且预测耗时较长,不利于移植到移动端。因此,运用迁移学习思想,提出了一种基于深度迁移网络的地形识别算法。采用轻量级卷积神经网络MobileNetV3,在爬虫获取和自建适量数据集基础上,对神经网络进行迁移学习。首先,采用图像分类数据集ImageNet上的预训练成果,根据预训练模型权重对MobileNetV3网络进行初始化,实现对模型大规模共享参数的迁移;然后,通过在自建数据集GXU-Terrain6上进行新的训练,微调模型参数,进而得到新的分类模型;最后,利用训练好的模型对地形类别进行预测,从而完成识别任务。提出算法在GXU-Terrain6测试集上取得了93.00%的平均预测准确率。实验结果表明,基于深度迁移的地形识别算法运用较少数据,可获得较高的识别准确率,网络实时性好,适合向移动端移植。     

基于深度迁移学习的人脸识别方法研究

针对大数据集上学习的深度人脸模型在实践中的相关问题,提出一种通过迁移一个预训练的深度人脸模型到特定的任务来解决该问题的方案:将深度人脸模型学习的分层表示作为源模型,然后在一个小训练集上学习高层表示以得到一个特定于任务的目标模型;在公共的小数据集及采集的真实人脸数据集上的实验表明,所采用的迁移学习方法有效且高效;经验性地探索了一个重要的开放问题——深度模型不同层特征的特点及其可迁移能力,认为越底层的特征越局部、越通用,而越高层的特征则越全局、越特定,具有更好的类内不变性和类间区分性;无监督的特征可视化与有监督的人脸识别实验结果都能较好地支持上述观点.     

基于三元训练的跨领域依存句法分析

基于大规模领域内标注数据训练的句法分析模型在领域外数据上测试时,性能会急剧下降.导致该现象的原因之一是缺乏高质量的目标领域标注数据.由于人工标注数据耗时耗力,自动生成目标领域标注数据是一种有效的解决方法.其中,三元训练(tri-training)作为一种典型的多模型决策协同训练方法,旨在利用多个模型的预测结果来保证自动标注数据的质量.本文针对跨领域依存句法分析任务,系统比较了3种常用的tri-training方法,在NLPCC-2019评测数据集上取得了目前最佳的性能,并大幅度超过了目前最好结果.此外,还设计了详细的分析实验以深入理解跨领域模型性能下降的原因以及tri-training所起的作用.     

视觉-语言多模态预训练模型前沿进展

近年来,多模态预训练学习在视觉-语言任务上蓬勃发展。大量研究表明,多个模态特征的表征学习预训练有利于视觉-语言下游任务的效果提升。多模态表征预训练旨在采用自监督的学习范式,包括对比学习,掩码自监督等,在大规模的图文相关性数据上进行训练,通过学习模态自身与模态间的知识先验,使模型获得通用的、泛化性较强的视觉表征能力。后BERT时代,本文介绍了视觉多模态领域基于Transformer的相关工作;对主流多模态学习方法的发展脉络进行梳理,分析了不同方法的优势和局限性;总结了多模态预训练的各种监督信号及其作用;概括了现阶段主流的大规模图像-文本数据集;最后简要介绍了几种相关的跨模态预训练下游任务。     

相似度增强的译文质量评估方法

机器翻译的质量评估作为不依赖参考译文而预测翻译质量的任务，在机器翻译领域中起到了重要的作用.相较于机器翻译，质量评估的数据资源非常稀缺，将跨语言预训练模型应用到该任务中，不但能受益于从大规模语料中学习到的跨语言知识，解决数据量不足的问题，而且极大地节约了计算资源.但与建立跨语言预训练模型采用的正常数据不同，译文质量评估面对的是正常的源端文本和错误程度不同的目标端文本，即它需要应对更大的两端语义差异.因此，本文为基于跨语言预训练模型的译文质量评估系统引入了特殊的语义关联处理层，通过相似度增强的拼接机制来增强原文与译文的语义关联性，从而提高质量评估的准确性.该方法在WMT19质量评估任务数据集上的实验结果验证了上述方法的有效性.     

基于多模型集成的语义文本相似性判断

作为目前自然语言处理及人工智能领域的主流方法,各种预训练语言模型由于在语言建模、特征表示、模型结构、训练目标及训练语料等方面存在差异,导致它们在下游任务中的表现各有优劣。为了更好地融合不同预训练语言模型中的知识及在下游任务中的学习能力,结合语义文本相似性判断任务的特点,提出一种多模型集成方法MME-STS,给出相应的模型总体架构及相应的特征表示,并针对多模型的集成问题分别提出基于平均值、基于全连接层训练和基于Adaboost算法的3种不同集成策略,同时在两个常用的经典基准数据集上验证该方法的有效性。实验结果表明,MME-STS在国际语义评测SemEval 2014任务4的SICK和SemEval 2017 STS-B数据集上的Pearson共关系值和Spearman相关系数值均超过单个预训练语言模型方法。     

基于迁移学习的高分辨率遥感影像场景分类研究

对于小样本集合的遥感影像场景分类问题,采取了一种基于迁移学习的卷积神经网络高分辨率遥感影像识别方法,通过深度卷积神经网络Inception-v4在ImageNet上训练,得到预训练模型以及相应的初始化参数,随后将小样本遥感数据按比例划分注入预训练模型当中,根据样本集合特征,不断调整网络参数以便获得最佳识别分类模型.最后将本文的方法与现有的场景分类方法进行实验对比,测得该方法在UC merced land use场景影像数据集上取得97.92%的准确率,有效提高了高分影像场景分类精度.     

基于深度表示学习的多语言文本情感分析

迁移学习专注于解决监督学习在小数据集上难以获得好的分类效果的问题,与传统监督学习的基本假设相比,它并不要求训练集和测试集服从相同或相似的数据分布。通过在标注资源丰富的源语言中学习,并将目标语言的文档投影到与源语言相同的特征空间中去,从而解决目标语言因数据量较小而难以获得好的分类模型的问题。选择亚马逊在书籍、DVD和音乐类目下的中文、英文和日文评论作为实验数据,情感分析作为研究任务,提出了一种新的跨语言深度表示学习模型(cross lingual deep representation learning,CLDRL),实现了不同语言环境下的知识迁移。实验结果表明,CLDRL模型在跨语言环境下最优F1值达到了78.59%,证明了该模型的有效性。     

基于共享表示的跨领域中文模糊限制语识别

为充分利用源领域的标注数据,减少目标领域的标注代价,提出一种基于共享表示的跨领域模糊限制语识别方法.该方法利用双向长短期记忆网络,通过参数共享机制交替地学习源领域和目标领域的训练数据,同时引入对抗学习,把各领域私有特征从共享特征中剥离,从而获得不同领域间的共享语义表示.在中文生物医学和维基百科两个领域上的实验表明,基于共享表示的方法在跨领域中文模糊限制语识别性能上明显优于基于实例和基于特征的迁移学习方法.     

基于主题迁移的跨视角动作识别

利用迁移学习的思想,提出了一个主题迁移模型(topic transfer model)用于跨视角的动作识别。借助源视角视频和目标视角视频,学习一个迁移模型,利用这个模型来实现对目标视角下视频的分类。具体方法是在源视角下训练一个主题模型,将反应源视角的语义信息传递到目标视角中,然后在目标视角中训练一个主题模型,实现跨视角的动作表示,利用支持向量机进行动作的训练和分类。实验结果验证了该方法的有效性。     

基于BERT的跨领域任务型对话状态跟踪方法

对话状态跟踪(Dialogue State Tracking, DST)是任务型对话系统的核心模块，主要实现在对话过程中跟踪用户意图的功能。为了提升对话状态跟踪在跨领域场景下的性能，本文提出了一种基于BERT(Bidirectional Encoder Representation from Transformers)模型的对话状态跟踪方法，该方法考虑了领域与槽之间的相关性，让模型在对话过程中学习领域信息，并使领域信息参与到槽值的生成过程之中。我们在两个跨领域的任务型对话数据集上进行了综合实验，包括中文数据集CrossWOZ和英文数据集MultiWOZ 2.4,模型在CrossWOZ和MultiWOZ 2.4中分别取得了63.51%和70.17%的联合目标准确率。实验结果表明，本文提出的方法在跨领域场景下有较高的性能表现。     

基于样本过滤和迁移学习的多领域情感分类模型

目前,大部分进行情感分类的模型以单个数据集进行训练并测试,然而对一个数据集训练得到的模型参数不适用于另一个数据集,模型不具备通用性.为此提出一种适用于多个领域的情感分类模型(MDSC),借助样本过滤和迁移学习,使训练得到的模型参数适用于多个领域下的不同数据集,使模型更具适用性和拓展性,即先将文档映射到领域的分布式表示,并以此作为领域分类和情感分类的桥梁,最后进行情感分类.为了使模型更具通用性,需要选择代表性强的数据样本,于是通过构建具有领域独立性的情感字典对属于同一文档的句子进行过滤,获取高质量的训练集.同时为了提高分类准确率并减少训练时间,使用基于参数的迁移学习方法,利用神经网络获得文档向量再进行分类.在包含15个不同领域的数据集上进行实验,与其他情感分类模型相比得到了较好的实验效果.     

基于渐进式神经网络的机器人控制策略迁移

在机器人领域,通过深度学习方法来解决复杂的控制任务非常具有吸引力,但是收集足够的机器人运行数据来训练深度学习模型是困难的.为此,提出一种基于渐进式神经网络(progressive neural network,PNN)的迁移算法,该算法基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)框架,通过把模型池中的预训练模型与目标任务的控制模型有机地结合起来,从而完成从源任务到目标任务的控制策略的迁移.两个仿真实验的结果表明,该算法成功地把先前任务中学习到的控制策略迁移到了目标任务的控制模型中.相比于其他基准方法,该算法学习目标任务所需的时间大大减少.     

基于MobileNet和迁移学习的微带青烟叶图像识别

为了准确地挑选出微带青烟叶，提出了基于MobileNet和迁移学习的微带青烟叶图像识别方法.首先收集烟叶图像建立样本数据集；其次，对在ImageNet数据集上训练好的MobileNet进行微调，以使其适应烟叶图像识别；最后，基于迁移学习方法利用烟草样本训练集对微调后的MoblieNet模型进行训练，从而准确识别微带青烟叶.     

基于对抗学习的讽刺识别研究

为了避免现有讽刺识别方法的性能会受训练数据缺乏的影响, 在使用有限标注数据训练的注意力卷积神经网络基础上, 提出一种对抗学习框架, 该框架包含两种互补的对抗学习方法。首先, 提出一种基于对抗样本的学习方法, 应用对抗生成的样本参与模型训练, 以期提高分类器的鲁棒性和泛化能力。进而, 研究基于领域迁移的对抗学习方法, 以期利用跨领域讽刺表达数据, 改善模型在目标领域上的识别性能。在3个讽刺数据集上的实验结果表明, 两种对抗学习方法都能提高讽刺识别的性能, 其中基于领域迁移方法的性能提升更显著; 同时结合两种对抗学习方法能够进一步提高讽刺识别性能。