基于迁移学习的高分辨率遥感影像场景分类研究

对于小样本集合的遥感影像场景分类问题,采取了一种基于迁移学习的卷积神经网络高分辨率遥感影像识别方法,通过深度卷积神经网络Inception-v4在ImageNet上训练,得到预训练模型以及相应的初始化参数,随后将小样本遥感数据按比例划分注入预训练模型当中,根据样本集合特征,不断调整网络参数以便获得最佳识别分类模型.最后将本文的方法与现有的场景分类方法进行实验对比,测得该方法在UC merced land use场景影像数据集上取得97.92%的准确率,有效提高了高分影像场景分类精度.     

基于深度学习与数据增强技术的小样本岩石分类

在油气勘探中,利用深度学习技术对岩石进行识别与分类能极大提高工作效率。岩石采样并制作样本图像费时费力,因此岩石样本通常较少。有鉴于此,基于深度学习技术设计一个新的神经网络模型MyNet,该模型能对小样本进行学习并完成岩石样本的分类。使用数据增强技术通过Python编程将314张岩石样本扩充成28272张图像,为了充分利用现有数据,取其中的27384张作为训练集,剩余888张作为测试集。将数据分别导入MyNet、ResNet50、Vgg16进行训练和测试。实验结果表明,加载、不加载预训练参数的ResNet50、Vgg16的岩石分类结果因受有无迁移学习影响会有所不同;MyNet的总体分类准确率为75.6%,均优于有无迁移学习的ResNet50、Vgg16,且其结构复杂度与训练代价明显低于比较模型,说明新模型应用于小样本的岩石分类可行有效且经济安全,更容易推广应用。     

基于带噪预训练的刑期预测方法

刑期预测模型利用自然语言处理技术自动预测当前案件的建议刑期,对提高司法工作效率,维护司法审判的公平与公正,以及实现同案同判具有重要意义。现有的研究通常采用基于预训练语言模型的方法进行刑期预测建模,但由于存在裁判文书文本较长、专业性强及部分案由标注数据不足等问题,刑期预测任务依然具有较强的挑战性。针对上述问题,本文提出了基于带噪预训练的刑期预测方法。首先,根据刑期预测任务的特点,设计了融合罪名信息的刑期预测模型;其次,结合遮蔽语言模型(Masked Language Model,MLM)任务和自蒸馏策略减少刑期预测任务预训练数据中噪声的影响;最后,改进RoBERTa-wwm模型中的位置嵌入,增强模型的长文本建模能力。实验结果表明,本文提出的预训练方法能够极大地提升刑期预测任务的准确率,在小样本条件下也具有很好的表现。     

基于对比学习的暴力检测算法研究

针对现有暴力检测模型实际部署中存在数据标注成本高,提出基于对比学习的半监督模型训练框架,利用对比学习训练模型的表征能力,对比样本采用基于速度和基于全局和局部对比生成方式,对比框架在大量正负样本对比基础上增加正例样本间对比数量,同时利用伪标注对模型进行微调。实验结果显示,对比学习能够帮助模型在RWF2000和RVLS 5%训练数据下提升了3.9%,2.55%准确率,微调阶段能在RWF2000 25%训练数据下帮助模型进一步提升约3%准确率。     

基于深度迁移网络MobileNetV3的地形识别

传统地形识别算法,主要建立在人工提取特征和训练分类器的前提上,其通用能力有限且准确度不高,或者需要大量的数据集训练基础,这种方法训练的网络模型参数较大且预测耗时较长,不利于移植到移动端。因此,运用迁移学习思想,提出了一种基于深度迁移网络的地形识别算法。采用轻量级卷积神经网络MobileNetV3,在爬虫获取和自建适量数据集基础上,对神经网络进行迁移学习。首先,采用图像分类数据集ImageNet上的预训练成果,根据预训练模型权重对MobileNetV3网络进行初始化,实现对模型大规模共享参数的迁移;然后,通过在自建数据集GXU-Terrain6上进行新的训练,微调模型参数,进而得到新的分类模型;最后,利用训练好的模型对地形类别进行预测,从而完成识别任务。提出算法在GXU-Terrain6测试集上取得了93.00%的平均预测准确率。实验结果表明,基于深度迁移的地形识别算法运用较少数据,可获得较高的识别准确率,网络实时性好,适合向移动端移植。     

基于正则化元学习的小样本图像分类算法

现有元学习方法的初始模型在训练过程中会偏向于某些任务，从而影响元学习方法的泛化能力。针对以上不足，提出了基于正则化元学习算法(Regularized Meta Learning,REML)用于小样本图像分类。该算法通过在元学习的目标函数中添加正则化项，以阻止元学习的初始模型偏向于部分训练任务，使元学习模型具有更强适应新任务的能力。此外针对元学习过程中涉及二阶求导使得计算量较大的不足，采用一阶导数近似二阶导数，以减小元学习模型训练所需计算量。在mini Image Net、CUB-200和CIFAR-100这3个数据集上进行的实验验证本文算法性能。实验结果表明，提出的算法能够增强元学习的泛化能力，从而提高小样本图像分类的性能，同时减小元学习算法训练参数的计算量。     

基于任务特征的一种小样本学习方法

现在机器学习对于数据量的依赖性过强,大量数据意味着高价的成本,如何在少量样本上取得可观的预测准确率非常关键,小样本学习就是基于该问题提出的.本研究基于MAML的模型框架,加入任务嵌入的思想.MAML是目前主流的元学习模型,它有泛化性能好、适应性强的特点.在此基础上,我们可以引入动态的特征嵌入进行调整来适应不同的任务,在输入任务后,通过预测网络中的特征层生成参数来调整任务特征嵌入.在常用的小样本学习公开数据集Omniglot和MiniImagenet上实验证明了提出的方法能够提高学习性能.     

基于自监督学习的文本行人检索

基于文本的行人检索任务旨在以文本为查询在大规模数据库中检索出目标行人的图像，在处理社会公共安全问题中具有较高的实用价值．不同于常规的跨模态检索任务，该任务中所有的类别都是行人，不同行人之间的外观差异较小，难以辨别；此外由于拍摄条件的限制图像质量通常较差，因此如何有效地提取更鲁棒、更具有判别性的视觉特征是该任务的一项重要挑战．为了应对这一挑战，设计了一种基于自监督学习的文本行人检索算法，以多任务学习的形式将自监督学习与基于文本的行人检索任务相结合，对两种任务同时进行训练，共享模型参数．其中，自监督任务作为辅助任务，旨在为行人检索任务学习到更鲁棒、更具有判别性的视觉特征．具体来说，首先提取视觉和文本特征，并以图像修复作为自监督任务，旨在学习更丰富的语义信息，且对遮挡数据具有更好的鲁棒性；基于行人图像的特殊性，进一步设计了一种镜像翻转预测任务，通过训练网络预测图像是否经过了镜像翻转学习具有判别性的细节信息，以帮助行人检索任务更好地区分难分样本．在公开数据集上进行的大量实验证明了该算法的先进性和有效性，将行人检索的Top-1准确率提升了2.77%，并且实验结果显示两种自监督任务存在一定的互补性...     

SAR-LAM:面向小样本SAR目标识别的轻量化适应策略

针对小样本学习中跨域迁移导致模型性能下降的问题,提出一种面向小样本SAR目标识别的轻量化适应策略(SAR-LAM)。该方法通过知识蒸馏预训练一个具有泛化性能的通用编码器,向其中嵌入一个只在少量目标域样本上进行训练的适应模块,而后将提取的特征映射到一个分辨性更高的空间内,最终以原型网络为基线对查询集样本进行分类。该适应策略以增加少量学习参数为代价,克服了数据分布差异导致模型迁移受限的困难,增强了模型在目标域提取特征的能力,在小样本条件下将SAR目标识别的准确率提升了至少1.93个百分点,较其他方法展现出一定的优越性。     

基于提示学习的文本隐式情感分类

随着监管不断加强，人们表达方式逐渐由直白向隐晦演进，情感分析任务变得更为困难。针对用于情感分析的预训练语言模型和微调阶段模型在处理包含隐式情感文本时遇到的巨大困难，本文提出了一种基于提示学习模型（一种弥合了预训练模型和微调阶段模型的模型）和类别差异化损失的方法ImplicitPrompt，将隐式的情感显式化，区分不同情感标签的距离，提升隐式情感分类的准确率。在英文方面级情感分类标准数据集上进行实验的结果表明，本文模型在标准监督设置下和低资源设置下均能在文本隐式情感分类中取得最佳效果。     

基于深度残差网络与迁移学习的地形识别方法

针对现有机器人基于深度网络的地形识别方法准确率低、网络训练时间长且需要大量训练数据的问题,提出一种基于深度残差网络与迁移学习的地形识别方法。首先,基于Resnet网络构建一种深度残差网络;其次,利用现有Imagenet大型数据集对构建的深度残差网络进行预训练,作为预训练网络,保留预训练网络除全连接层的训练权重,实现预训练网络大规模的参数迁移;最后,利用自建地形图像数据集对深度残差网络的全连接层进行训练,实现深度残差网络微调。实验结果表明,通过迁移学习的方法,利用深度残差网络对石子路、水泥路、砖地、沥青、草地、泥地6种自建地形图像进行分类,平均准确率达到了99.3%,同时网络训练时间也显著降低。     

PromptWE:一种融合解释的提示学习事实核查模型

针对事实核查任务中如何利用生成的解释更好地辅助真实性判断的问题,该文提出一种融合解释的提示学习事实核查模型PromptWE。该模型在生成任务中通过证据筛选和摘要生成更易理解的解释,然后在分类任务中将解释融合进提示学习模型的提示模板中,从而将解释与预训练模型储备的知识相结合,以提高真实性判别的准确率。该模型在2个数据集上的F1值比SOTA模型高5%,表明模型生成的解释能提升模型判别信息真假的能力。此外,为了说明高质量的解释在分类任务中的重要性,该文将数据集中的专家证据直接作为解释,融合进提示模板中进行了提示学习训练,比融合模型生成的解释的F1值提高了16%,证明了高质量解释能有效激发通用语言模型在事实核查任务上的能力。     

基于注意力机制归纳网络的小样本关系抽取模型

针对小样本关系抽取问题,提出一种基于注意力机制的归纳网络.首先,利用归纳网络中的动态路由算法学习类别表示;其次,提出实例级别的注意力机制,用于调整支持集,并获取支持集与查询集样本之间的高级信息,进而获得与查询实例更相关的支持集样本.该模型很好地解决了训练数据不足时如何进行关系抽取的问题.在小样本关系抽取数据集FewRel上进行实验,得到的实验结果为：5-way 5-shot情形下准确率为(88.38±0.27)%,5-way 10-shot情形下准确率为(89.91±0.33)%, 10-way 5-shot情形下准确率为(77.92±0.44)%, 10-way 10-shot情形下准确率为(81.21±0.39)%.实验结果表明,该模型能适应任务并且优于其他对比模型,在小样本关系抽取中取得了优于对比模型的结果.     

基于迁移学习的智能合约漏洞检测方法

针对智能合约源代码漏洞数据集匮乏的问题，提出一种基于迁移学习的智能合约漏洞检测方法.首先，从CodeBERT预训练模型中迁移表示传统编程语言的语义特征参数，学习智能合约编程语言Solidity的语义表示；其次，使用长短期记忆网络处理语义向量，加入上下文语义关联；最后，训练智能合约漏洞检测模型，完成智能合约源代码形式的二分类漏洞检测任务.实验结果表明，与基线方法和机器学习方法相比，该方法在数据集匮乏情况下的智能合约漏洞检测准确率更高.     

基于Bi-GRU和外部注意网络的会话推荐模型

基于会话的推荐系统(SRS)可以根据匿名用户的历史行为序列预测用户的下一个动作。现有推荐模型大都会忽略当前会话与其他会话的潜在相关性,不能捕捉用户的主要意图。为解决该问题,提出一种基于Bi-GRU和外部注意网络的会话推荐模型(SR-BGEAN)。该模型首次将外部注意机制引入会话推荐任务中,并结合Bi-GRU进行建模,同时捕获会话内物品双向顺序信息和会话样本间全局信息,形成最终的兴趣表示。在Diginetica和Yoochoose数据集上的实验结果表明,相对最优的基线模型,SR-BGEAN模型在推荐的前20个项目中的命中率更高,可达到71.50%。     

基于图的半监督深度学习及其在新生儿疼痛表情识别中的应用

针对新生儿疼痛表情识别任务中由于有类别标签样本数量不足而导致分类准确率不高的问题,提出了 一种基于图的半监督深度学习(Graph-based Semi-supervised Deep Learning,GSDL)方法.首先,使用训练集中少量有类别标签的样本对深度神经网络模型进行初步训练,得到初始模型;然后,利用初始模型...     

基于孪生神经网络的小样本目标检测综述

目标检测是计算机视觉的基础任务之一，其主要任务是对图像中的目标进行分类和定位。小样本目标检测的目的就是利用极少数的训练样本实现对目标的检测，从而减少繁杂的标注工作，并实现在只有少量样本场景下的应用。现有的小样本目标检测方法主要包括基于孪生神经网络的方法和基于微调的方法，这些方法通过利用现有的包含大量样本的基类数据集和包含少量样本的小样本数据集的训练，使模型实现对小样本类别的分类和定位。重点调研了基于孪生神经网络的双分支小样本目标检测方法，简要介绍了基于微调的小样本目标检测方案，分析了这些方案的优缺点，指出现有的小样本目标检测方案虽不成熟，模型精度有待提升，性能评估方案也有待完善，但却有着十分广阔的应用前景，未来若能通过深入研究解决小样本目标检测的现有问题，其精度必将赶超传统目标检测。     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。     

基于场景与话题的聊天型人机会话系统

人机会话在自然语言处理乃至人工智能领域中起着重要标志性作用，可根据使用目的划分为问答系统、任务型会话、聊天系统等，其中聊天型会话通常具有更高的拟人需求。该文在基于长短期记忆网络的序列变换模型基础上，通过引入话题网络显式抽取会话中的场景与话题信息，并将这种不随语序变化的高层抽象信息扩展到会话模型结构中，与注意力机制共同指导解码预测过程。由于难以事先获取话题信息，话题网络被建模为非监督式学习模型，因此训练过程需分三步进行。实验结果表明，在恰当的训练方法和结构参数下，该模型能够使聊天会话的质量得到明显提升。     

采用最小二乘转换的在线SSVEP字符输入系统设计与实现

针对SSVEP-BCI系统信息传输率高、鲁棒性强，当前基于有训练分类算法的SSVEP-BCI系统需要较长时间采集训练数据，而基于无训练算法的系统难以满足实时性要求的问题，提出只需少量训练数据的高效在线字符输入系统，实现了快速准确的字符输入。该方法利用最小二乘转换技术进行跨被试迁移学习，并使用FoMSFA和多频率学习技术进行频率识别。使用者仅需进行2组训练数据采集，即可在1.96 s内实现单字符快速准确地在线输入。对15名受试者执行有提示字符输入，平均准确率和信息传输率分别为79.3%和161.9 bit/min；10名受试者执行无提示字符输入，平均准确率和信息传输率分别为80.0%和163.5 bit/min的实验。迁移学习技术和高效SSVEP识别算法的结合，为在线SSVEP-BCI系统的发展提供了新思路。