基于PPYOLOE的师生互助训练半监督目标检测网络

随着深度学习技术的发展,基于卷积神经网络的目标检测技术成为当前计算机视觉领域的研究热点之一.目前主流的目标检测算法依赖于监督学习方式,需要在大量有标注图像数据上训练网络,然而,无标签的数据易于获取,而有标签的数据收集起来通常很困难,标注也耗时和耗力．为了解决数据标注难以获取的问题,提出了教师学生互助训练的半监督目标检测(PPYOLOE-SSOD)算法．首先,同时训练一个学生模型和逐渐改进的教师模型,使用教师模型筛选高质量伪标签,将伪标签作为未标注图像的回归目标,指导学生模型训练,挖掘未标注图像的知识信息,为了减小参数传递的不稳定性,每次迭代学生模型使用指数移动平均方法更新教师模型参数;此外,引入不同种类的半监督数据增强方法来增强网络的抗干扰能力;最后,针对无标注数据的学习,新增无监督学习分支,使用密集学习方式对模型预测得到的特征进行处理,通过对教师模型预测的分类特征排序,自动选择高质量特征作为教师模型生成的伪标签,从而避免了繁琐的伪标签后处理,提升网络的精度和训练速度．在MSCOCO数据集上,通过使用半监督学习方法,PPYOLOE在1%、5%、10%的标注数据集上分别得到了1.4%、1...     

视觉-语言多模态预训练模型前沿进展

近年来,多模态预训练学习在视觉-语言任务上蓬勃发展。大量研究表明,多个模态特征的表征学习预训练有利于视觉-语言下游任务的效果提升。多模态表征预训练旨在采用自监督的学习范式,包括对比学习,掩码自监督等,在大规模的图文相关性数据上进行训练,通过学习模态自身与模态间的知识先验,使模型获得通用的、泛化性较强的视觉表征能力。后BERT时代,本文介绍了视觉多模态领域基于Transformer的相关工作;对主流多模态学习方法的发展脉络进行梳理,分析了不同方法的优势和局限性;总结了多模态预训练的各种监督信号及其作用;概括了现阶段主流的大规模图像-文本数据集;最后简要介绍了几种相关的跨模态预训练下游任务。     

BiGRU结合注意力机制的文本分类研究

随着信息时代的发展,文本包含的信息量越来越多,而同一段文本可以隶属于不同的类别,为了提升多标签文本分类任务的准确率,提出了一种基于ALBERT预训练、双向GRU并结合注意力机制的改进的多标签文本分类模型——BiGRU-Att模型.在百度发布的中文事件抽取数据集上进行实验,该模型的识别准确率达到了99.68％,相对比较组的BiLSTM-Att、LSTM-Att、BiGRU、BiLSTM、LSTM等模型的测试结果,准确率更高,性能更优.实验结果表明,改进的BiGRU-Att模型能有效提升多标签文本分类任务的准确率.     

基于机器阅读理解的中文司法实体识别优化策略研究

针对中文司法领域信息抽取数据集中实体专业性较强、现有机器阅读理解(MRC)模型无法通过构建问句提供充足的标签语义且在噪声样本上表现不佳等问题,本研究提出了一种联合优化策略。首先,通过聚合在司法语料中多次出现的实体构建司法领域词典,将专业性较强的实体知识注入RoBERTa-wwm预训练语言模型进行预训练。然后,通过基于自注意力机制来区分每个字对不同标签词的重要性,从而将实体标签语义融合到句子表示中。最后,在微调阶段采用对抗训练算法对模型进行优化,增强模型的鲁棒性和泛化能力。在2021年中国法律智能评测(CAIL2021)司法信息抽取数据集上的实验结果表明：相较于基线模型,本研究方法F1值提高了2.79%,并且模型在CAIL2021司法信息抽取赛道中获得了全国三等奖的成绩,验证了联合优化策略的有效性。     

基于提示学习的文本隐式情感分类

随着监管不断加强，人们表达方式逐渐由直白向隐晦演进，情感分析任务变得更为困难。针对用于情感分析的预训练语言模型和微调阶段模型在处理包含隐式情感文本时遇到的巨大困难，本文提出了一种基于提示学习模型（一种弥合了预训练模型和微调阶段模型的模型）和类别差异化损失的方法ImplicitPrompt，将隐式的情感显式化，区分不同情感标签的距离，提升隐式情感分类的准确率。在英文方面级情感分类标准数据集上进行实验的结果表明，本文模型在标准监督设置下和低资源设置下均能在文本隐式情感分类中取得最佳效果。     

基于RoBERTa-RCNN和注意力池化的新闻主题文本分类

针对中文新闻主题因缺乏上下文信息而造成语义模糊和用词规范性不高的问题，提出一种基于RoBERTa-RCNN和多头注意力池化机制的新闻主题文本分类方法。利用数据增强技术对部分训练数据进行回译处理，再通过自编码预训练模型和RCNN对文本进行初步和深度的特征提取，并结合多头注意力思想改进最大池化层。该方法采用融合机制，改善了RCNN中最大池化策略单一和无法进行动态优化的缺陷。在三个新闻主题数据集上进行实验，使用更适用于新闻主题分类的Mish函数代替ReLU函数，并利用标签平滑来解决过拟合问题。结果表明，所提方法相比传统分类方法效果突出，并通过消融实验验证了模型在分类任务上的可行性。     

基于带噪预训练的刑期预测方法

刑期预测模型利用自然语言处理技术自动预测当前案件的建议刑期,对提高司法工作效率,维护司法审判的公平与公正,以及实现同案同判具有重要意义。现有的研究通常采用基于预训练语言模型的方法进行刑期预测建模,但由于存在裁判文书文本较长、专业性强及部分案由标注数据不足等问题,刑期预测任务依然具有较强的挑战性。针对上述问题,本文提出了基于带噪预训练的刑期预测方法。首先,根据刑期预测任务的特点,设计了融合罪名信息的刑期预测模型;其次,结合遮蔽语言模型(Masked Language Model,MLM)任务和自蒸馏策略减少刑期预测任务预训练数据中噪声的影响;最后,改进RoBERTa-wwm模型中的位置嵌入,增强模型的长文本建模能力。实验结果表明,本文提出的预训练方法能够极大地提升刑期预测任务的准确率,在小样本条件下也具有很好的表现。     

基于预训练模型和图神经网络的藏文文本分类研究

在少数民族语言信息处理领域，由于文本分类标注数据的稀缺，相关研究工作进展缓慢.为了充分利用有限的标注数据，更有效地挖掘出文本之间的关系，本文对藏文提出一种基于预训练模型和图卷积神经网络的长文本分类方法CINO-GCN.首先利用在实验数据集上经过微调的少数民族多语言预训练模型(Chinese Minority Pretrained Language Model, CINO)得到藏文长文本的初始文档向量和藏文音节向量.然后根据整个数据集范围的音节共现关系与音节和文档间的TF-IDF值来对藏文文本图进行建模.最后将文本图和结点特征一同输入至图卷积神经网络(graph convolutional networks, GCN)层，得到的文档表示经过Softmax得到分类结果.将该方法在公开的TNCC藏文新闻文本分类数据集上与当前几种主流的深度学习模型进行了多组对比实验，分类准确率达到73.51%,远优于其他基线模型；同时设计了消融实验验证模型各部分对分类结果的增益.实验结果表明，该文提出的模型能够结合预训练词向量和图神经网络的优势，显著提高藏文文本分类的准确率.     

基于数据增强的多层次论点立场分类方法

本文旨在研究论点抽取技术，该技术的目的在于识别、抽取和分析文本信息中的论辩成分与结构。通过从若干句子中提取与辩题相关的论点，并判断该论点的立场为支持或反对，来完成对论辩事实文本的智能分析。以往的研究主要基于卷积神经网络和循环神经网络等深度学习模型，网络结构简单，无法从论辩中学习到更深层次的特征。为学习到论辩文本中更丰富的语义信息来对论辩立场进行分类，本文提出一种增强的RoBERTa模型EnhRoBERTa。该模型以预训练语言模型RoBERTa为基础，充分利用多层次的多头注意力机制，并且提取浅层和深层语义表示进行融合，从多个特征维度进一步理解论点和辩题之间的关系，完成对论点的立场分类。然而，考虑到论点对立场的分布不均衡问题，本文采用数据增强技术，增强对少样本的学习能力。在CCAC2022比赛数据集上的实验结果表明：本文模型相较于基线模型可以提取到更丰富的文本特征，取得61.4%的F1-score,比未使用预训练的基线模型TextCNN和BiLSTM提高约19个百分点，比RoBERTa提高3.8个百分点。     

基于对比自监督的遥感图像场景分类

基于视觉Transformer的自监督模型掩码自编码器因其优秀的全局特征捕捉能力，被广泛应用于遥感图像分类领域。但该模型存在图像重建训练时局部上下文语义信息易丢失从而限制其分类精度的进一步提升。针对以上问题，本文提出了融合掩码重建和对比学习的三阶段自监督遥感图像分类新模型——对比掩码自编码器。第一阶段进行掩码重建预训练，以提取遥感图像全局特征；第二阶段则通过对比学习中的正负样本补充第一阶段掩码建模过程中丢失的局部上下文信息；最后通过训练线性分类器完成特征分类。在公开遥感图像数据集AID和NWPU-RESISC45上将本文方法与主流自监督分类方法、监督分类方法进行对比实验。实验结果表明，该模型在两个数据集上分类精度分别达到95.37%和95.14%,性能优于DINO、MoCo、SSGANs等主流自监督模型，接近GLANet、CANet、MG-CAP (Sqrt-E)等主流监督模型，具有良好的应用价值。     

相似度增强的译文质量评估方法

机器翻译的质量评估作为不依赖参考译文而预测翻译质量的任务，在机器翻译领域中起到了重要的作用.相较于机器翻译，质量评估的数据资源非常稀缺，将跨语言预训练模型应用到该任务中，不但能受益于从大规模语料中学习到的跨语言知识，解决数据量不足的问题，而且极大地节约了计算资源.但与建立跨语言预训练模型采用的正常数据不同，译文质量评估面对的是正常的源端文本和错误程度不同的目标端文本，即它需要应对更大的两端语义差异.因此，本文为基于跨语言预训练模型的译文质量评估系统引入了特殊的语义关联处理层，通过相似度增强的拼接机制来增强原文与译文的语义关联性，从而提高质量评估的准确性.该方法在WMT19质量评估任务数据集上的实验结果验证了上述方法的有效性.     

基于序列到序列模型的法律问题关键词抽取

传统的关键词抽取算法不能够抽取那些没有在文本当中出现过的关键词,因此在抽取法律问题(短文本)的关键词任务上效果不佳。该文提出了一种基于强化学习的序列到序列(seq2seq)模型来从法律问题中抽取关键词。首先,编码器将给定法律问题文本的语义信息压入一个密集矢量;然后,解码器自动生成关键词。因为在关键词抽取任务中,生成的关键词的前后顺序无关紧要,所以引入强化学习来训练所提出的模型。该模型结合了强化学习在决策上的优势和序列到序列模型在长期记忆方面的优势,在真实数据集上的实验结果表明,该模型在关键词抽取任务上有较好的效果。     

预训练模型的跨领域跨任务迁移学习

为了解决计算机深度学习时标注数据工作量大、准确度不高、耗时耗力等问题,需要将预先训练好的模型中的数据进行跨领域跨任务迁移学习。基于对不同数据集的迁移效果的研究,试验时将视觉领域中表现良好的ImageNet预训练模型迁移到音频分类任务,通过剔除无声部分、统一音频长度、数据转换和正则化处理这4个步骤,采用经典图像增强和样本混淆两种数据增强方法,以5种不同的方式训练数据集,实验证明:ImageNET目标训练模型的跨领域迁移学习效果显著,但源领域的模型效果和目标领域的最终效果并没有必然联系,且使用同领域相似数据分布的数据集的预训练效果比ImageNet上的预训练效果更差。     

基于自监督学习的文本行人检索

基于文本的行人检索任务旨在以文本为查询在大规模数据库中检索出目标行人的图像，在处理社会公共安全问题中具有较高的实用价值．不同于常规的跨模态检索任务，该任务中所有的类别都是行人，不同行人之间的外观差异较小，难以辨别；此外由于拍摄条件的限制图像质量通常较差，因此如何有效地提取更鲁棒、更具有判别性的视觉特征是该任务的一项重要挑战．为了应对这一挑战，设计了一种基于自监督学习的文本行人检索算法，以多任务学习的形式将自监督学习与基于文本的行人检索任务相结合，对两种任务同时进行训练，共享模型参数．其中，自监督任务作为辅助任务，旨在为行人检索任务学习到更鲁棒、更具有判别性的视觉特征．具体来说，首先提取视觉和文本特征，并以图像修复作为自监督任务，旨在学习更丰富的语义信息，且对遮挡数据具有更好的鲁棒性；基于行人图像的特殊性，进一步设计了一种镜像翻转预测任务，通过训练网络预测图像是否经过了镜像翻转学习具有判别性的细节信息，以帮助行人检索任务更好地区分难分样本．在公开数据集上进行的大量实验证明了该算法的先进性和有效性，将行人检索的Top-1准确率提升了2.77%，并且实验结果显示两种自监督任务存在一定的互补性...     

一种面向非平衡生物医学数据的自训练半监督方法

生物医学复杂关系提取已经成为文本挖掘领域的焦点,而用于训练预测模型的注释语料库高度非平衡,且大多是针对单个注释语料库训练的监督模型,极大地限制了系统性能。因此,提出一种显著空间SVM自训练半监督学习方法,通过平衡初始模型诱导未标签训练数据,将领域知识纳入事件提取模型,识别多数类子集,构建预测模型。通过设计实验评估证明了训练语料库的有效性。     

基于自注意力与分段卷积神经网络的实体关系抽取

远程监督通过已有知识库的关系三元组和自然语言文本语料库进行启发式匹配,获得数据来完成关系抽取任务,解决有监督学习方法完全依赖人工标注数据的问题,但远程监督数据中会存在大量噪声关系标签.针对以上问题,提出了一种结合自注意力机制和分段卷积神经网络的实体关系抽取模型SAPCNN,首先通过自注意力机制捕获词与词之间的全局相关性...     

结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果，但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力，使模型做到单词和短语级别的控制生成，但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式：单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力，句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合，使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明，本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.     

基于关系模式与深度强化学习的DS数据去噪模型

远程监督(Distant Spervision，DS)数据集中存在大量错误标注的数据，而现有的DS数据集去噪方法通常只考虑针对具有标签的数据进行去噪，没有充分利用无标签数据，导致去噪效果不佳。本文提出一种新型DS数据去噪模型——Pattern Reinforcement Learning Model (PRL模型)：首先利用基于关系模式的正样例抽取算法提取DS数据集中高质量的有标签数据；然后利用Filter-net作为分类器，提取DS数据集中高质量的无标签数据；最后将高质量的有标签数据和无标签数据作为深度强化学习(Reinforcement Learning，RL)方法的训练数据集，获得去噪效果更好的远程监督数据集。将PRL模型应用于New York Times(NYT)数据集，并以去噪后的数据集来训练PCNN+ONE、CNN+ATT、PCNN+ATT 3个模型。实验结果表明，经过PRL模型对数据集进行去噪后，这些模型的性能得以提升。因此，PRL模型是一种轻量的数据去噪模型，可以提升基于深度神经网络模型的性能。     

融合对抗训练和胶囊网络的食品安全关系抽取模型

为解决食品安全领域关系抽取数据集体量小且关系种类复杂,普通网络模型无法充分进行特征学习的问题,提出了一种融合对抗训练（Adversarial Training）和胶囊网络（Capsule Network）的食品安全领域关系抽取模型GAL-CapsNet。该模型使用双向长短期记忆网络提取文本序列的全局特征,并通过胶囊网络的动态路由机制获取高层次的局部特征,具有较强的特征提取能力,同时在嵌入层加入对抗训练提升模型的鲁棒性,从而有效提高了关系抽取任务的效果。在本文所用的食品安全领域数据集上的实验结果显示：对比其他深度神经网络方法,GAL-CapsNet在关系抽取任务中的精确率、召回率和F1值均有明显提升,分别达到了85.91%、82.82%、84.33%,证明了模型在食品安全领域数据集上的有效性。     

基于深度文本摘要的开源软件缺陷挖掘研究

软件缺陷（Software Defeat/Bug）对于用户体验影响巨大，针对软件缺陷的快速定位与修复是软件工程领域一项重要研究内容。开源软件构建过程中会产生大量软件相关文本，为结合自然语言处理技术进行软件缺陷定位提供了可能。相关研究主要结合信息抽取工具对软件相关文本进行挖掘，对于文本相关的语义信息考虑较少。文章将预训练语言模型引入软件缺陷报告挖掘研究中以增强软件相关文本的语义理解，在分析开源软件文本特点基础上，提出一种基于预训练自然语言模型的深度文本摘要模型。在Summary DataSet(SDS)、Authorship DataSet(ADS)数据集上进行实验，结果表明本文提出的模型可达到约72%(ADS)准确率，与文本摘要常用基线模型相比有10%以上提升。