结合原型网络的远程监督命名实体识别方法

针对利用远程监督标注文本实体过程中存在实体类别标注错误问题导致模型难以有效区分各实体的类别特征，影响模型精准度的问题，本文提出一种利用原型网络过滤训练语料中标注错误样本的远程监督命名实体识别方法，利用预训练的原型网络编码正确标注实体生成类别原型表示，过滤语料中距类别原型较远的样本.实验表明，使用原型网络有效地提高了语料的标注质量，提升了模型性能.     

面向低资源场景的论辩挖掘研究

由于论辩挖掘任务的复杂性，其往往需要大规模的相关语料进行训练；但当前的研究工作大多是针对单一领域数据进行建模求解，在数据较为匮乏的新兴领域中，论辩挖掘任务难以开展。因此，提出了一种面向低资源场景的多任务学习的论辩挖掘方法。该方法首先通过卷积神经网络（CNN）和高速神经网络（Highway）对原文本的字符信息进行编码，获得多个数据集在词级的共享信息表示，然后由双向的有序神经元-长短时记忆循环神经网络（Bi-ON-LSTM）进一步处理词级信息和任务相关特征的联合表示,挖掘文本中潜藏的层级结构信息。最后使用条件随机场（CRF）对模型进行求解得到最终的序列标注结果。该文实验采用德国UKP实验室的学生论文数据集、维基百科文章等六个数据集进行相关的对比实验。实验结果表明，该文提出的方法在宏观F1值上较基准模型有1%-2%的提升，有效地提升模型的整体性能。     

HLMGAN:分层学习的多奖励文本生成对抗网络

文本生成是自然语言处理的一项重要任务. 针对生成的文本大多缺乏多样性，且当生成文本过长时，文本生成的质量会有明显下降的问题，提出了一种采用Sentences and Words（SW）奖励机制的传递向量文本生成对抗网络. 首先，为生成器提出了层次结构设计，包括传递特征向量训练模块和生成向量训练模块，同时传递判别模型中真实文本特征向量给生成器的传递特征向量训练模块，由此来提高长文本生成的准确率，生成向量训练模块接收其生成词序列；然后，在训练过程中，使用关系存储核心代替传统的长短期记忆循环神经网络模型作为生成器，提高了模型的表达能力和捕获信息的能力；最后，采用SW奖励机制提高文本生成的多样性. 实验结果表明，分层学习的多奖励文本生成对抗网络（Generation Adversarial Network Based on Hierarchical Learning with Multi-reward Text，HLMGAN）模型在合成数据负对数似然度和双语互译质量评估辅助工具指标中均有所提升.     

基于知识辅助的图像描述生成

为给定图像自动生成符合人类感知的描述语句是人工智能的重要任务之一。大多数现有的基于注意力的方法均探究语句中单词和图像中区域的映射关系,而这种难以预测的匹配方式有时会造成2种模态间不协调的对应,从而降低描述语句的生成质量。针对此问题,本文提出一种文本相关的单词注意力来提高视觉注意力的正确性。这种特殊的单词注意力在模型序列地生成描述语句过程中强调不同单词的重要性,并充分利用训练数据中的内部标注知识来帮助计算视觉注意力。此外,为了揭示图像中不能被机器直接表达出来的隐含信息,将从外部知识图谱中抽取出来的知识注入到编码器—解码器架构中,以生成更新颖自然的图像描述。在MSCOCO和Flickr30k图像描述基准数据集上的实验表明,本方法能够获得良好的性能,并优于许多现有的先进方法。     

基于主题约束的篇章级文本生成方法

针对计算机自动生成的文本缺乏主题思想这一问题, 提出一种基于主题约束的篇章级文本自动生成方法。该方法围绕用户输入的主题描述语句提取若干主题词; 然后对主题词进行扩展和主题聚类, 形成文章主题规划; 最后利用每个聚类中的关键词信息约束每个段落的文本生成。该模型从文本主题分布、注意力评分方法和主题覆盖生成3个方面对现有基于注意力机制的循环神经网络文本生成模型进行了改进。在3个真实数据集上分别与Char-RNN, SC-LSTM和MTA-LSTM基准模型进行对比, 并对3个方面的改进进行独立验证。实验结果表明, 所提方法在人工评判和BLEU自动评测上均优于基准模型, 生成的文本能更好地贴合主题。     

结合Transformer模型与深度神经网络的数据到文本生成方法

数据到文本的生成是指从结构化数据生成连贯文本的一种自然语言处理方法。近年来,由于端到端训练的深度神经网络的应用,数据到文本生成的方法显示出了巨大潜力。该方法能够处理大量数据自动生成连贯性文本,常用于新闻写作、报告生成等场景。然而,已有研究中对于数据中具体数值、时间等数据信息的推理存在较大缺陷,无法充分利用数据间的结构信息给出合理的生成指引,并且生成过程容易出现语义与句法分离训练的问题。因此,文中提出一种结合Transformer模型与深度神经网络的数据到文本生成方法,并提出一个用于内容规划的Transformer Text Planning(TTP)算法,有效地解决上述问题。在Rotowire公开数据集上进行方法验证,实验结果表明,文中方法性能优于已有数据到文本生成模型,可直接应用于结构化数据到连贯性文本的生成任务中,具有一定的实际应用价值。     

基于双语信息和神经网络模型的情绪分类方法

文本情绪分类是自然语言处理研究中的一项基本任务.目前,已有的文本情绪分类研究大都在单语语料上进行,存在已标注样本不足、分类文本较短、信息量少等问题.为了解决上述问题,提出了一种基于双语信息和神经网络模型的情绪分类方法.首先,利用机器翻译工具对源语料进行翻译得到翻译语料;其次,将对应语言的语料进行合并,得到两组不同语言的语料;最后,将文本分别使用源语言和翻译语言进行特征表示,建立双通道长短期记忆(long short-term memory,LSTM)网络模型融合两组特征,并构建情绪分类器.实验结果表明该方法能够稳定提升文本情绪分类的性能.     

基于三元训练的跨领域依存句法分析

基于大规模领域内标注数据训练的句法分析模型在领域外数据上测试时,性能会急剧下降.导致该现象的原因之一是缺乏高质量的目标领域标注数据.由于人工标注数据耗时耗力,自动生成目标领域标注数据是一种有效的解决方法.其中,三元训练(tri-training)作为一种典型的多模型决策协同训练方法,旨在利用多个模型的预测结果来保证自动标注数据的质量.本文针对跨领域依存句法分析任务,系统比较了3种常用的tri-training方法,在NLPCC-2019评测数据集上取得了目前最佳的性能,并大幅度超过了目前最好结果.此外,还设计了详细的分析实验以深入理解跨领域模型性能下降的原因以及tri-training所起的作用.     

面向非结构化文本的开放式实体属性抽取

从非结构化文本中抽取给定实体的属性及属性值,将属性抽取看作是一个序列标注问题.为避免人工标注训练语料,充分利用百度百科信息框(Infobox)已有的结构化内容,对非结构化文本回标自动产生训练数据.在得到训练语料后,结合中文特点,选取多维度特征训练序列标注模型,并利用上下文信息进一步提高系统性能,进而在非结构化文本中抽取出实体的属性及属性值.实验结果表明:该方法在百度百科多个类别中均有效;同时,该方法可以直接扩展到类似的非结构化文本中抽取属性.     

基于正则约束的分层仿射图神经网络文本分类模型

文本分类是自然语言处理中一个重要的研究课题。近年来，图神经网络（graph neural network，GNN）在这一典型任务中取得了良好的效果。目前基于图结构的文本分类方法存在边噪声和节点噪声干扰、缺乏文本层次信息和位置信息等问题。为了解决这些问题，提出了一种基于正则约束的分层仿射图神经网络文本分类模型Text-HARC，该模型融合了图注意力网络（graph attention network，GAT）与门控图神经网络（gated graph neural network，GGNN），引入正则约束过滤节点与边噪声，分别使用仿射模块与相对位置编码补充词语表示。通过实验，该方法在TREC、SST1、SST2、R8四个基准数据集上的准确率提升明显，消融实验结果也验证了该方法的有效性。     

基于外部知识筛选的主题文本生成技术研究

在自然语言生成任务中，主题文本生成是一项富有挑战性的工作，其主要难点在于：源信息量远小于目标生成的信息量.为了解决该问题，本文提出一个基于外部知识筛选的主题文本生成模型Trans K，通过引入与主题词相关的外部知识来丰富源信息，进而提高生成文本的质量.本文为了解决引入外部知识的“一词多义”问题，提出一种基于线性变换的主题向量计算方法，用于筛选和主题词语义一致的外部知识；提出一种基于注意力机制的外部权重计算方法，为每个外部词设定一个主题权重，使其更贴合文本语义；为了解决主题词（含候选词）在生成文本中反复出现的问题，提出一种基于多头注意力机制的内部权重计算方法.在EASSY数据集上的实验表明，与基线相比，Trans K生成文本质量的各项指标更优.此外，人类评估表明，该模型可生成与主题更相关、语言更连贯、且符合语义逻辑的文本.     

一种基于词嵌入模型和卷积神经网络的简化文本分类方法

自然语言处理（Natural Language Processing,NLP）可分为自然语言理解（Natural Language Understanding,NLU）和自然语言生成（Natural Language Generation,NLG）两大类子任务。预训练语言模型和神经语言模型在自然语言理解的整个流程中占据重要地位。本文梳理了文本预训练语言模型的发展流程,并分析当下主流的预训练语言模型以及深度学习模型的不足,基于经典预训练语言模型（Word2Vec）和卷积神经网络分类模型（CNN）,提出一种简化的文本分类模型（Simplified CNN）,在多个情感分析（Sentiment Analysis,SA）基准数据集上进行实验测试,实验结果表明,在文本分类任务上,简单网络可以得到与复杂网络相媲美的分类效果并且运行时间优于复杂网络,与传统的分类模型相比较,在分类效果上表现出了优势。     

无监督的句法可控复述模型用于对抗样本生成

针对使用句法可控的复述生成模型生成对抗样本时模型性能受限于复述平行语料的领域和规模的问题,提出仅需要单语语料训练的无监督的句法可控复述生成模型,用以生成对抗样本.采用变分自编码方式学习模型,首先将句子和句法树分别映射为语义变量和句法变量,然后基于语义变量和句法变量重构原始句子.在重构过程中,模型可以在不使用任何平行语料...     

基于文本图神经网络的小样本文本分类技术研究

为了解决文本图神经网络小样本文本分类精度较差的问题,设计了基于文本图神经网络的原型网络,采用预训练语言模型,利用文本级图神经网络为每个输入文本构建图并共享全局参数,将文本图神经网络的结果作为原型网络的输入,对未标注文本进行分类,并验证新模型在多个文本分类数据集上的有效性。实验结果表明,与需要大量标注文档的监督学习方法相比,所采用的方法未标注文本的分类精度提高了1%～3%,在多个文本分类数据集上验证了新模型性能先进,内存占用更少。研究结果可为解决小样本文本分类问题提供参考。     

采用生成对抗网络的金融文本情感分类方法

针对目前金融领域文本存在标注资源匮乏的问题,提出一种基于生成对抗网络的金融文本情感分类方法. 该方法以边缘堆叠降噪自编码器生成鲁棒性特征表示作为输入,在生成对抗过程中,通过向文本表示向量添加噪声向量再生成新样本,应用对抗学习思想优化文本特征表示. 在公开的跨领域情感评论Amazon数据集和金融领域数据集上进行实验,并与基准实验对比,结果表明,该方法在平均准确率上有显著提升.     

基于认知心理学模型的自动文本摘要生成技术

自动文本摘要生成(ATS)与计算机科学和认知心理学密切相关.提出了一个自动文本摘要生成系统(EI-ATS).该系统借助句法和词法分析,将认知心理学中的事件-索引(Event-indexing)模型运用到自动文本摘要生成.评价结果表明:该系统在多文件摘要生成方面表现良好,成为整合两个相异但相关领域知识的研究范例.     

文本分类的字典生成

为了提高系统处理开放语料的能力和解决一个概念可由多个不同的单词表达的问题，该文引入义类的概念，设计出一个具有模拟推理功能，同时具有对向量维数进行语义压缩的字典生成算法，构造了一个图结构的字典。利用该字典，可以提高文本分类系统的性能，改善系统的模拟推理能力以及系统的效率。     

基于混合判别受限波兹曼机的音乐自动标注算法

对于音乐自动标注任务,在很多情况下,未标注的歌曲量远远超过已标注的歌曲数据,从而导致训练结果不理想。生成模型能够在某种程度上适应少量数据集的情况,得出较为满意的结果,然而,在有充分数据集的情况下生成模型的效果却劣于判别模型。本文提出了一种结合生成模型与判别模型两者优势的面向音乐自动标注的混合判别波兹曼机模型,该模型可明显提升音乐自动标注的准确率。实验结果表明,混合波兹曼机的效果不仅好于传统的机器学习模型,同时,模型在拥有足够训练数据量的情况下与判别模型效果相当,且在训练集较少的情况下效果也好于判别模型。另外,为了防止模型过拟合,还引入了Dropout规则化方法以进一步加强模型的性能。     

一种人机交互语音切分系统

对于大规模的语音语料,语音切分方法主要有传统的人工切分和机器自动化切分2种方式.人工切分大规模语音语料的切分质量易控制,但效率低、成本高;机器自动化切分效率高,但后期查找切分错误时任务极其繁重.因而提出一种人机交互语音切分系统,切分人员可选择自动切分算法,设置切分参数,修改有问题的自动切分结果,同时可自动生成用于HTK训练的标注文件.以课题组采集的1 000个普米语语音文件为研究对象,以普米语孤立词为切分基元,机器自动化切分存在难以避免的切分错误,后期检查时工作量巨大;然而使用本文提出的人机交互语言切分系统进行切分,切分人员在无需高认知度的情况下也可做到近100%的切分正确率.     

融合序列语法知识的卷积-自注意力生成式摘要方法

针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题，循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题，提出了一种融合序列语法知识的卷积-自注意力生成式摘要方法.该方法对文本构建短语结构树，将语法知识序列化并嵌入到编码器中，使编码时能充分利用语法信息；使用卷积-自注意力模型替换循环神经网络进行编码，更好学习文本的全局和局部信息.在CNN/Daily Mail语料上进行实验，结果表明提出的方法优于当前先进方法，生成的摘要更符合语法规则、主旨更显著且模型的编码速度更快.