融合对比学习的成语完形填空算法

成语完形填空是机器阅读理解（MRC）的一类子任务，旨在测试模型对中文文本中成语的理解和应用能力.针对现有的成语完形填空算法忽视了成语的嵌入向量会出现表征崩溃的现象，并且模型在域外数据上的准确率低，泛化能力较差的问题，本文提出了NeZha CLofTN.该算法由嵌入层、融合编码层、图注意力子网络和预测层等4部分组成.其中融合编码层中利用对比学习迫使网络改变特征提取的方式，避免了网络输出恒定的嵌入向量，从而预防了表征的崩溃；预测层综合多个近义词图子网络的输出，以获得比其中单独的子网络更好的预测性能，增强模型的泛化能力.NeZha ClofTN在ChID Official和ChID Competition数据集上进行了实验验证，准确率分别达到80.3%和85.3%，并通过消融实验证明了各个模块的有效性.     

融合多路注意力机制的语句匹配模型

为了增强语句内关键信息和语句间交互信息的表征能力，有效整合匹配特征，提出一种融合多路注意力机制的语句匹配模型。采用双向长短时记忆网络获取文本的编码信息，通过自注意力机制学习语句内部的关键信息;将编码信息和自注意力信息拼接之后，通过多路注意力机制学习语句间的交互信息;结合并压缩多路注意力层之前和之后的信息，通过双向长短时记忆网络进行池化获得最终的语句特征，经过全连接层完成语句匹配。实验结果表明，该模型在SNLI和MultiNLI数据集上进行的自然语言推理任务、在Quora Question Pairs数据集上进行的释义识别任务和在SQuAD数据集上进行的问答语句选择任务中均表现出了更好效果，能够有效提升语句匹配的性能。     

基于双重匹配注意力网络的观点型阅读理解

提出一种基于双重匹配注意力网络的方法.先用动态匹配机制迭代综合获取全局观点信息,同时利用多维度匹配机制在不同特征空间上计算全局语义信息,然后交互式多路注意力机制通过两路注意力之间的交互计算对上述全局的观点与语义信息进行融合,最后与选项表示结合预测答案的观点倾向.在观点型阅读理解数据集ReCO和Dureader上面的实验表明,该方法相对于基准模型在准确率上提升了1.18%和0.84%,在加权宏F1上提升了1.16%和0.75%.     

基于双重多路注意力匹配的观点型阅读理解

观点型阅读理解旨在对于给定的问题和答案段落摘要,判断答案段落摘要相对于问题的观点倾向。现有基于神经网络的模型主要依靠精心设计的匹配网络来捕获各部分文本之间的关系,往往只考虑单向的匹配关系或是采用单一的交互机制对各个文本对之间的关系进行建模,难以有效捕捉观点型问题中问题和答案段落摘要二者之间的潜在关系。为此,提出一种基于双重多路注意力的匹配方法。该方法对问题,答案段落摘要二元组从2个方向同时进行匹配,并采用多种注意力机制学习二者的协同注意力表示,通过双向多视角的交互为最后的观点推断提供更丰富的推理证据。在观点型阅读理解数据集DureaderOpinion上的实验表明,该方法相对于基准模型取得了更好的效果。     

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

基于段落内部推理和联合问题答案匹配的选择型阅读理解模型

针对当前机器阅读理解方法中仅将问题与段落匹配会导致段落中的信息丢失或将问题和答案连接成单个序列与段落匹配会丢失问题与答案之间的交互,和传统的循环网络顺序解析文本从而忽略段落内部推理的问题,提出一种改进段落编码并且将段落与问题和答案共同匹配的模型.模型首先把段落在多个粒度下切分为块,编码器利用神经词袋表达将块内词嵌入向量求和,其次,将块序列通过前向全连接神经网络扩展到原始序列长度.然后,通过两层前向神经网络建模每个单词所在不同粒度的块之间的关系构造门控函数以使模型具有更大的上下文信息同时捕获段落内部推理.最后,通过注意力机制将段落表示与问题和答案的交互来选择答案.在SemEval-2018 Task 11任务上的实验结果表明,本文模型在正确率上超过了相比基线神经网络模型如Stanford AR和GA Reader提高了9%～10%,比最近的模型SurfaceLR至少提高了3%,超过TriAN的单模型1%左右.除此之外,在RACE数据集上的预训练也可以提高模型效果.     

基于自注意力机制与BiLSTM的短文本匹配模型

现有短文本匹配方法更多关注于句子之间的交互方式,而较少考虑短文本自身关键特征的提取,为此本文提出一个融合自注意力机制和双向长短期记忆网络(BiLSTM)的短文本匹配模型。首先利用BiLSTM和自注意力机制进行特征编码,通过残差连接缓解信息丢失问题;然后利用双向注意力网络进行特征交叉,得到考虑了两个短文本之间交互影响的编码形式;最后将自注意力编码与双向注意力编码进行拼接,既能保留句子本身的重要特征,又能得到交互的特征信息。在两个公开数据集Quora和MRPC上进行对比实验,结果表明,该模型能有效改善短文本匹配性能,特别是在Quora数据集上的准确率达到87.59%,明显优于其他6种常见的同类模型。     

基于循环交互注意力网络的问答立场分析

针对现有问答立场分析方法未考虑问答文本间交互依赖关系的不足,该文提出一种基于循环交互注意力(recurrent interactive attention,RIA)网络的问答立场分析方法。该方法模拟人类的问答阅读理解机制,采用交互注意力机制和循环迭代策略,结合问题和回答的相互联系分析问答文本的立场信息。此外,为了处理问题文本无法明确表达自身立场的情况,该方法将问题转换为陈述句。在中文社交问答数据集上的实验结果表明,由于有效地表示了问答对依赖关系,本文方法的性能优于已有方法。     

基于双向注意力流和自注意力结合的机器阅读理解

机器阅读理解(Machine Reading Comprehension,MRC)一直是自然语言处理(Natural Language Processing,NLP)领域的研究热点和核心问题.近期,百度开源了一款大型中文阅读理解数据集DuReader,旨在处理现实生活中的RC(Reading Comprehension)问题.该数据集包含1000k的文本、200k的问题和420k的答案,是目前最大型的中文机器阅读理解数据集,在此数据集上发布的阅读理解任务比以往更具有实际意义,也更有难度.针对该数据集的阅读理解任务,分析研究了一种结合双向注意力流与自注意力(self-attention)机制实现的神经网络模型.该模型通过双向注意力流机制来获取query-aware上下文信息表征并进行粒度分级,使用自注意力机制捕捉文本和问题句内的词语依赖关系和句法信息,再通过双向长短期记忆(Long Short-Term Memory,LSTM)网络进行语义信息聚合.实验结果最终得到相同词数百分比(BLEU-4)为44.7%,重叠单元百分比(Rouge-L)为49.1%,与人类测试平均水平较为接近,证明了该模型的有效性.     

基于BERT和多头注意力的中文命名实体识别方法

针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题，提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注，提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明，改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明，BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition，NER)任务。     

面向规范性文件的基于BERT的文本纠错模型

针对行政规范性文件的文本纠错任务,提出了基于BERT(Bidirectional Encoder Representations from Transformers)的文本纠错模型,模型针对冗余、缺失、错序、错字四类任务分别建模,分为检错和纠错两个阶段。检错阶段检查出文本是否有错、错误的位置以及错误的类型等内容,纠错阶段运用BERT掩码语言模型和混淆集匹配的方法预测文本缺失内容。实验结果表明:新提出的基于BERT的文本纠错模型在行政规范性文件的文本纠错任务中的F1值为71.89%,比经典的中文文本纠错工具Pycorrector提升了9.48%。     

一种基于融合递归机制的长文本机器阅读理解算法

目前对于机器阅读理解的研究大多都使用预先训练的语言模型如BERT来编码文档和问题的联合上下文信息,相较于传统的RNN结构,BERT模型在机器阅读理解领域取得了显著的性能改进.但是当前基于BERT的机器阅读理解模型由于输入长度有限(最大长度为512),在进行特征提取时,存在一定程度的语义丢失,且不具备建立长距离依赖能力....     

融合BERT中间隐藏层的方面级情感分析模型

现有的基于BERT(bidirectional encoder representations from transformers)的方面级情感分析模型仅使用BERT最后一层隐藏层的输出,忽略BERT中间隐藏层的语义信息,存在信息利用不充分的问题,提出一种融合BERT中间隐藏层的方面级情感分析模型。首先,将评论和方面信息拼接为句子对输入BERT模型,通过BERT的自注意力机制建立评论与方面信息的联系;其次,构建门控卷积网络(gated convolutional neural network, GCNN)对BERT所有隐藏层输出的词向量矩阵进行特征提取,并将提取的特征进行最大池化、拼接得到特征序列;然后,使用双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络对特征序列进行融合,编码BERT不同隐藏层的信息;最后,引入注意力机制,根据特征与方面信息的相关程度赋予权值。在公开的SemEval2014 Task4评论数据集上的实验结果表明：所提模型在准确率和F₁值两种评价指标上均优于BERT、CapsBERT(ca...     

初中英语阅读理解教学初探

随着外语教改体系的发展，阅读理解在整个英语教学中具有非常重要的地位和作用，它不仅是《初中英语教学大纲》规定的教学目的与任务，而且是培养学生自学和检验他们英语综合素质的手段之一。近几年来，阅读理解（阅读后回答问题、完形填空、任务型阅读）在中考中几乎占卷面的50％左右。     

多注意力机制BERT分类模型及其在电力运维中的应用

为了提高变换网路中双向编码表示(bidirectional encoder representations from transformers,BERT)在文本分类中的应用效果，针对基于BERT的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题，提出了一种基于多注意力机制的BERT分类模型。对BERT模型框架中后四层的每一层输入向量，设计词向量注意力机制，捕捉向量表中每一个词的重要性;对得到的BERT模型框架中后四层，设计层向量注意力机制，将这四层上由自适应权重计算得到的每一层输出向量进行融合，获得最终的BERT模型输出向量，更好地提升模型的特征抽取能力。在公开数据集IMDB和THUCNews上的实验表明，提出的模型相较于其他基线模型性能有明显提升。在电力系统运维项目管理的实际应用中，该模型也取得了比基线模型更好的效果，较好地解决了电力运维规模预测混乱问题。     

面向《方志物产》的自动断句深度学习模型构建研究北大核心CSCDCSSCI

古汉语文本信息处理和语义理解一直是自然语言处理领域的重难点之一,而断句又是语义理解中的基础任务。传统的机器学习方法解决古汉语断句问题需要基于大量的专业标注语料,过程繁琐,效果不佳。本文基于已有的BERT模型,在《四库全书》中文繁体版全文数据集的基础上构建了SikuBERT预训练模型,并将该模型迁移到《方志物产》数据中,完成了在不同数据集上的古汉语自动断句实验,实验最优F值为77.23%,比基础的BERT模型断句效果高出10.3个百分点。实验结果表明,SikuBERT模型具有较好的古汉语断句效果,且在有一定关联性数据集合中的迁移性较好。     

一种采用机器阅读理解模型的中文分词方法

针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器（BERT）进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明：所提方法的F₁分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。     

机器阅读理解技术及应用研究

机器阅读理解是利用算法让计算机理解文章语义并回答用户提出的问题,同时可以衡量机器对自然语言理解的能力.以机器阅读理解的技术与应用场景为研究目标,完成机器阅读理解任务的定义,并概述该任务在国内外的研究现状.文章首先对当前机器阅读理解任务所采用深度学习模型进行研究,具体包括注意力机制模型、预训练模型和推理模型,从而进一步梳...     

基于BERT与主题模型联合增强的长文档检索模型

尽管将BERT运用在Ad-hoc文档检索领域能够提升任务精确度,但也存在两个显著缺陷：第一,由于BERT存在输入限制,对长文档进行截断会导致文档信息丢失;第二,Ad-hoc文档检索任务的数据集中存在相当数量的领域特定词,而BERT不能较好地学习这些特定词的特征.而利用LDA主题模型不存在输入限制,可以表示完整的语义信息的优点,将其引入联合增强模型,且对文档中的领域特定词及语义内涵进行学习表征,弥补了BERT模型的不足.为此提出RWT-BERT联合增强模型通过对BERT和LDA主题模型的表征构建交互网络,对查询语句和长文档进行更深层次的特征挖掘.实验结果表明：该模型在3个数据集的主要指标上都有不同程度的提升,尤其在Core17数据集上,与目前效果最好的句子级Ad-hoc文档检索模型Birch相比,nDCG@20指标提高了4.01%.     

基于RoBERTa和对抗训练的中文医疗命名实体识别

BERT(Bidirectional Encoder Representations from Transformers)和神经网络模型相结合的方法目前已被广泛应用于中文医疗命名实体识别领域。但BERT在中文中是以字为粒度切分的，没有考虑到中文分词。而神经网络模型往往局部不稳定，即使微小的扰动也可能误导它们，导致模型的鲁棒性差。为了解决这两个问题，提出了一种基于RoBERTa(A Robustly OptimizedBERTPre-trainingApproach)和对抗训练的中文医疗命名实体识别模型（ATRBC）。首先，使用RoBERTa-wwm-ext-large(ARobustlyOptimizedBERTPre-training Approach-whole word masking-extended data-large)预训练模型得到输入文本的初始向量表示；其次，在初始向量表示上添加一些扰动来生成对抗样本；最后，将初始向量表示和对抗样本一同依次输入双向长短期记忆网络和条件随机场中，得到最终的预测结果。在CCKS 2019数据集上的实验结果表明，AT-RBC模型的F1值达到了...