中文机器阅读理解的鲁棒性研究

为了更好地评价阅读理解模型的鲁棒性,基于Dureader数据集,通过自动抽取和人工标注的方法,对过敏感、过稳定和泛化3个问题分别构建测试数据集.还提出基于答案抽取和掩码位置预测的多任务学习方法.实验结果表明,所提方法能显著地提高阅读理解模型的鲁棒性,所构建的测试集能够对模型的鲁棒性进行有效评估.     

基于注意力机制的机器阅读理解模型研究

机器阅读理解是自动问答领域的重要研究.随着深度学习技术发展,机器阅读理解已逐渐成为实现智能问答的技术支撑.注意力机制能够作为机器阅读理解中抽取文章相关信息而被广泛应用.文章总结了注意力机制发展历程发展原理以及在机器阅读理解模型中的使用方法：(1)介绍注意力机制的衍生过程及其原理;(2)阐述三种注意力机制在机器阅读理解模型中的作用;(3)对三种方法进行对比分析;(4)对注意力机制在机器阅读理解领域的应用进行总结展望.注意力机制可以帮助模型提取重要信息,能够使模型做出更加准确的判断,从而更广泛地运用于机器阅读理解的各项任务中.     

一种采用机器阅读理解模型的中文分词方法

针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器（BERT）进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明：所提方法的F₁分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。     

基于预训练模型与双向注意力流的抽取式阅读理解模型

针对服务机器人的抽取式阅读理解任务中出现答案抽取准确度不高的问题,构建了基于预训练模型与双向注意力流的抽取式阅读理解模型。该模型首先采用预训练模型来提取问题与文档上下文的浅层联合语义表征;其次利用双向注意力网络来加强特征交互和信息融合,得到问题与文档上下文的深层联合语义表征;最后结合浅层和深层的联合语义表征,通过排序、滤错和定位操作完成对答案的抽取。在抽取式问答任务的斯坦福英文机器阅读理解数据集SQuAD 1.1和“讯飞杯”中文机器阅读理解数据集CMRC 2018上进行了实验。结果表明：与英文预训练语言模型BERT相比,该模型的性能指标E_M和F1值分别提高了1.172%和1.194%;与中文预训练语言模型RoBERTa-wwm-ext相比,该模型的E_M和F1值分别提高了1.336%和0.921%。     

基于多段落排序的机器阅读理解研究

针对多段落的机器阅读理解问题,在双向注意力流（BiDAF）模型的基础上,结合双向长短期记忆网络（BiLSTM）和self-attention机制构建了多段落排序BiDAF（PR-BiDAF）模型,利用该模型定位答案所在的段落,然后在预测段落中寻找最终答案的始末位置。实验结果表明,相较于BiDAF模型,本文提出的PR-BiDAF模型的段落选择正确率、BLEU4指标及ROUGE-L指标分别提高了约13%、6%和4%。     

基于机器阅读理解的BiLSTM-BiDAF命名实体识别

命名实体识别是自然语言处理的一项基本任务,对信息提取、机器翻译等具有重要的意义和价值。目前命名实体识别通常使用序列标注方法对文本中单个句子的实体进行抽取,忽略了句子间的语义信息。基于机器阅读理解的命名实体识别方法借助问题编码了实体类别的重要先验信息,更加容易区分出相似的分类标签,降低了模型学习难度,但仍然只在句子级别建模,忽略了句子间的语义信息,容易造成不同句子中实体标注不一致的问题。为此,文中将句子级别的命名实体识别扩展到文本级别的命名实体识别,提出了一种基于机器阅读理解的BiLSTM-BiDAF命名实体识别模型。首先,为了充分挖掘文本的上下文特征,使用NEZHA获取全文语境信息,并进一步通过BiLSTM提取局部特征,以加强模型对局部依赖信息的捕获能力;然后,引入双向注意力机制学习文本与实体类别之间的语义关联;最后,设计基于门控机制的边界检测器加强实体边界的相关关系,预测出实体在文本中的位置,同时通过建立答案数量检测器,将无答案问题识别出来。在CCKS2020中文电子病历数据集和CMeEE数据集上的实验结果表明,文中构建的模型能有效地识别文本中的命名实体,F₁值可分别达到84.76%和57.35%。     

基于段落内部推理和联合问题答案匹配的选择型阅读理解模型

针对当前机器阅读理解方法中仅将问题与段落匹配会导致段落中的信息丢失或将问题和答案连接成单个序列与段落匹配会丢失问题与答案之间的交互,和传统的循环网络顺序解析文本从而忽略段落内部推理的问题,提出一种改进段落编码并且将段落与问题和答案共同匹配的模型.模型首先把段落在多个粒度下切分为块,编码器利用神经词袋表达将块内词嵌入向量求和,其次,将块序列通过前向全连接神经网络扩展到原始序列长度.然后,通过两层前向神经网络建模每个单词所在不同粒度的块之间的关系构造门控函数以使模型具有更大的上下文信息同时捕获段落内部推理.最后,通过注意力机制将段落表示与问题和答案的交互来选择答案.在SemEval-2018 Task 11任务上的实验结果表明,本文模型在正确率上超过了相比基线神经网络模型如Stanford AR和GA Reader提高了9%～10%,比最近的模型SurfaceLR至少提高了3%,超过TriAN的单模型1%左右.除此之外,在RACE数据集上的预训练也可以提高模型效果.     

基于时间卷积网络的机器阅读理解

针对目前机器阅读理解任务中缺乏有效的上下文信息融合方式和丢失文本的整体信息等情况,提出基于时间卷积网络的机器阅读理解模型.首先将文本的单词转化成词向量并加入词性特征;接着通过时间卷积网络获取问题和文章的上下文表示;之后采用注意力机制来计算出问题感知的文章表示;最后由循环神经网络模拟推理过程得到多步预测结果,并用加权和的方式来综合结果得到答案.实验使用了SQuAD2.0数据集,在EM和F1值上相比基准实验分别提升了6.6%和8.1%,证明了该方法的有效性.     

面向中文阅读理解复杂选项分类研究

阅读理解系统是一种特殊的复杂问答系统,问题分析是重要的组成部分,对后续答题起着至关重要的作用。针对高考文学类阅读理解复杂选择题的选项分类进行研究,将选项看作短文本,对选项的类别标签进行了定义,引入依存语义和情感语义等多种特征对选项进行建模,使用多标签分类算法对选项进行分类,在语义层面上为阅读理解选择题的进一步解答奠定基础。     

一种基于显式定位的机器阅读理解方法

大多数机器阅读理解模型是基于具有各种注意力机制的端到端深度学习网络,但此类模型会损失句子级别的语义信息.此外,现有数据集中的问题通常不需要复杂的推理,并且答案仅与背景段落中的少量句子相关.基于此,提出将机器阅读理解模型划分为两层:第一层用于查找段落中与问题相关的句子并生成新的背景段落;第二层则根据减小了规模的段落做进一...     

基于阅读理解的文档级人物属性抽取研究

人物属性抽取旨在从人物介绍中抽取人物的各项属性,如性别、国籍等。已有抽取方法通常由序列标注模型对远程监督数据进行训练从而得到抽取模型,但是用该方式在数据上存在标注不准确和不同属性值重合的问题,在模型上缺少可扩展性和可泛化性能力。为解决此问题,该文提出将任务转化为阅读理解问题,通过阅读人物介绍来对人物属性表进行填写补全。为此,本文构造了一份基于阅读理解的文档级人物属性抽取数据集,并采用了基于Transformer算法的双向编码表征模型-机器阅读理解（BERT-MRC）和基于Transformer算法的双向编码表征模型-条件随机场-机器阅读理解（BERT-CRF-MRC）两种基线模型。研究结果表明BERT-CRF-MRC相比于BERT-MRC在F1值上高三个百分点,BERT-CRF-MRC的试验结果在短文本人物介绍中F1平均值约为92%,在长文本人物介绍中F1平均值约为75%。本文的新构建数据和代码已公开在Github上。     

一种基于融合递归机制的长文本机器阅读理解算法

目前对于机器阅读理解的研究大多都使用预先训练的语言模型如BERT来编码文档和问题的联合上下文信息,相较于传统的RNN结构,BERT模型在机器阅读理解领域取得了显著的性能改进.但是当前基于BERT的机器阅读理解模型由于输入长度有限(最大长度为512),在进行特征提取时,存在一定程度的语义丢失,且不具备建立长距离依赖能力.为了解决这个问题,提出了一种基于BERT-Base的长本文机器阅读理解模型BERT-FRM.通过添加重叠窗口层以更灵活的方式切割输入文本,使用两个BERT模型独立编码问题和文档,并且在模型中添加递归层来传递不同片段之间的信息,赋予模型建立更长期依赖的能力.实验结果表明,BERT-FRM模型与BERT-Base基线模型相比,在TriviaQA和CoQA两个机器阅读理解数据集上的F1值分别提升了3.1%和0.8%.     

谈阅读理解的准确性与阅读速度的关系

阅读理解的准确性和阅读速度是衡量阅读能力最为重要的两个指标,二者之间有着十分密切的关系。本文试图从高等学校英语专业基础阶段阅读课教学的特点和教学实际的要求对阅读理解的准确性与阅读速度的关系以及如何处理好二者之间的关系进行探讨。     

机器阅读理解技术及应用研究

机器阅读理解是利用算法让计算机理解文章语义并回答用户提出的问题,同时可以衡量机器对自然语言理解的能力.以机器阅读理解的技术与应用场景为研究目标,完成机器阅读理解任务的定义,并概述该任务在国内外的研究现状.文章首先对当前机器阅读理解任务所采用深度学习模型进行研究,具体包括注意力机制模型、预训练模型和推理模型,从而进一步梳...     

融合对比学习的成语完形填空算法

成语完形填空是机器阅读理解（MRC）的一类子任务,旨在测试模型对中文文本中成语的理解和应用能力.针对现有的成语完形填空算法忽视了成语的嵌入向量会出现表征崩溃的现象,并且模型在域外数据上的准确率低,泛化能力较差的问题,本文提出了NeZha CLofTN.该算法由嵌入层、融合编码层、图注意力子网络和预测层等4部分组成.其中融合编码层中利用对比学习迫使网络改变特征提取的方式,避免了网络输出恒定的嵌入向量,从而预防了表征的崩溃;预测层综合多个近义词图子网络的输出,以获得比其中单独的子网络更好的预测性能,增强模型的泛化能力.NeZha ClofTN在ChID Official和ChID Competition数据集上进行了实验验证,准确率分别达到80.3%和85.3%,并通过消融实验证明了各个模块的有效性.     

图式理论与阅读理解述略

阅读理解是英语学习中的一个复杂的心理过程,是一种积极主动语言解码和从语言符号中获取信息的过程。然而,传统阅读理解长期以来一直关注字,词,句,段和语法的理解,阅读效果很不尽如人意。本论述中,笔者试图从认知心理学和心理语言学角度出发,研究图式理论,探索图式和阅读理解之间的关系,证实图式理论的运用能有效提高阅读水平。     

文化差异与阅读理解

语言具有明显的文化特征。英语学习者仅从言语的字面意思理解材料是不够的。掌握必要的文化背景知识,了解不同文化之间的差异,懂得言语被赋予的文化意义,才能更好地理解文章。     

基于机器阅读理解的商品属性识别

属性抽取的目标是从非结构化文本中抽取与文本实体相关的属性和属性值,然而在电商场景下基于序列标注的模型缺少应对大规模属性抽取任务的可扩展性和可泛化性能力。本文提出基于阅读理解的商品属性抽取模型,通过额外加入问句来强化模型对属性的理解,结合双仿射注意力机制捕获问句和文本之间的语义特征,进一步提高模型的抽取性能。本文在电商数据集上对不同类型问句和不同解码器进行了对比实验,结果表明本文提出的方法优于多个基线模型,相较于OpenTag和SUOpenTag模型,属性抽取的F1值分别提升7.70%和3.26%,未登录词识别的F1值分别提升15.51%和8.12%。     

基于双重多路注意力匹配的观点型阅读理解

观点型阅读理解旨在对于给定的问题和答案段落摘要,判断答案段落摘要相对于问题的观点倾向.现有基于神经网络的模型主要依靠精心设计的匹配网络来捕获各部分文本之间的关系,往往只考虑单向的匹配关系或是采用单一的交互机制对各个文本对之间的关系进行建模,难以有效捕捉观点型问题中问题和答案段落摘要二者之间的潜在关系.为此,提出一种基于...     

面向自动问答的机器阅读理解综述

人工智能正在深彻地变革各个行业.AI与教育的结合加速推动教育的结构性变革,正在将传统教育转变为智适应教育.基于深度学习的自动问答系统不仅可帮助学生实时解答疑惑、获取知识,还可以快速获取学生行为数据,加速教育的个性化和智能化.机器阅读理解是自动问答系统的核心模块,是理解学生问题,理解文档内容,快速获取知识的重要技术.在过去的几年里,随着深度学习复兴以及大规模机器阅读数据集的公开,各种各样的基于神经网络的机器阅读模型不断涌现.这篇综述主要讲述3方面的内容:介绍机器阅读理解的定义与发展历程;分析神经机器阅读模型之间的优点及不足;总结机器阅读领域的公开数据集以及评价方法.