一种基于融合递归机制的长文本机器阅读理解算法

目前对于机器阅读理解的研究大多都使用预先训练的语言模型如BERT来编码文档和问题的联合上下文信息,相较于传统的RNN结构,BERT模型在机器阅读理解领域取得了显著的性能改进.但是当前基于BERT的机器阅读理解模型由于输入长度有限(最大长度为512),在进行特征提取时,存在一定程度的语义丢失,且不具备建立长距离依赖能力.为了解决这个问题,提出了一种基于BERT-Base的长本文机器阅读理解模型BERT-FRM.通过添加重叠窗口层以更灵活的方式切割输入文本,使用两个BERT模型独立编码问题和文档,并且在模型中添加递归层来传递不同片段之间的信息,赋予模型建立更长期依赖的能力.实验结果表明,BERT-FRM模型与BERT-Base基线模型相比,在TriviaQA和CoQA两个机器阅读理解数据集上的F1值分别提升了3.1%和0.8%.     

基于段落内部推理和联合问题答案匹配的选择型阅读理解模型

针对当前机器阅读理解方法中仅将问题与段落匹配会导致段落中的信息丢失或将问题和答案连接成单个序列与段落匹配会丢失问题与答案之间的交互,和传统的循环网络顺序解析文本从而忽略段落内部推理的问题,提出一种改进段落编码并且将段落与问题和答案共同匹配的模型.模型首先把段落在多个粒度下切分为块,编码器利用神经词袋表达将块内词嵌入向量求和,其次,将块序列通过前向全连接神经网络扩展到原始序列长度.然后,通过两层前向神经网络建模每个单词所在不同粒度的块之间的关系构造门控函数以使模型具有更大的上下文信息同时捕获段落内部推理.最后,通过注意力机制将段落表示与问题和答案的交互来选择答案.在SemEval-2018 Task 11任务上的实验结果表明,本文模型在正确率上超过了相比基线神经网络模型如Stanford AR和GA Reader提高了9%～10%,比最近的模型SurfaceLR至少提高了3%,超过TriAN的单模型1%左右.除此之外,在RACE数据集上的预训练也可以提高模型效果.     

面向自动问答的机器阅读理解综述

人工智能正在深彻地变革各个行业.AI与教育的结合加速推动教育的结构性变革,正在将传统教育转变为智适应教育.基于深度学习的自动问答系统不仅可帮助学生实时解答疑惑、获取知识,还可以快速获取学生行为数据,加速教育的个性化和智能化.机器阅读理解是自动问答系统的核心模块,是理解学生问题,理解文档内容,快速获取知识的重要技术.在过去的几年里,随着深度学习复兴以及大规模机器阅读数据集的公开,各种各样的基于神经网络的机器阅读模型不断涌现.这篇综述主要讲述3方面的内容:介绍机器阅读理解的定义与发展历程;分析神经机器阅读模型之间的优点及不足;总结机器阅读领域的公开数据集以及评价方法.     

机器阅读理解技术及应用研究

机器阅读理解是利用算法让计算机理解文章语义并回答用户提出的问题,同时可以衡量机器对自然语言理解的能力.以机器阅读理解的技术与应用场景为研究目标,完成机器阅读理解任务的定义,并概述该任务在国内外的研究现状.文章首先对当前机器阅读理解任务所采用深度学习模型进行研究,具体包括注意力机制模型、预训练模型和推理模型,从而进一步梳...     

基于多段落排序的机器阅读理解研究

针对多段落的机器阅读理解问题,在双向注意力流（BiDAF）模型的基础上,结合双向长短期记忆网络（BiLSTM）和self-attention机制构建了多段落排序BiDAF（PR-BiDAF）模型,利用该模型定位答案所在的段落,然后在预测段落中寻找最终答案的始末位置。实验结果表明,相较于BiDAF模型,本文提出的PR-BiDAF模型的段落选择正确率、BLEU4指标及ROUGE-L指标分别提高了约13%、6%和4%。     

基于注意力机制的机器阅读理解模型研究

机器阅读理解是自动问答领域的重要研究.随着深度学习技术发展,机器阅读理解已逐渐成为实现智能问答的技术支撑.注意力机制能够作为机器阅读理解中抽取文章相关信息而被广泛应用.文章总结了注意力机制发展历程发展原理以及在机器阅读理解模型中的使用方法：(1)介绍注意力机制的衍生过程及其原理;(2)阐述三种注意力机制在机器阅读理解模型中的作用;(3)对三种方法进行对比分析;(4)对注意力机制在机器阅读理解领域的应用进行总结展望.注意力机制可以帮助模型提取重要信息,能够使模型做出更加准确的判断,从而更广泛地运用于机器阅读理解的各项任务中.     

基于双重多路注意力匹配的观点型阅读理解

观点型阅读理解旨在对于给定的问题和答案段落摘要,判断答案段落摘要相对于问题的观点倾向.现有基于神经网络的模型主要依靠精心设计的匹配网络来捕获各部分文本之间的关系,往往只考虑单向的匹配关系或是采用单一的交互机制对各个文本对之间的关系进行建模,难以有效捕捉观点型问题中问题和答案段落摘要二者之间的潜在关系.为此,提出一种基于...     

浅谈数学专业学生阅读英语数学文献的方法

本文试图在寻找数学专业学生阅读英语数学文献中存在的问题的基础上,提出了数学专业英语词汇的识记与理解以及句子与段落的理解的两种方法。这对于数学专业学生提高英语数学文献的阅读能力,及时了解数学界的研究动态和最新成果具有重要意义。     

浅谈数学专业学生阅读英语数学文献的方法

本文试图在寻找数学专业学生阅读英语数学文献中存在的问题的基础上,提出了数学专业英语词汇的识记与理解以及句子与段落的理解的两种方法。这对于数学专业学生提高英语数学文献的阅读能力,及时了解数学界的研究动态和最新成果具有重要意义。     

当代句子理解理论述评

在简要介绍当代句子理解理论提出的背景之后,回顾了两阶段模型、基于制约的模型、参照支持模型、同时作用模型与三阶段神经认知模型等当代句子理解理论.为解决这些理论之间的分歧,提出了三点建议.     

略谈日语阅读的技巧

在阅读日语文章时,有必要掌握一些阅读技巧。笔者认为须理解指示词所指代的内容,了解句子的结构和意义,在段落中找出关键词和主旨句,分析句子之间的关系,对生词要敢于猜测。     

融合释义与双向交互的成语阅读理解方法研究

中文成语有着独特的抽象语义。在机器阅读理解任务中，为了解决模型不能充分理解成语含义的问题，本文提出一种完形填空式匹配网络。匹配网络将成语与其词典释义以注意力交互的方式融入模型，使成语得到更好的向量表征，并且在段落与候选答案之间采用双向交互的策略。将匹配网络与语言模型(BERT、 ERNIE等)相结合，本文设计出一个针对完形填空式阅读理解任务的模型。实验结果表明，该模型优于传统模型、SKER模型以及结合增强型全局注意力的BERT模型，在中文成语数据集CHID上达到77.0%的准确率。     

英语篇章阅读的技巧

对学英语的人来说,英语篇章阅读是学习中最为困难的一个问题。要提高阅读速度和质量,不仅仅要撑握丰富的词汇量,一定的背景和语法知识,更重要的是撑握阅读篇章的技巧。何谓篇章呢?篇章就是按一定规律连句成篇的文章,它不是句子的随意组合。在篇章内部,句子与句子之间,句子与段落之间,段落与段落之间都必须做到语义和逻辑上的连贯。每一篇章都有其结构形态。这个结构形态的核心是主旨(thesis),它是篇章内容的高度概括和提炼,文章叙述的对象和起点。该结构的处延是主题(topic),它存在于段落之中,从各个不同的侧面对主旨加以阐述,论证,为主旨提供实例或原因。一个典型的英语篇章由三部分组成,首段(beginning),正文(body of middle)和尾段(end)。也即:1.选题(Decide subject);2.陈述主旨(State thesis);3.阐述(Find out supporting evidence);结论(Make conclusion)。了     

一种采用机器阅读理解模型的中文分词方法

针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器（BERT）进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明：所提方法的F₁分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。     

略谈日语阅读的技巧

在阅读日语文章时，有必要掌握一些阅读技巧。笔者认为须理解指示词所指代的内容，了解句子的结构和意义，在段落中找出关键词和主旨句，分析句子之间的关系，对生词要敢于猜测。     

一种利用对抗样本提高抽取式阅读理解模型效果的方法

抽取式阅读理解是自然语言处理的重要任务,需要机器在阅读理解自然语言文本的基础上,从中抽取给定问题的答案（输入文本中的片段）,并在问题不可回答时拒绝回答.这种不可回答情况的存在使机器阅读理解更具有挑战性,特别是在输入文本含有似是而非文本片段时,现有模型很容易将这样的片段混淆为问题答案,进而错误判断问题的可回答性.为了进一步提高抽取式机器阅读理解模型的效果,本文将SQuAD 2.0数据集中的似是而非答案看成对抗样本,将其既作为答案文本片段抽取的正例,也作为问题可回答性的负例,在现有模型答案交叉熵损失的基础上增加排序损失.在SQuAD 2.0上进行的实验表明,本文方法可以提高现有模型的阅读理解能力,明显提升可回答性判断及答案文本片段抽取的效果.     

组合多任务与迁移学习的故事发展预测

使用机器挖掘故事中的潜在语义关系从而推断故事发展方向,是当前自然语言处理领域研究的热点之一.现有主流方法存在的共性问题是神经网络理解文本能力有限,模型的关注点均集中在挖掘单个语义信息上,导致模型泛化能力差,使得机器仅能通过单个语义理解文本.针对上述问题,作者提出一种组合多任务与迁移学习的新模型,该模型由共享层、特定任务层、迁移层以及组合层构成.模型的前两层组合语言模型与多任务学习,解决神经网络理解能力不足的问题,第二、三层训练多个语义任务,第四层融合多个语义信息,克服以往模型仅从单个语义理解文本的缺点.对比实验及消融实验表明,新模型预测精度与主流方法相比有较为显著的提升,各特定任务的语义信息有助于预测故事发展方向.     

浅谈阅读能力的培养

怎样对学生进行阅读理解极其表述能力的培养，是当今语文教学中一个十分重要的问题，我想就此谈一点不成熟的看法。 首先，教师应把握课程标准有关要求，使学生在平时的阅读中能对阅读材料的内容、感情、思路等主要方面有一个总体认识，还要对关键的词语、句子、段落、中心等有清楚的理解。     

面向高考阅读理解的句子语义相关度

高考阅读理解选择题是基于背景材料,通过对材料的"理解"从多个选项中选出最佳选项。由于提供的背景材料相对较短且关键信息极具隐藏性,答案可能无法在背景材料中直接找到,因此从背景材料中挖掘信息并与选项进行相关性分析是解答该类问题的关键,而句子级的语义相关性分析是背景材料与选项相关性分析的基础。该文通过对大量高考科技文文意理解类选择题进行分析,提出基于多维度投票算法的句子语义相关度计算方法。该方法将不同维度的语义相关性作为度量标准,运用投票算法的思想,选取问题的最佳选项。在近十年北京市高考真题上进行测试,解答准确率为53.84%,验证了该方法的有效性。     

语篇分析模式在L2阅读理解中的作用

与传统的阅读模式相比，图式阅读理论的确有其存在的理论基础，但同时，我们也必须看到图式阅读理论自身的缺陷，而语篇分析理论则是通过分析语言材料在语篇中如何产生具体的意义来理解语篇。运用语篇分析理论，通过分析语篇的结构、句子的具体排列、句子、段落之间的语句衔接及语义连贯，可使阅读者理解到其间的交际功能，从而更好地培养阅读者的理解、分析和综合归纳推理能力。本文通过对语境、语句衔接与语义连贯、主述位结构等多个微观方面的具体分析来阐述语篇分析模式在阅读理解中的作用。