基于注意力机制的机器阅读理解模型研究

机器阅读理解是自动问答领域的重要研究.随着深度学习技术发展,机器阅读理解已逐渐成为实现智能问答的技术支撑.注意力机制能够作为机器阅读理解中抽取文章相关信息而被广泛应用.文章总结了注意力机制发展历程发展原理以及在机器阅读理解模型中的使用方法：(1)介绍注意力机制的衍生过程及其原理;(2)阐述三种注意力机制在机器阅读理解模型中的作用;(3)对三种方法进行对比分析;(4)对注意力机制在机器阅读理解领域的应用进行总结展望.注意力机制可以帮助模型提取重要信息,能够使模型做出更加准确的判断,从而更广泛地运用于机器阅读理解的各项任务中.     

一种基于显式定位的机器阅读理解方法

大多数机器阅读理解模型是基于具有各种注意力机制的端到端深度学习网络,但此类模型会损失句子级别的语义信息.此外,现有数据集中的问题通常不需要复杂的推理,并且答案仅与背景段落中的少量句子相关.基于此,提出将机器阅读理解模型划分为两层:第一层用于查找段落中与问题相关的句子并生成新的背景段落;第二层则根据减小了规模的段落做进一...     

基于多段落排序的机器阅读理解研究

针对多段落的机器阅读理解问题,在双向注意力流（BiDAF）模型的基础上,结合双向长短期记忆网络（BiLSTM）和self-attention机制构建了多段落排序BiDAF（PR-BiDAF）模型,利用该模型定位答案所在的段落,然后在预测段落中寻找最终答案的始末位置。实验结果表明,相较于BiDAF模型,本文提出的PR-BiDAF模型的段落选择正确率、BLEU4指标及ROUGE-L指标分别提高了约13%、6%和4%。     

基于时间卷积网络的机器阅读理解

针对目前机器阅读理解任务中缺乏有效的上下文信息融合方式和丢失文本的整体信息等情况,提出基于时间卷积网络的机器阅读理解模型.首先将文本的单词转化成词向量并加入词性特征;接着通过时间卷积网络获取问题和文章的上下文表示;之后采用注意力机制来计算出问题感知的文章表示;最后由循环神经网络模拟推理过程得到多步预测结果,并用加权和的方式来综合结果得到答案.实验使用了SQuAD2.0数据集,在EM和F1值上相比基准实验分别提升了6.6%和8.1%,证明了该方法的有效性.     

一种采用机器阅读理解模型的中文分词方法

针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器（BERT）进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明：所提方法的F₁分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。     

中文机器阅读理解的鲁棒性研究

为了更好地评价阅读理解模型的鲁棒性,基于Dureader数据集,通过自动抽取和人工标注的方法,对过敏感、过稳定和泛化3个问题分别构建测试数据集.还提出基于答案抽取和掩码位置预测的多任务学习方法.实验结果表明,所提方法能显著地提高阅读理解模型的鲁棒性,所构建的测试集能够对模型的鲁棒性进行有效评估.     

基于BERT的长文本分类方法

由于预训练模型输入分词数量限制,基于BERT的长文本分类任务效果与长文本分割后的文本段集合的处理及特征融合密切相关,现有的长文本分类研究在融合文本段特征时更关注文本段之间原始的顺序关系,而本文提出了一种基于BERT和集合神经网络的长文本分类模型.该方法以BERT为基础,可处理从同一文本样本分割得到的任意数量文本段,经过BERT后得到文本段特征,再将所有文本段特征输入到具有置换不变性的集合神经网络层中,提取出集合级别特征来优化长文本的特征表达.通过在三个数据上的实验分析,论文在平均分词长度较长的数据集上取得了90.82%的准确率,高出目前最优方法4.37%.     

机器阅读理解技术及应用研究

机器阅读理解是利用算法让计算机理解文章语义并回答用户提出的问题,同时可以衡量机器对自然语言理解的能力.以机器阅读理解的技术与应用场景为研究目标,完成机器阅读理解任务的定义,并概述该任务在国内外的研究现状.文章首先对当前机器阅读理解任务所采用深度学习模型进行研究,具体包括注意力机制模型、预训练模型和推理模型,从而进一步梳...     

基于机器阅读理解的商品属性识别

属性抽取的目标是从非结构化文本中抽取与文本实体相关的属性和属性值,然而在电商场景下基于序列标注的模型缺少应对大规模属性抽取任务的可扩展性和可泛化性能力。本文提出基于阅读理解的商品属性抽取模型,通过额外加入问句来强化模型对属性的理解,结合双仿射注意力机制捕获问句和文本之间的语义特征,进一步提高模型的抽取性能。本文在电商数据集上对不同类型问句和不同解码器进行了对比实验,结果表明本文提出的方法优于多个基线模型,相较于OpenTag和SUOpenTag模型,属性抽取的F1值分别提升7.70%和3.26%,未登录词识别的F1值分别提升15.51%和8.12%。     

一种基于数组的递归算法

以Hanoi塔问题为例,分析递归程序运行速度慢的原因,提出一种基于数组的递归算法.该算法可以使计算机程序的计算速度提高到最快.     

一种基于数组的递归算法

以Hanoi塔问题为例,研究了递归程序运行速度慢的原因,提出了一种基于数组的递归算法,实验结果表明,该算法可使程序的计算速度提高到最快。     

面向自动问答的机器阅读理解综述

人工智能正在深彻地变革各个行业.AI与教育的结合加速推动教育的结构性变革,正在将传统教育转变为智适应教育.基于深度学习的自动问答系统不仅可帮助学生实时解答疑惑、获取知识,还可以快速获取学生行为数据,加速教育的个性化和智能化.机器阅读理解是自动问答系统的核心模块,是理解学生问题,理解文档内容,快速获取知识的重要技术.在过去的几年里,随着深度学习复兴以及大规模机器阅读数据集的公开,各种各样的基于神经网络的机器阅读模型不断涌现.这篇综述主要讲述3方面的内容:介绍机器阅读理解的定义与发展历程;分析神经机器阅读模型之间的优点及不足;总结机器阅读领域的公开数据集以及评价方法.     

基于双重多路注意力匹配的观点型阅读理解

观点型阅读理解旨在对于给定的问题和答案段落摘要,判断答案段落摘要相对于问题的观点倾向.现有基于神经网络的模型主要依靠精心设计的匹配网络来捕获各部分文本之间的关系,往往只考虑单向的匹配关系或是采用单一的交互机制对各个文本对之间的关系进行建模,难以有效捕捉观点型问题中问题和答案段落摘要二者之间的潜在关系.为此,提出一种基于...     

文本强化对中国高中英语学习者阅读理解的影响

文本强化是研究关于注意力与语言习得之间关系的一个重要领域。本文采用严格的试验方法来测试文本强化对中国高中英语学习者的阅读理解的影响。37名受试被随机分成3组,其中一组13人,其余两组12人。受试被给予两轮阅读理解测试,其中间隔为10天。第一轮为普通文本,第二轮加入文本强化。结果显示受试的阅读理解没有显著差异。本项研究是第一个采用严格实验方法来研究文本强化对阅读理解影响的研究,结果显示文本强化不会对英语学习者阅读理解产生影响。     

一种基于递归算法的自顶向下语法分析方法

给出了一种结合VHDL语言特点基于递归算法的自顶向下语法分析方法，并在Windows平台下用Visual C 进行算法实现．     

递归算法及其转化为非递归算法的分析

递归是程序设计中强有力的工具，同时也有着鲜明的优缺点，也是学习的难点。本文从递归的概念、递归的实现和递归与非递归的转化几个方面进行了分析。     

一种基于递归技术的一维下料算法

用递归技术进行排样,并将排样方式与线性规划相结合,提出一种基于递归技术的一维下料算法.该算法通过约束一个排样方式中所含毛坯种数,达到减少开堆数的目的,利用上界技术来减少计算时间.该算法可以大幅缩短计算时间,在材料利用率基本不下降的情况下,可以明显减少最大开堆数.     

基于双重匹配注意力网络的观点型阅读理解

提出一种基于双重匹配注意力网络的方法.先用动态匹配机制迭代综合获取全局观点信息,同时利用多维度匹配机制在不同特征空间上计算全局语义信息,然后交互式多路注意力机制通过两路注意力之间的交互计算对上述全局的观点与语义信息进行融合,最后与选项表示结合预测答案的观点倾向.在观点型阅读理解数据集ReCO和Dureader上面的实验表明,该方法相对于基准模型在准确率上提升了1.18%和0.84%,在加权宏F1上提升了1.16%和0.75%.     

递归算法向非递归转换的一般规则

递归程序结构简单、清晰,可读性好,且易于验证其正确性,但浪费空间且执行效率低.因此,有时需要把递归算法转换成非递归算法.本文给出了一种根据递归调用的内部实现原理把递归算法向非递归转换的一般规则,最后,说明非递归化应该注意的一些问题.     

关于网络文本辅助工具对网络文本阅读理解影响的实证研究

对网络文本辅助工具与学习者外语水平对网络文本阅读理解活动的影响进行了调查。结果表明:中国EFL学习者使用内置词典查词最频繁,划词解释功能能够促进学习者阅读网络文本。语言水平高组学生使用辅助工具查词数明显少于语言水平低组学生,但是他们的阅读理解和词汇学习表现都比语言水平低组学生更好。