一种轻量级文本蕴含模型

现有主流文本蕴含模型大多采用循环神经网络编码,并采用各种注意力推理机制或辅以手工提取的特征来提升蕴含关系识别准确率,由于复杂的网络结构和RNNs网络串行机制导致这些模型训练和推理速度较慢.本文提出轻量级文本蕴含模型,采用自注意力编码器编码文本向量,点积注意力交互两段文本,再采用卷积神经网络对交互特征推理,整个结构可根据不同数据的推理难度叠加不同模块数量.在多个文本蕴含数据集实验表明,本文模型在保持较高识别准确率情况下仅用一个块参数仅为665K,模型推理速度相比其他主流文本蕴含模型至少提升一倍.     

基于知识图谱的问答系统中属性映射方法研究

在基于知识图谱的智能问答系统中,属性映射模块结果的错误传播会导致最终无法得到正确答案,对此提出了一种基于多注意力多维文本的属性映射方法。首先通过拆分问题文本及结合属性信息得到多维文本表示;其次使用长短期记忆网络(long-short-term memory, LSTM)层生成各自的隐层表示;然后输入多注意力机制层后使问句和属性之间的关系及语义信息更加完善,利用属性之间的交互信息及多种角度来加强问句语义信息的理解;最后通过卷积神经网络(convolutional neural networks, CNN)提取局部特征并且采用softmax分类器实现属性映射。试验结果表明,在自然语言处理与中文计算会议(NLPCC 2018)中知识库问答(KBQA)任务所提供的开源数据集上,本方法相比主流属性映射模型其性能有显著提升,准确率最高提升6.62%。本模型可以补足单一文本表示与注意力机制的短板,有效解决属性映射模块中语义歧义的问题,这有助于后续提高智能问答系统的整体性能。     

基于多信息感知的多方对话问答方法

目前基于多方对话文本的自动问答任务侧重于探索对话结构信息或说话者角色信息,忽视问题文本和对话文本的交互。针对这一问题,提出一个融合多信息的全新模型。该模型使用图卷积神经网络,对多方对话文本中的话语结构、说话者角色以及问题–上下文信息进行分层次建模,并设计合理的基于注意力机制的交互层,通过选择更有帮助的信息,加强对多方对话文本的理解。此外,该模型首次对问题和上下文间的显式交互给予关注。实验结果表明,所提模型的性能优于多个基线模型,实现对多方对话文本的深层次理解。     

一种融入背景知识的交互文本立场分析方法

提出一种融入背景知识的交互文本立场分析方法。该方法以交互文本作为查询, 从维基百科中检索相关的背景知识文本, 然后对背景知识文本进行编码, 并通过深度记忆网络获取相关的背景知识特征, 以此来增强交互文本的表示学习。在3个英文在线辩论数据集上的实验结果表明, 通过选取适当的背景知识嵌入层数以及背景知识嵌入层连接方式, 可以有效地提高交互文本立场分析性能。     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息.实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率.     

基于多头注意力和词共现关系的方面级情感分析

针对特定目标的情感分析是文本情感细粒度理解任务的重要内容.已有研究大多通过循环神经网络和注意力机制来建模文本序列信息和全局依赖,并利用文本依赖解析树作为辅助知识,但这些方法没有充分利用目标词与文本词之间的依赖关系,也忽略了训练语料库中的词共现关系,而词共现信息往往意味着一种语法搭配.为了解决上述问题,提出一种目标依赖的多头自注意力网络模型.该模型首先设计内联和外联两种不同的注意力机制用于建模文本词和目标词的隐藏状态和语义交互;其次,该模型构建了语料库级别和句子级别的词共现图,并通过图卷积网络将词共现信息融合进文本的特征表示学习并用于下游分类任务.在五个标准数据集上进行了对比实验,实验结果表明,提出的模型在方面级情感分析任务中的性能优于所有对比模型.     

基于两阶段注意力机制的立场检测方法

立场检测是分析文本作者对某一话题所表现的立场倾向性是支持、反对还是中立,是舆情分析的重要研究方向。本文针对现有的大部分立场检测方法无法充分建模话题信息,很难联合分析话题与相应文本的现状,提出了一种两阶段注意力机制的立场检测方法。第一阶段利用注意力机制学习话题整体语义表示,第二阶段将话题表示与文本表示进行注意力匹配,进而得到融合特定话题的文本表示向量,最后对该语义表示进行分类。实验结果表明,该模型在新疆反恐话题的语料上Acc和F值指标分别提高了0.4%和1%,在NLPCC-2016立场检测任务数据集的4个话题上取得了较优的效果。     

基于关系感知双重注意力融合的视觉问答技术

传统视觉问答技术仅采用简单的位置注意力,缺乏语义注意力,从而引起问题推理错误.本文采用双重注意力机制从图像获取位置信息和语义信息,以外积形式进行融合,获得文本也采用双重注意力融合实体和对应关系的信息,帮助理解问题.双重注意力动态方式可以实现关系融合、动态学习,改变传统静态学习方式.以多标签分类器实现答案推理,减少传统二...     

基于分层注意力循环神经网络的司法案件刑期预测

为了解决刑期预测任务准确率较差的问题,提出一种基于多通道分层注意力循环神经网络的司法案件刑期预测模型.该模型对传统的循环神经网络模型进行了改进,引入了BERT词嵌入、多通道模式和分层注意力机制,将刑期预测转化为文本分类问题.模型采用分层的双向循环神经网络对案件文本进行建模,并通过分层注意力机制在词语级和句子级两个层面捕获不同词语和句子的重要性,最终生成有效表征案件文本的多通道嵌入向量.实验结果表明:对比现有的基于深度学习的刑期预测模型,本文提出的模型具有更高的预测性能.     

融合时序文本与高阶交互拓扑的在线抗议预测

针对在线抗议预测技术中忽视用户文本时序差异性及用户间高阶交互拓扑的问题，提出融合时序文本与高阶交互拓扑的在线抗议预测方法.基于自注意力机制建模用户不同时刻交互文本信息对其抗议倾向的影响，构建用户文本表示向量；同时利用邻域节点的相似性，构建二阶相似性保持的用户交互拓扑表示向量；融合用户文本表示向量和交互表示向量预测用户抗议倾向.推特数据集结果表明本方法准确率可达到93.9%，为抗议活动预测提供技术支撑.      

融合多路注意力机制的语句匹配模型

为了增强语句内关键信息和语句间交互信息的表征能力，有效整合匹配特征，提出一种融合多路注意力机制的语句匹配模型。采用双向长短时记忆网络获取文本的编码信息，通过自注意力机制学习语句内部的关键信息;将编码信息和自注意力信息拼接之后，通过多路注意力机制学习语句间的交互信息;结合并压缩多路注意力层之前和之后的信息，通过双向长短时记忆网络进行池化获得最终的语句特征，经过全连接层完成语句匹配。实验结果表明，该模型在SNLI和MultiNLI数据集上进行的自然语言推理任务、在Quora Question Pairs数据集上进行的释义识别任务和在SQuAD数据集上进行的问答语句选择任务中均表现出了更好效果，能够有效提升语句匹配的性能。     

融合文本内容和标签引导文本编码的分类方法

针对当前文本分类算法未能充分利用标签的语义表示导致文本表示学习与分类预测割裂的问题,提出一种融合文本内容编码和标签引导文本编码的文本分类方法.在文本内容编码部分,通过长短时记忆网络获得文本序列累计语义表示,通过自注意力机制捕获和强化文本长距离语义依赖.在标签引导文本编码部分,设计交互注意力机制,通过标签引导得到经由标签的语义表示过滤下文本的新表示.最后将两部分输出融合,得到同时具有本地内容语义信息和全局任务指导信息的文本表示,使得模型在文本表示阶段即对分类任务具有早期感知力.实验结果表明本研究方法在真实数据集上可有效提升文本分类任务性能.     

基于多层次动态门控推理网络的文本蕴含识别

现有的文本蕴含模型通常计算一次词级别注意力得到两段文本在不同层面的交互特征,但对于文本不同层面的理解,不同重要词的注意力应该是不同的,并且一次词级注意力推理仅能捕捉到文本对局部特征.针对这个问题,提出一种多层次动态门控推理网络,该网络结合了词级别信息的细粒度推理和句子级别门控机制来动态捕捉文本对的语义信息,并采用不同注意力计算方式提取文本对不同层面的语义特征,共同推理文本对的蕴含关系.本文在两个文本蕴含数据集上均做了实验,相较于基准模型和现有主流模型,准确率提升了0.4%～1.7%,通过消融分析,进一步验证了本文模型各部分结构的有效性.     

基于记忆的注意力图神经网络专家推荐方法

在问答社区专家推荐算法中,图神经网络主要利用问答社区中用户与问题的交互关系建模,其模型性能取决于交互数据的稠密度,难以对无交互信息的用户及问题进行有效表示学习.针对这一问题,提出了一个基于记忆的注意力图神经网络专家推荐方法.该方法首先设计了面向用户多维特征的联合表示子网络,然后构建了一个记忆网络,为每个问题保存用户回答...     

基于BERT与细粒度特征提取的数据法学问答系统

首先利用bidirectional encoder representations from transformers（BERT）模型的强大的语境理解能力来提取数据法律文本的深层语义特征,然后引入细粒度特征提取层,依照注意力机制,重点关注文本中与数据法律问答相关的关键部分,最后对所采集的法律问答数据集进行训练和评估. 结果显示：与传统的多个单一模型相比,所提出的模型在准确度、精确度、召回率、F₁分数等关键性能指标上均有提升,表明该系统能够更有效地理解和回应复杂的数据法学问题,为研究数据法学的专业人士和公众用户提供更高质量的问答服务.     

多标签文本分类模型对比研究

为了有效地管理和利用网络文本信息,实现文本内容自动标签标注,提出采用多种深度学习模型对多标签文本分类进行研究。采用神经网络词向量模型word2vec获取文本数据的语义特征。对循环神经网络和卷积神经网络进行模型融合,引入注意力机制,形成TextRCNN_Attention神经网络模型。实验结果表明,TextRCNN_Attention模型结构融合了循环神经网络和卷积神经网络模型的优点,能更好地理解语义信息。Attention机制对文本特征提取更加合理,使模型将注意力聚焦在对文本分类任务贡献分值较大的特征上,分类效果更好。     

基于变分自编码器的问题识别方法

在非正式问答语料中,往往存在问题文本中包含多个子问题的情况,需要将每个子问题分别识别出来.由于标注样本的数目太小,并且存在海量的未标注样本,可以用半监督深度学习方法来进行问题识别.采用了变分自编码器(variational auto-encoder,VAE),并且结合了在深度学习模型中广泛应用的注意力机制.实验结果表明,不管是F值还是准确率,变分自编码器和注意力机制的结合可以显著地提升问题识别的性能.     

基于自注意力机制与BiLSTM的短文本匹配模型

现有短文本匹配方法更多关注于句子之间的交互方式,而较少考虑短文本自身关键特征的提取,为此本文提出一个融合自注意力机制和双向长短期记忆网络(BiLSTM)的短文本匹配模型。首先利用BiLSTM和自注意力机制进行特征编码,通过残差连接缓解信息丢失问题;然后利用双向注意力网络进行特征交叉,得到考虑了两个短文本之间交互影响的编码形式;最后将自注意力编码与双向注意力编码进行拼接,既能保留句子本身的重要特征,又能得到交互的特征信息。在两个公开数据集Quora和MRPC上进行对比实验,结果表明,该模型能有效改善短文本匹配性能,特别是在Quora数据集上的准确率达到87.59%,明显优于其他6种常见的同类模型。     

基于注意力机制的机器阅读理解模型研究

机器阅读理解是自动问答领域的重要研究.随着深度学习技术发展,机器阅读理解已逐渐成为实现智能问答的技术支撑.注意力机制能够作为机器阅读理解中抽取文章相关信息而被广泛应用.文章总结了注意力机制发展历程发展原理以及在机器阅读理解模型中的使用方法：(1)介绍注意力机制的衍生过程及其原理;(2)阐述三种注意力机制在机器阅读理解模型中的作用;(3)对三种方法进行对比分析;(4)对注意力机制在机器阅读理解领域的应用进行总结展望.注意力机制可以帮助模型提取重要信息,能够使模型做出更加准确的判断,从而更广泛地运用于机器阅读理解的各项任务中.     

采用循环神经网络的情感分析注意力模型

针对目前情感分析中的循环神经网络模型缺乏对情感词的关注的问题,提出一种基于循环神经网络的情感词注意力模型,通过引入注意力机制,在情感分类时着重考虑文本中的情感词的影响.在NLPCC 2014情感分析数据集及IMDB影评数据集上进行试验,结果表明:该模型能够提高情感分析的效果.