基于句法结构的神经网络复述识别模型

为解决已有复述语义计算方法未考虑句法结构的问题, 提出基于句法结构的神经网络复述识别模型, 设计基于树结构的神经网络模型进行语义组合计算, 使得语义表示从词语级扩展到短语级。进一步地, 提出基于短语级语义表示的句法树对齐机制, 利用跨句子注意力机制提取特征。最后, 设计自注意力机制来增强语义表示, 从而捕获全局上下文信息。在公开英语复述识别数据集Quora上进行评测, 实验结果显示, 复述识别性能得到改进, 达到89.3%的精度, 证明了提出的基于句法结构的语义组合计算方法以及基于短语级语义表示的跨句子注意力机制和自注意力机制在改进复述识别性能方面的有效性。     

融合文本内容和标签引导文本编码的分类方法

针对当前文本分类算法未能充分利用标签的语义表示导致文本表示学习与分类预测割裂的问题,提出一种融合文本内容编码和标签引导文本编码的文本分类方法.在文本内容编码部分,通过长短时记忆网络获得文本序列累计语义表示,通过自注意力机制捕获和强化文本长距离语义依赖.在标签引导文本编码部分,设计交互注意力机制,通过标签引导得到经由标签的语义表示过滤下文本的新表示.最后将两部分输出融合,得到同时具有本地内容语义信息和全局任务指导信息的文本表示,使得模型在文本表示阶段即对分类任务具有早期感知力.实验结果表明本研究方法在真实数据集上可有效提升文本分类任务性能.     

基于全局注意力机制的汉语手语词翻译

针对使用卷积神经网络结构结合循环神经网络结构的模型在手语翻译任务中难以关注到手语视频序列中关键帧的问题,提出了一种结合全局注意力机制的手语翻译模型.该模型在长短时记忆网络中嵌入全局注意力机制,通过计算当前隐藏状态和源隐藏状态之间的相似度并得出对齐向量,让模型学习对齐权重,使模型关注到长手语视频序列中的关键帧,从而提升模型翻译的准确率.实验结果表明：加入全局注意力机制的模型在DEVISIGN＿D数据集上的准确率优于3DCNN、CNN+LSTM等主流模型,并且在100分类的短手语词和长手语词数据集上,分别与未使用注意力机制的模型进行了对比,其准确率提升0.87%和1.60%,证明该注意力机制可以有效地提升模型翻译的准确率.     

基于语义特征提取与层次结构的问题生成方法

针对传统端到端模型在输入文本语义较复杂情况下生成的问题普遍存在语义不完整的情形,提出一种基于语义特征提取的文本编码器架构.首先构建双向长短时记忆网络获得基础的上下文信息,然后采用自注意力机制及双向卷积神经网络模型分别提取语义的全局特征和局部特征,最后设计一种层次结构,融合特征及输入自身信息得到最终的文本表示进行问题生成.在数据集SQuAD上的实验结果表明,基于语义特征提取与层次结构进行问题生成效果显著,结果明显优于已有方法,并且语义特征提取和层次结构在任务的各评价指标上均有提升.     

基于双向语言模型的社交媒体药物不良反应识别

与服药相关的社交文本中隐藏着更具时效和更广泛的药物不良反应信息,但是从相对短小、稀疏的社交短文本中提取药物不良反应非常困难。基于此,本文提出一种双向语言预训练模型和注意力机制相结合的神经网络识别方法。该方法利用双向字符级语言预训练模型提取特定字符级特征,而且在提取药物不良反应的同时,通过注意力机制捕获局部和全局语义上下文信息。此外,为了提高该方法的效率,将字符级特征与词级特征相结合,并采用词级预训练和字符级预训练模型代替协同训练。在PSB 2016社交媒体挖掘共享任务2中的实验结果表明,字符特征在形态学上有助于区分药物不良反应,而注意力机制通过捕获局部和全局语义信息提高了对药物不良反应的识别性能,宏平均F₁值为82.2%。     

基于双向语言模型的社交媒体药物不良反应识别

与服药相关的社交文本中隐藏着更具时效和更广泛的药物不良反应信息,但是从相对短小、稀疏的社交短文本中提取药物不良反应非常困难。基于此,本文提出一种双向语言预训练模型和注意力机制相结合的神经网络识别方法。该方法利用双向字符级语言预训练模型提取特定字符级特征,而且在提取药物不良反应的同时,通过注意力机制捕获局部和全局语义上下文信息。此外,为了提高该方法的效率,将字符级特征与词级特征相结合,并采用词级预训练和字符级预训练模型代替协同训练。在PSB 2016社交媒体挖掘共享任务2中的实验结果表明,字符特征在形态学上有助于区分药物不良反应,而注意力机制通过捕获局部和全局语义信息提高了对药物不良反应的识别性能,宏平均F₁值为82.2%。     

基于生成对抗网络的类别文本生成

类别文本生成旨在让机器生成人类可理解的文本,并且赋予生成文本特定的类别属性。现有工作主要采用基于生成对抗网络的文本生成框架,往往直接采用卷积神经网络进行文本特征提取,缺乏对文本全局语义的关注;此外,简单地在生成网络中引入注意力无法有效消除解码过程中的噪声。针对上述问题,本文提出一种将文本全局特征与局部特征联合建模的方法,通过将长短时记忆网络提取的全局语义信息与卷积神经网络提取的局部语义信息进行融合,增强生成过程中对文本全局语义信息的关注,并且引入双重注意力,进一步过滤掉序列生成中的无关信息。与基准模型相比,本文提出的方法分别在2个公开的真实数据集(Movie Review和Amazon Review)上取得了至少0.01和0.004的BLEU值的提升,表明了本文方法的有效性。     

基于层次化表示的隐式篇章关系识别

篇章关系识别研究旨在理解篇章内部论述单元(简称"论元",包括短语、句子及文本片段)之间的语义连接关系.现有研究通过交互式注意力机制方法,提升论元之间的信息的交互性,从而提升模型的分类能力.尽管如此,仅通过提升论元间的信息交互不能表述论元对的整体语义概念,原因在于现有方法往往将论元对视作独立的个体,忽略上下文信息对其语义上的影响.针对以上问题,提出一种基于层次化表示的隐式篇章关系识别方法,通过基于词的交互式注意力机制提取出较为重要的单词或短语,并通过论元的注意力机制赋予关键论元较高的权重,最终通过基于上下文的注意力机制融合论元对所在段落的信息,获得具有上下文语义信息的论元对表示.该方法进一步强化了论元之间信息交互性,同时强化了论元对与上下文信息间的交互.使用PDTB(Penn Discourse Treebank)语料进行实验,结果证明该方法的F_1值在四个大类关系(Comparison,Contingency,Expansion,Temporal)上相对基准系统提高了4. 94%,5. 43%,4. 57%和7. 42%.     

基于多层次动态门控推理网络的文本蕴含识别

现有的文本蕴含模型通常计算一次词级别注意力得到两段文本在不同层面的交互特征,但对于文本不同层面的理解,不同重要词的注意力应该是不同的,并且一次词级注意力推理仅能捕捉到文本对局部特征.针对这个问题,提出一种多层次动态门控推理网络,该网络结合了词级别信息的细粒度推理和句子级别门控机制来动态捕捉文本对的语义信息,并采用不同注意力计算方式提取文本对不同层面的语义特征,共同推理文本对的蕴含关系.本文在两个文本蕴含数据集上均做了实验,相较于基准模型和现有主流模型,准确率提升了0.4%～1.7%,通过消融分析,进一步验证了本文模型各部分结构的有效性.     

面向信息与通信技术供应链网络画像构建的文本语义匹配方法

针对信息与通信技术（information and communication，ICT）项目及产品数据种类多、形式复杂，难以提取其语义匹配信息，且现有句子级文本匹配模型对不同长度文本无差别编码会引入噪声导致匹配效果差的问题，本文提出一种融合局部和全局特征的实体-文档级联合匹配模型，利用TextCNN编码器提取实体级招投标项目和产品名称的局部信息，消除产品描述中与招投标项目无关信息的影响，再利用卷积-自注意力编码器提取文档级产品描述的局部和全局信息，最后结合实体级和文档级匹配信息进行决策.实验结果表明，招投标项目与供应商产品匹配映射准确率92%以上，方法可直接实际应用.      

结合问题-关系注意力和特征视图匹配的关系检测方法

问答系统作为信息检索的一种高级形式,已成为人工智能和自然语言处理领域中一个备受关注的研究方向。本文聚焦于知识图谱问答(Knowledge Graph Question Answering, KGQA)研究中的关系检测,针对现有方法中未能较好兼顾全局语义和局部语义信息,以及复杂问题准确率不高的问题,提出了一种结合问题-关系注意力和特征视图匹配的关系检测方法。该方法从问题和知识库中提取多粒度的特征,将提取特征构造成特征对视图作为关系检测模型的输入,视图内部利用双边多视角匹配(Bilateral Multi-Perspective Matching, BiMPM)进行比较匹配,得出关系预测结果。为验证本文提出的方法,在SimpleQuestions、WebQSP数据集上,与6种主流基线方法进行对比实验,本方法的准确率分别提升3.42个和0.45个百分点。     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。     

基于概念和统计的问答系统实现机制

问答系统与搜索引擎相比答案精练准确、“噪音”较少．为此给出了基于概念和统计的问答系统实现机制．首先确定焦点类型和答案类型,对于不同类型的焦点实行分级概念扩充;以段落为基本单元,利用潜在语义分析技术获取相关文本段落;给出了问题与句子的匹配算法和基于问题相似度的答案抽取算法,通过对语料进行潜在语义索引和增加FAQ反馈,不断增强系统的回答能力．依此研制的大学概况问答系统获得了较好的效果．     

支持评价类问题与电影智能搜索的问答系统构建

基于互联网信息,构建了一款支持评价类问题与电影智能搜索的问答系统.通过特征词匹配、情感极性匹配以及句式分析等策略,系统能对评价类问题进行智能回答.借助聚合评论信息的灵活查询策略,利用tag信息查询扩展的用户个性化搜索技术,不仅解决了电影的泛性化搜索问题,并能挖掘用户的潜意识需求.实验证明,该系统在评价类问题回答与电影智能搜索领域,效果优于现有产品.     

一种结合本体和焦点的问题分类方法

鉴于问题分类是问题分析的主要任务,提出一种结合本体和焦点的问题分类方法.首先依存分析和语义角色标注对问题进行浅层语义分析,再根据预定义的问题焦点结构和焦点抽取规则,获取问题焦点语义表征;然后标示问题的类别为问题焦点中疑问对象在领域本体中的标识;最后,根据焦点不同则问题不同这一事实,将焦点相同的问题归为一类,从而实现问题分类.使用该方法对计算机故障诊断领域1 905个特指问题分类,取得了93.91%的准确率,验证了领域本体和焦点对问题分类方法的有效性.     

基于段落内部推理和联合问题答案匹配的选择型阅读理解模型

针对当前机器阅读理解方法中仅将问题与段落匹配会导致段落中的信息丢失或将问题和答案连接成单个序列与段落匹配会丢失问题与答案之间的交互,和传统的循环网络顺序解析文本从而忽略段落内部推理的问题,提出一种改进段落编码并且将段落与问题和答案共同匹配的模型.模型首先把段落在多个粒度下切分为块,编码器利用神经词袋表达将块内词嵌入向量求和,其次,将块序列通过前向全连接神经网络扩展到原始序列长度.然后,通过两层前向神经网络建模每个单词所在不同粒度的块之间的关系构造门控函数以使模型具有更大的上下文信息同时捕获段落内部推理.最后,通过注意力机制将段落表示与问题和答案的交互来选择答案.在SemEval-2018 Task 11任务上的实验结果表明,本文模型在正确率上超过了相比基线神经网络模型如Stanford AR和GA Reader提高了9%～10%,比最近的模型SurfaceLR至少提高了3%,超过TriAN的单模型1%左右.除此之外,在RACE数据集上的预训练也可以提高模型效果.     

基于问句语义表征的中文问句相似度计算方法

提出了一种中文问句语义相似度计算的新方法.该方法分为两步:第一步采用基于问句句型模板规则匹配的方法提取问句语义表征;第二步根据问句语义表征计算问句语义相似度.采用该方法开发了一个面向常问问题集(FAQ)的问答系统.实验结果表明,采用该方法获得的相似度计算的准确率约为85%.     

基于训练模型改进的语音问句信息抽取方法

为进一步提高客户语音问句实体信息抽取的准确性,增强智能问答系统知识图谱中信息抽取技术的整体效果,首先对语义标注进行优化,随后在BiLSTM-CRF(bidirectional long short-term memory conditional random filed)基础上加入BERT(bidi-rectional encoder representation from transformers)模型对句子进行实体抽取学习.在具体实验中,以语音问句事件文本为数据来源,对其进行语义标注和实体抽取实验.结果 表明,在语义标注优化的基础上同时加入BERT改进模型,信息抽取结果均高于BiLSTM-CRF方法,且改进模型的调和平均值达到91.53％,即可为增强事件实体信息抽取提供实践意义.     

不同类型阅读理解问答题之比较分析

本文介绍了四种主要类型的阅读理解问答题，分析了各自的优点、缺点，从而得出结论，即正误判断题是设计阅读问答题型时得优选择，能够有效地检测以有帮助提高学生的阅读能力。