基于层次化表示的隐式篇章关系识别

篇章关系识别研究旨在理解篇章内部论述单元(简称"论元",包括短语、句子及文本片段)之间的语义连接关系.现有研究通过交互式注意力机制方法,提升论元之间的信息的交互性,从而提升模型的分类能力.尽管如此,仅通过提升论元间的信息交互不能表述论元对的整体语义概念,原因在于现有方法往往将论元对视作独立的个体,忽略上下文信息对其语义上的影响.针对以上问题,提出一种基于层次化表示的隐式篇章关系识别方法,通过基于词的交互式注意力机制提取出较为重要的单词或短语,并通过论元的注意力机制赋予关键论元较高的权重,最终通过基于上下文的注意力机制融合论元对所在段落的信息,获得具有上下文语义信息的论元对表示.该方法进一步强化了论元之间信息交互性,同时强化了论元对与上下文信息间的交互.使用PDTB(Penn Discourse Treebank)语料进行实验,结果证明该方法的F_1值在四个大类关系(Comparison,Contingency,Expansion,Temporal)上相对基准系统提高了4. 94%,5. 43%,4. 57%和7. 42%.     

基于组合特征的自训练隐式篇章关系的识别技术

信息抽取技术中,隐式篇章关系识别一直是研究难点.针对现有的有监督篇章关系识别方法中需要大量人工标注数据的缺点,提出了用自训练的策略实现半监督的隐式篇章关系的自动识别模型,尝试仅用少量标注样本,却获得和有监督方法相媲美的识别准确率,为未来实时大数据篇章关系识别提供了新的契机.此外,为了进一步提高识别的准确率,还针对词对特征、产生式特征、动词特征等9种篇章关系特征进行特征组合分析,构建候选篇章关系实例的知识表示,对模型进行优化.通过在Penn Discourse Treebank(PDTB2.0)语料库上的实验结果分析表明,该模型比传统有监督识别方法在准确率和F-score上分别提高了5.2%和13.5%.     

面向细粒度隐式篇章关系识别的远距离监督特征学习算法

针对中文细粒度隐式篇章关系识别进行研究。考虑细粒度篇章关系的方向性特点, 提出一种基于远距离监督的特征学习算法。该算法使用远距离监督的方法, 自动标注显式篇章数据, 然后利用词与连词之间的相对位置信息, 训练各个词的词表达, 将词的修辞功能以及关系的方向性编码到密集词表达中, 将这样的词表达应用到细粒度隐式篇章关系分类器。实验结果表明, 在细粒度隐式篇章关系识别任务中, 该方法的分类准确率达到49.79%, 比未考虑篇章关系方向性的方法有较大程度的提高。     

基于混合树结构神经网络的隐式篇章关系识别

隐式篇章关系识别的主要挑战是如何表示两个文本单元的语义信息.由于句子的语义信息往往由语法树中的信息焦点(谓词部分)所决定,所以关注信息焦点可以提升篇章关系识别的效果.为了增强信息焦点的作用,引入树状长短时记忆(tree-structured long short-term memory,Tree-LSTM)网络,使用其遗忘门的特性区别对待不同孩子节点的信息.最后利用神经张量网络(neural tensor network,NTN)来计算两个句子语义向量之间的关系.基于PDTB2.0(Penn Discourse Treebank)语料数据进行实验,实验结果表明混合树结构神经网络比传统的RNN模型在大部分关系中的Fscore上提高了3.0%左右.     

汉语隐式篇章关系识别

采用一个自建的汉语篇章结构语料库(隐式关系占80%)进行隐式关系识别。语料中将篇章关系分成3个层次, 第一层包含因果、并列、转折、解说四大类。在此语料上, 利用上下文特征、词汇特征、依存树特征, 采用最大熵的分类方法对四大类关系进行识别。实验结果显示, 总正确率为62.15%, 其中并列类识别效果最好, F1值达到75.26%。     

基于语义场景的隐式篇章关系检测方法

针对篇章隐式关系检测较难的问题,提出了一种基于语义场景匹配的平行推理方法。该方法利用框架语义学,将论元抽象为概念一级的语义描述(简称语义场景),实现描述形式的压缩。基于大规模静态数据,通过语义场景的匹配挖掘可比较论元辅助关系推理。该方法能够在保证检测精度的同时,提升检测效率。利用宾州篇章树库(penn discourse tree bank,PDTB)对这一检测方法进行评测,检测精度为55.26%。     

基于汉语框架语义关系的零形式识别与消解

零形式缺位填充是一种细粒度的语义角色标注任务,传统的语义角色标注只针对句中显式表达的语义论元标记语义角色,未显式表达的则不予标记,但这些缺失的语义论元对于篇章语义理解有很大的帮助。零形式识别与消解研究,有助于发现并找到这些缺失的语义论元,从而更深层次地理解篇章语义。文章重点研究了零形式核心框架元素集之间的关系,并将框架关系与框架语义特征相结合,提出了基于框架关系的零形式消解算法,实现了零形式的识别与消解。实验结果表明,核心框架元素集之间的关系可以较好地提升零形式的识别结果,框架关系的应用使得零形式消解的F值提高了3.52%。     

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.     

融合上下文信息的隐式情感句判别方法

文本情感分析作为自然语言处理领域中热点研究方向之一受到持续的广泛关注。相较于显式情感表达,隐式情感表达本身所提供的信息不足。文章提出一种融合上下文信息的隐式情感句判别方法。使用多极性正交注意力机制对隐式情感句嵌入表示,建立融合上下文的多极性注意层,对上下文信息进行建模,以挖掘上下文中的关键信息。最后,将上下文信息表示与隐式情感句表示拼接,以弥补隐式情感句本身信息不足的问题。在SMP2019-ECISA隐式情感分析数据集上的实验结果表明,该模型充分利用了上下文信息,提升了隐式情感句判别的效果。     

基于角色信息引导的多轮事件论元抽取

针对通用领域的事件论元抽取研究中角色信息利用不足和论元间缺少交互两个问题,提出角色信息引导的多轮事件论元抽取模型,用于增强文本的语义信息和论元之间的交互能力,提升事件论元抽取的性能。首先,为了更好地利用角色知识来引导论元的抽取,该模型根据角色定义构造角色知识,对角色信息和文本独立编码,并采用基于注意力机制的方法获取标签知识增强的文本表示,进而采用增强嵌入来预测各角色论元的起始和结束位置。同时,为了在抽取过程中充分利用事件论元之间的交互,受多轮对话模型的启发,设计一种多轮事件论元抽取算法。该算法参照“先易后难”的自然逻辑,每次选择预测概率最大,也是最容易确定的角色进行抽取。在论元抽取过程中,为了对论元之间的交互进行建模,模型引入历史嵌入,并在每一次预测结束后更新历史嵌入,帮助下一轮事件论元的抽取。实验结果表明,角色信息的引导和多轮抽取算法均有效地提升了论元抽取的性能,使得该模型的表现优于其他基线模型。     

中文篇章级句间关系自动分析

篇章级句间关系分析包括语义单元的切分和各个单元之间的语义关系识别.已有的研究主要面向英文,到目前为止,尚无可用的中文篇章级句间关系自动分析系统发布.在中文篇章关系语料库的基础上,首次实现面向中文的篇章级句间关系自动分析系统,包括语义单元切分、连词识别、显式语义关系识别以及隐式语义关系识别等.实验结果显示:该系统在显式句间关系识别上F-score为89.8;,隐式句间关系识别上F-score为55.5;.     

基于双重匹配注意力网络的观点型阅读理解

提出一种基于双重匹配注意力网络的方法.先用动态匹配机制迭代综合获取全局观点信息,同时利用多维度匹配机制在不同特征空间上计算全局语义信息,然后交互式多路注意力机制通过两路注意力之间的交互计算对上述全局的观点与语义信息进行融合,最后与选项表示结合预测答案的观点倾向.在观点型阅读理解数据集ReCO和Dureader上面的实验表明,该方法相对于基准模型在准确率上提升了1.18%和0.84%,在加权宏F1上提升了1.16%和0.75%.     

MC-CA:基于模态时序列耦合与交互式多头注意力的多模态情感分析

针对现有多模态情感分析模型对模态交互问题的忽视导致其性能受限的问题,提出一种基于模态时序列耦合与交互式多头注意力的多模态情感分析模型（MC-CA）。利用仿射变换耦合模态的情感信息和时序信息,使用交互式多头注意力机制获取模态间的交互信息,利用多通道情感预测方法综合全局与局部信息实现多模态协同训练。在多个公开数据集上的实验结果表明,该模型能够建立多模态数据之间的交互,在多模态情感分析任务中取得优异的性能。     

基于自注意力机制与BiLSTM的短文本匹配模型

现有短文本匹配方法更多关注于句子之间的交互方式,而较少考虑短文本自身关键特征的提取,为此本文提出一个融合自注意力机制和双向长短期记忆网络(BiLSTM)的短文本匹配模型。首先利用BiLSTM和自注意力机制进行特征编码,通过残差连接缓解信息丢失问题;然后利用双向注意力网络进行特征交叉,得到考虑了两个短文本之间交互影响的编码形式;最后将自注意力编码与双向注意力编码进行拼接,既能保留句子本身的重要特征,又能得到交互的特征信息。在两个公开数据集Quora和MRPC上进行对比实验,结果表明,该模型能有效改善短文本匹配性能,特别是在Quora数据集上的准确率达到87.59%,明显优于其他6种常见的同类模型。     

面向中医古籍的隐式关系抽取方法研究

自然语言种类丰富、形式灵活多变的特征使得隐式关系抽取成为目前关系抽取领域中富有难度和挑战性的任务之一。通过引入构式语法理论和依存句法分析两种认知语言学范畴的理论技术，构建了一种面向中医古籍中隐式关系的抽取方法。首先利用构式语法理论制定文本构式化策略、分析并定义出8种构式特征与5种构式类型，并使用CART(classification and regression tree, CART)分类模型完成文本分类；其次对其中4类构式使用依存句法分析技术构建句法树，通过分析句法树中的特定结构，制定医学类实体间的关系三元组抽取规则，实现隐式关系抽取；最后在经典中医古籍《黄帝内经》数据集上进行测试，实验结果表明了方法的有效性。     

基于双编码器的会话型推荐模型

针对现有会话型推荐模型难以准确捕获物品间全局依赖的问题,提出了一种基于双编码器的会话型推荐模型(SR-BE)。该双编码器由基于自注意力网络的全局编码器和基于图神经网络的局部编码器组成,无论被浏览物品之间的时间间隔长还是短,全局编码器都能够利用注意力机制自适应地捕获被浏览物品之间的全局依赖,并将其编码为全局隐向量。为弥补自注意力网络没有结构信息而难以捕获邻近物品间局部依赖的不足,在局部编码器中,首先将会话序列构建成会话图,然后通过图神经网络在会话图上捕获邻近物品间的局部依赖,并将其编码为局部隐向量。最后将从双编码器得到的全局隐向量和局部隐向量线性组合为会话表示,再通过预测层解码会话表示得到每个候选物品被点击的概率。实验结果表明:将基于自注意力网络的全局编码器与基于图神经网络的局部编码器结合在一起,比单一地使用全局编码器或局部编码器在命中率上分别提高了3.11%和6.55%。通过与同类模型客观定量比较,SR-BE模型在两个公开数据集上取得了突出的效果,表明该模型有效、可行。     

基于变分自动编码器的车辆轨迹预测研究

针对轨迹预测中车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等一系列问题,提出了一种基于变分自动编码器的车辆轨迹预测方法。首先,通过长短时记忆网络从原始数据中提取轨迹数据与车道信息的语义特征;其次,引入多头注意力机制,采用两个单独的注意力模块分别建立车辆与车辆交互模型及车辆与道路交互模型,能够更好地反映周边车辆与道路几何对车辆轨迹的交互影响,得到丰富的场景上下文信息;接着利用变分自动编码器对车辆轨迹多模态建模,捕捉轨迹预测的随机性质以生成合理的未来轨迹分布;最后从分布中多次重复采样以生成多条可能的未来轨迹。通过搭建实验平台和使用Argoverse自然驾驶数据集进行测试,改进后的预测方法在平均位移误差和最终位移误差指标下的数值分别为1.03和1.51,预测精度上相较于其他3种预测方法,分别提升了45%、46%、32%;实验结果表明：预测方法可以有效地改善车辆与周边车辆、道路几何之间交互关系建模不充分,以及车辆轨迹多模态建模不完整等问题,预测精度提高,总体预测性能良好。     

含分布式电源配电网故障定位交互式二进制蝙蝠算法

针对配电网故障定位二进制粒子群算法定位速度慢且准确度低的缺点,结合群智能平台设计了一种交互式二进制蝙蝠算法(interactive binary bat algorithm,IBBA),部署在群智能计算节点(computing processing node,CPN)上的IBBA通过CPN自组织、自协作方式与邻居节点交互蝙蝠位置等信息,提高了算法搜索速度和全局搜索能力;通过建立适合多电源配电网的编码方式,引入防伪正系数和假定故障数量的评价函数,增强了算法适用性;搭建IEEE14节点配电网模型,模拟配电网在分布式电源接入和信息畸变等多场景下单点、两点故障状态,通过实验验证了IBBA的有效性。与传统二进制蝙蝠算法、二进制粒子群以及交互式二进制粒子群算法相比,IBBA的收敛性能和容错能力更优,定位准确度较二进制粒子群、交互式二进制粒子群算法分别提高6%和10%。     

基于注意力机制的分层次交互融合多模态情感分析

针对基于视频的多模态情感分析中,通常在同一语义层次采用同一种注意力机制进行特征捕捉,而未能考虑模态间交互融合对情感分类的差异性,从而导致模态间融合特征提取不充分的问题,提出一种基于注意力机制的分层次交互融合多模态情感分析模型(hierarchical interactive fusion network based on attention mechanism, HFN-AM),采用双向门控循环单元捕获各模态内部的时间序列信息,使用基于门控的注意力机制和改进的自注意机制交互融合策略分别提取属于句子级和篇章级层次的不同特征,并进一步通过自适应权重分配模块判定各模态的情感贡献度,通过全连接层和Softmax层获得最终分类结果。在公开的CMU-MOSI和CMU-MOSEI数据集上的实验结果表明,所给出的分析模型在2个数据集上有效改善了情感分类的准确率和F1值。     

基于双向LSTM和自注意力机制的中文关系抽取研究

在采取远程监督方法构建大规模的关系抽取语料库时,一般会不可避免地引入大量冗余和噪声,从而影响关系抽取的效果。为此,文章提出基于双向长短期记忆网络(LSTM)和结构化自注意力机制的方法来缓解训练数据的噪声问题。结合中文语言的特点,在输入层采用结合义原训练的词向量作为输入,通过双向LSTM来抽取句子的语义特征,利用结构化的自注意力机制来学习面对实体对的上下文表示,通过多实例选择的方法来选择有效的实例,从而尽量避免噪声数据的影响。实验结果表明,文章提出的模型能有效提高实体关系抽取的准确率与召回率,其F1值比加上了注意力机制的CNN与双向LSTM分别提升了4.3%和1.2%。