基于图注意力网络的案件罪名预测方法:CP-GAT

案件罪名预测任务是基于文本数据去预测案件所属罪名.针对现有方法在相似罪名和长尾数据集上表现不佳的问题，提出了一种基于图注意力网络的案件罪名预测方法CP-GAT(charge prediction based on graph attention network).该方法首先使用司法文书数据集中的案例事件描述文本和案例对应的法条信息建立异质图结构数据，构建后的异质图包含两种类型的节点(词节点、案例节点)，两种类型的边(词节点与词节点相连的边，词节点与案例节点相连的边).在基于法律文本构建后的异质图上使用图注意力网络进行图特征提取，最后将得到的特征向量输入到罪名预测的分类器中，得到案例所属的罪名.在CAIL2018法律数据集上的实验结果表明，基于图注意力网络的罪名预测方法优于对比实验使用的方法，准确率和宏观F1值分别达到了95.2%和66.1，验证了提出的方法有利于提升案件罪名预测任务的性能.     

基于事件异构图表示的文本去重算法

基于图结构的文本表示方法在新闻文本去重中具有更好的效果.但是,目前该表示方法还不能完整地表示文本的全部信息,并且忽略了图的语义信息,降低了新闻文本的去重效果.为此,本研究提出基于事件异构图表示的文本去重算法,该算法首先通过事件异构图表示新闻文本的全局语义与结构信息,然后提出双标签图核算法表征事件异构图,实现深度表征图的结构及语义信息.实验结果表明,该研究提出的去重算法比现有的基于图结构的文本表示去重方法在F1-score指标上提升了10%.最后,该算法能提高新闻文本的去重效果.     

融合LDA的门控图卷积网络文本分类研究

在现有文本图基础上引入隐狄利克雷分布,将文档-主题和主题-词信息融入文本图以丰富文本图中节点间关系,之后将该文本图送入一个基于图卷积网络门控机制模型.在多个数据集上进行验证.结果表明,所提出的模型优于现有图卷积网络文本分类模型.     

基于正则约束的分层仿射图神经网络文本分类模型

文本分类是自然语言处理中一个重要的研究课题。近年来，图神经网络（graph neural network，GNN）在这一典型任务中取得了良好的效果。目前基于图结构的文本分类方法存在边噪声和节点噪声干扰、缺乏文本层次信息和位置信息等问题。为了解决这些问题，提出了一种基于正则约束的分层仿射图神经网络文本分类模型Text-HARC，该模型融合了图注意力网络（graph attention network，GAT）与门控图神经网络（gated graph neural network，GGNN），引入正则约束过滤节点与边噪声，分别使用仿射模块与相对位置编码补充词语表示。通过实验，该方法在TREC、SST1、SST2、R8四个基准数据集上的准确率提升明显，消融实验结果也验证了该方法的有效性。     

基于多头注意力和词共现关系的方面级情感分析

针对特定目标的情感分析是文本情感细粒度理解任务的重要内容.已有研究大多通过循环神经网络和注意力机制来建模文本序列信息和全局依赖,并利用文本依赖解析树作为辅助知识,但这些方法没有充分利用目标词与文本词之间的依赖关系,也忽略了训练语料库中的词共现关系,而词共现信息往往意味着一种语法搭配.为了解决上述问题,提出一种目标依赖的多头自注意力网络模型.该模型首先设计内联和外联两种不同的注意力机制用于建模文本词和目标词的隐藏状态和语义交互;其次,该模型构建了语料库级别和句子级别的词共现图,并通过图卷积网络将词共现信息融合进文本的特征表示学习并用于下游分类任务.在五个标准数据集上进行了对比实验,实验结果表明,提出的模型在方面级情感分析任务中的性能优于所有对比模型.     

基于反馈图卷积神经网络的事件检测方法

事件检测是自然语言处理领域的重要任务之一,其结果可以有效支撑信息抽取、文本分类和事件推理等下游任务. 预训练语言模型BERT在事件检测任务上取得了显著的成绩,然而该类方法无法有效获取长距离和结构化的文本信息. 为了缓解该问题,本文提出基于反馈网络的图卷积神经网络模型进行文本结构信息捕获,同时这种新方法能够有效解决图卷积神经网络带来的语义信息衰减性问题. 本文首先使用BERT预训练模型获取文本的语义特征,然后使用融入反馈网络的图卷积神经网络提取文本的句法结构特征,最终使用多分类器实现对事件触发词的识别和分类.公开数据集ACE 2005上的实验结果表明,本文提出的事件检测方法在事件触发词识别和分类任务上的F1值分别达到了74.46%和79.49%,较现有工作平均提高了4.13%和4.79%.     

基于改进TADW的链路预测算法

针对经典的节点相似性链路预测算法只考虑网络拓扑结构或者节点属性信息的问题,使用词嵌入模型Word2vec学习得到节点文本属性信息的表示,进而改进TADW(text-associated deep walk)算法,弥补其语义信息表示能力的不足.基于改进的TADW图嵌入方法提出一种融合网络拓扑结构和节点属性信息的相似性指标,并基于此相似性指标提出链路预测算法.在三个真实数据集上的实验结果表明所提出算法可以提高预测精度,并具有更好的鲁棒性,同时使用图嵌入的方法有效解决了网络数据的稀疏性问题.     

基于局部特征和全局特征融合的微博情感分析

目前的神经网络一般只将词粒度层面的词向量作为输入,忽略了语义层面的全局语义特征.针对此问题,提出了一种基于局部特征和全局特征融合的情感分类方法,以解决评论特征稀疏和主题聚焦性差的问题.对于局部特征,选择基于情感词典和BiLSTM神经网络模型提取基于词向量的文本特征.对于文本集的全局主题特征,采用神经主题模型提取文本主题特征,并将其作为全局特征来表示短文本信息.最终将基于局部加权词向量的文本特征和基于神经主题模型的文本主题特征进行拼接,并通过Softmax层输出,完成文本情感分类.结果表明：融合全局主题语义和局部加权词向量可以更加丰富神经网络的特征,从而有效地提高情感分类的准确率.     

融合实体信息的图卷积神经网络的短文本分类模型

提出一种融合实体信息的图卷积神经网络模型（ETGCN），用于短文本分类.首先，使用实体链接工具抽取短文本中的实体；然后，利用图卷积神经网络对文档、实体和单词进行建模，丰富文本的潜在语义特征；将学习到的单词节点表示与BERT词嵌入进行拼接，通过双向长短期记忆网络，进一步挖掘文本上下文语义特征，再与图神经网络模型得到的文本特征进行融合，用于分类.实验结果表明，该模型在数据集AGNews、R52和MR上的分类准确率分别为88.38%、93.87%和82.87%，优于大部分主流的基线方法.     

基于加权语义网的改进文本相似度计算方法

为了提高特征词权重和文本语义相似度计算的精确性,文章提出了一种基于加权语义网的改进文本相似度计算方法。该方法首先以特征词为节点,以特征词窗口共现原理创建边,以频率-逆文本频率(term frequency-inverse document frequency,TF-IDF)值作为特征词节点的初始权值,融合共现频率和概念语义距离自定义边权重计算方法,构建加权文本语义复杂网络。然后使用语义网络中特征词综合特征指数排名靠前的m个词组成特征向量,利用搬土距离(earth mover's distance,EMD)衡量两个文本间的语义相似度。最后基于公开数据集对文本进行聚类实验,实验结果表明,在基于F1度量值标准上文章提出的方法要优于传统的文本相似度计算方法。