融合文本内容和标签引导文本编码的分类方法

针对当前文本分类算法未能充分利用标签的语义表示导致文本表示学习与分类预测割裂的问题,提出一种融合文本内容编码和标签引导文本编码的文本分类方法.在文本内容编码部分,通过长短时记忆网络获得文本序列累计语义表示,通过自注意力机制捕获和强化文本长距离语义依赖.在标签引导文本编码部分,设计交互注意力机制,通过标签引导得到经由标签的语义表示过滤下文本的新表示.最后将两部分输出融合,得到同时具有本地内容语义信息和全局任务指导信息的文本表示,使得模型在文本表示阶段即对分类任务具有早期感知力.实验结果表明本研究方法在真实数据集上可有效提升文本分类任务性能.     

面向文本分类的张量残差图卷积网络模型

针对现有文本分类模型上下文信息挖掘不足、全局特征表示提取不充分等问题,提出了一种基于张量的残差图卷积网络模型．首先,以归纳学习方式构建文本图,挖掘文本中蕴含的句法关系、语义关系和序列关系并整合构建邻接张量,捕获文档的高阶上下文信息与关键局部特征信息;然后,利用残差连接加深网络深度,处理图卷积网络过平滑问题,提升模型的泛化能力;最后,设计图读出机制聚集所有节点特征,提取文本的全局特征表示．在R8和MR数据集上进行了实验评估,实验结果表明与已有文本分类方法相比,所提方法取得了优越的分类效果．     

基于多头注意力和词共现关系的方面级情感分析

针对特定目标的情感分析是文本情感细粒度理解任务的重要内容.已有研究大多通过循环神经网络和注意力机制来建模文本序列信息和全局依赖,并利用文本依赖解析树作为辅助知识,但这些方法没有充分利用目标词与文本词之间的依赖关系,也忽略了训练语料库中的词共现关系,而词共现信息往往意味着一种语法搭配.为了解决上述问题,提出一种目标依赖的多头自注意力网络模型.该模型首先设计内联和外联两种不同的注意力机制用于建模文本词和目标词的隐藏状态和语义交互;其次,该模型构建了语料库级别和句子级别的词共现图,并通过图卷积网络将词共现信息融合进文本的特征表示学习并用于下游分类任务.在五个标准数据集上进行了对比实验,实验结果表明,提出的模型在方面级情感分析任务中的性能优于所有对比模型.     

面向事件的文本表示模型的构建及应用研究

文本表示是自然语言研究的基础问题,也是帮助我们高效处理网络上文本信息的关键.针对当前基于词或短语的文本表示模型容易丢失语义信息的问题,采用图结构的思想构造一种面向事件的文本表示模型-事件语义网络,该模型用事件触发词代替事件作为节点,以事件之间的语义关系作为边,把文本表示为节点和边构成的图.基于该模型实现了自动摘要应用,...     

基于邻域信息的网络结构表示学习

针对传统网络表示学习方法无法学习节点网络结构相关性的问题, 提出一种基于邻域信息的网络结构表示学习模型. 该模型首先定义基于邻域信息的节点间结构相似度计算方法, 对不同邻域范围内节点间结构相似度建模； 其次构建深层自编码器, 将节点结构相似度作为监督信息优化网络表示, 在网络嵌入过程中学习节点结构信息. 与node2vec,SDNE,struc2vec三种相关算法进行对比的实验结果表明, 该方法有更好的网络结构识别能力, 能学习到节点间的结构相关性, 所得到的网络表示能适用于角色识别相关任务. 此外, 跨网络分类实验结果还体现了该方法在迁移学习方面的潜力.     

结合语义和依存关系的药物相互作用关系抽取

从生物医学文本中抽取药物相互作用对可以快速更新药物数据库,具有非常重要的意义与医学应用价值.现有的神经网络模型往往仅从句子序列或其他外部信息中学习到单一片面的特征,难以充分挖掘句中潜在的长距离依赖特征获得全面的特征表示.本文提出一种结合语义和依存关系的药物相互作用关系抽取方法,该方法在利用Bi-GRU网络分别从句子序列和目标药物实体的最短依存路径序列中学习语义特征表示的同时,进一步结合多头自注意力机制挖掘单词之间潜在的依存关系,通过充分融合多源特征来有效提升生物医学文本中药物相互作用对的识别和抽取性能.在DDIExtraction-2013数据集上的实验结果表明,该方法超过现有的药物相互关系抽取方法获得了75.82%的F1值.     

融合社区连接信息的网络嵌入方法

网络嵌入旨在学习节点的低维稠密向量,同时保留原始网络的结构和属性信息。现有的网络表示方法大多未考虑网络中的社区信息和社区间的信息,难以有效地学习网络的低维表示。为有效保留网络中的社区信息和社区间信息,提出了一种融合社区连接信息的网络嵌入方法(network embedding based on community connection information,ECCI)。该方法基于不同社区的亲密程度,捕捉网络中社区间的关系;采用自定义游走的方式得到融合局部结构、社区信息以及社区间信息的游走序列;通过Skip-Gram模型得到与之对应的网络嵌入结果。在3个公开数据集的实验结果表明,ECCI相比基准方法在链接预测上的AUC值和F1-Score都有一定程度的提升。     

Senti-LSTM:一个基于递归神经网络的情感分析模型

针对文本情感分析中情感极性的问题,提出一种改进型长短期记忆网络模型Senti-LSTM,该模型在现有LSTM网络单元中添加情感门,架构于Senti-LSTM之上的深度神经网络模型充分利用文本上下文信息、文本结构与情感语义等信息,实现更加有效的文本情感表示学习.实验结果表明,Senti-LSTM能够有效提升文本情感分类准确率,同时具有较强的鲁棒性.     

基于改进TADW的链路预测算法

针对经典的节点相似性链路预测算法只考虑网络拓扑结构或者节点属性信息的问题,使用词嵌入模型Word2vec学习得到节点文本属性信息的表示,进而改进TADW(text-associated deep walk)算法,弥补其语义信息表示能力的不足.基于改进的TADW图嵌入方法提出一种融合网络拓扑结构和节点属性信息的相似性指标,并基于此相似性指标提出链路预测算法.在三个真实数据集上的实验结果表明所提出算法可以提高预测精度,并具有更好的鲁棒性,同时使用图嵌入的方法有效解决了网络数据的稀疏性问题.     

融合实体信息的图卷积神经网络的短文本分类模型

提出一种融合实体信息的图卷积神经网络模型（ETGCN），用于短文本分类.首先，使用实体链接工具抽取短文本中的实体；然后，利用图卷积神经网络对文档、实体和单词进行建模，丰富文本的潜在语义特征；将学习到的单词节点表示与BERT词嵌入进行拼接，通过双向长短期记忆网络，进一步挖掘文本上下文语义特征，再与图神经网络模型得到的文本特征进行融合，用于分类.实验结果表明，该模型在数据集AGNews、R52和MR上的分类准确率分别为88.38%、93.87%和82.87%，优于大部分主流的基线方法.     

基于路径相互关注的网络嵌入算法

网络嵌入,或者称为网络表示学习,旨在将网络中的节点映射到表示空间中,生成低维稠密的向量,从而在保留网络结构信息的前提下对网络中的节点进行表示,而后通过已有的机器学习方法解决诸如链接预测、节点分类、社团发现和网络可视化等下游任务.随机游走算法可以很好地探索网络中节点的局部结构,然而之前的基于随机游走的表示学习算法只能为节点产生一种角色嵌入,没有考虑到和不同邻居进行交互时节点扮演的不同角色嵌入.因此,提出一种基于路径相互关注的网络嵌入算法,使用节点随机游走产生的上下文信息,通过注意力机制为每个节点生成上下文相互关注的节点嵌入.在真实数据集上的实验结果表明,与三个经典的网络嵌入算法相比,该算法具有更好的表现.     

基于句法树节点嵌入的作者识别方法

作者识别是通过分析未知文本的写作风格推断作者归属的交叉学科。现有的研究多基于字符和词汇特征，而句法关联信息在研究中鲜有涉及。该文提出了基于句法树节点嵌入的作者识别方法，将句法树的节点表示成其所有依存弧对应的嵌入之和，把依存关系信息引入深度学习模型中。然后构建句法注意力网络，并通过该网络得到句法感知向量。该向量同时融合了依存关系、词性以及单词等信息。接着通过句子注意力网络得到句子的表示，最后通过分类器进行分类。在3个英文数据集的实验中，该文方法的性能位列第2或3位。更重要的是，依存句法组合的引入为模型的解释提供了更多的方向。     

基于卷积神经网络的多通道特征表示文本分类模型

尽管长短期记忆网络(long short-term memory,LSTM)、卷积神经网络(convolutional neural network,CNN)及其结合体在文本分类任务中取得了很大的突破.但这类模型在对序列信息进行编码时,往往无法同时考虑当前时刻之前和之后的状态,从而导致最后分类效果不佳.此外,多版本预训练词向量比单个版本的预训练词向量包含更多的信息.因此提出了一种基于CNN的多通道特征表示文本分类模型(multi-channel feature representation text classification model based on CNN,MC-CNN).该模型首先通过两个不同的双向长短期记忆(bi-directional long short-term memory,Bi-LSTM)来对不同来源词向量所表示的文本序列进行正逆序上的特征提取,并以此形成多通道特征;然后利用多尺度卷积网络来进一步使得模型能够同时充分考虑到当前时刻之前以及之后的信息,从而更加有效地进行文本分类.MC-CNN在MR、SST-2、TREC、AG、Yelp_F、Yelp_P数据集上分别达到了81.6％、87.4％、98.6％、94.1％、65.9％、96.8％的准确率,实验结果表明本文模型MC-CNN在文本分类任务中具有优异的效果.     

基于BERT-BiLSTM-CRF模型的中文实体识别研究

中文文本实体识别,是自然语言处理的关键问题.传统的语言处理模型无法有效表示文本中的上下文语义信息,无法处理一词多义的不同语境,影响实体识别效果.提出了一种BERT-BiLSTM-CRF的实体识别模型,BERT预处理语言模型生成表征上下文语义信息的词向量,通过双向长短期记忆网络对生成的向量进行特征提取,自注意力机制能够有效获取文本语句中的长距离依赖,最后通过CRF进行解码生成实体标签序列.实验结果表明,该模型在微软亚洲研究院MSRA语料库和人民日报语料库上都取得了优异成绩,F1分别达到96.12％和95.88％.     

基于双向长短期记忆网络和标签嵌入的文本分类模型

提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。     

基于正则约束的分层仿射图神经网络文本分类模型

文本分类是自然语言处理中一个重要的研究课题。近年来，图神经网络（graph neural network，GNN）在这一典型任务中取得了良好的效果。目前基于图结构的文本分类方法存在边噪声和节点噪声干扰、缺乏文本层次信息和位置信息等问题。为了解决这些问题，提出了一种基于正则约束的分层仿射图神经网络文本分类模型Text-HARC，该模型融合了图注意力网络（graph attention network，GAT）与门控图神经网络（gated graph neural network，GGNN），引入正则约束过滤节点与边噪声，分别使用仿射模块与相对位置编码补充词语表示。通过实验，该方法在TREC、SST1、SST2、R8四个基准数据集上的准确率提升明显，消融实验结果也验证了该方法的有效性。     

基于多尺度注意力融合的知识追踪方法

互联网的普及使线上教育迅速发展,在缓解教育资源不均衡问题的同时,也为科研人员提供了大量的研究数据.教育数据挖掘是一个新兴学科,通过分析海量数据来理解学生的学习行为,为学生提供个性化学习建议.知识追踪是教育数据挖掘中的重要任务,其利用学生的历史答题序列预测学生下一次的答题表现.已有的知识追踪模型没有区分历史序列中的长期交互信息和短期交互信息,忽略了不同时间尺度的序列信息对未来预测的不同影响.针对该问题,提出一种基于多尺度注意力融合的知识追踪模型,使用时间卷积网络捕获历史交互序列的不同时间尺度信息,并基于注意力机制进行多尺度信息融合.针对不同学生及答题序列,该模型能自适应地确定不同时间尺度信息的重要性.实验结果表明,提出模型的性能优于已有的知识追踪模型.     

基于变分推断和元路径分解的异质网络表示方法

针对异质网络表示中传统元路径随机游走无法准确描述异质网络结构,不能较好地捕捉网络节点内在的真实分布问题,提出基于变分推断和元路径分解的异质网络表示方法HetVAE.该方法先结合路径相似度的思想,设计了一种节点选择策略对元路径随机游走进行改进,再通过引入变分理论对原始分布中的潜在变量进行有效采样.最后,通过设计个性化的注意力机制,对由分解获得的不同子网络的节点向量表示进行加权,再将其进行融合,使最终的节点向量表示具有更丰富的语义信息.通过在DBLP、AMiner、Yelp这3个真实数据集上进行多组不同网络任务的实验,验证了模型的有效性.在节点分类和节点聚类任务上,与对比算法相比,微观F_1值和标准化互信息分别提升了1.12%～4.36%和1.35%～18%,表明HetVAE能够有效地表征异质网络结构,学习出更符合真实分布的节点向量表示.     

基于BERT-CNN的数据标准化方法

针对复杂多源的非结构化数据，提出一种数据标准化方法，在抽取信息的同时，能将不同来源的数据转换为统一的表示形式.首先，对文本进行词性标注等预处理，提取出需要进一步识别类型的实体；其次，使用语言表征模型对文本信息进行向量表示；最后，通过基于注意力机制的卷积神经网络对抽取出的实体进行分类，以适应不同应用场景的分类标准.实验结果验证了该模型的有效性.     

基于卷积图神经网络的多粒度表示学习框架

卷积图神经网络（Convolutional Graph Neural Network,ConvGNN）以其强大的表达能力被广泛应用于社交网络、生物网络等领域的网络表示学习中，多粒度网络表示学习已被证明能够改善已有网络嵌入方法的性能，但目前尚缺乏以改善ConvGNN性能为目标的框架.针对此问题，提出一种基于ConvGNN的多粒度网络表示学习框架M-NRL，分为四个模块：粒化模块、训练模块、推理模块和融合模块.粒化模块构造从细到粗的多粒度网络并保留不同粒度节点的属性和标签信息，训练模块在最粗粒度的网络上以端到端的方法训练任意一种ConvGNN并优化其模型参数，推理模块使用优化后的ConvGNN推理出不同粒度网络的节点表示，融合模块采用注意力权重聚合不同粒度的节点表示以产生最终的节点表示.在四个公开引文网络数据集上进行的半监督节点分类任务验证了M-NRL的有效性，实验结果表明，MNRL不仅能加速现有ConvGNN的训练，还可以增强其最终的表示质量.