融合图卷积神经网络的文本情感分类

文档级别情感分类旨在预测用户对评论文本的情感极性标签。最近研究发现,利用用户和产品信息能有效地提升情感分类性能,然而,现有大多数研究只关注用户与评论、产品与评论的信息,忽略了用户与用户、产品与产品之间的内在关联,因此,本文提出一种融合图卷积神经网络的文本情感分类模型。首先,根据数据集构建了用户与用户关系图、用户与产品关系图;然后,融合两种关系图形成异质图,并使用图卷积神经网络学习用户与用户、产品与产品之间的内在联系,获得更好的用户和产品表示;最后,使用融合CNN的用户注意力和产品注意力机制的分层网络进行情感分类。实验结果表明,在公开数据集IMDB、Yelp2013和Yelp2014上,本文提出的模型能取得较好的分类效果。     

面向文本分类的张量残差图卷积网络模型

针对现有文本分类模型上下文信息挖掘不足、全局特征表示提取不充分等问题,提出了一种基于张量的残差图卷积网络模型．首先,以归纳学习方式构建文本图,挖掘文本中蕴含的句法关系、语义关系和序列关系并整合构建邻接张量,捕获文档的高阶上下文信息与关键局部特征信息;然后,利用残差连接加深网络深度,处理图卷积网络过平滑问题,提升模型的泛化能力;最后,设计图读出机制聚集所有节点特征,提取文本的全局特征表示．在R8和MR数据集上进行了实验评估,实验结果表明与已有文本分类方法相比,所提方法取得了优越的分类效果．     

融合实体信息的图卷积神经网络的短文本分类模型

提出一种融合实体信息的图卷积神经网络模型（ETGCN）,用于短文本分类.首先,使用实体链接工具抽取短文本中的实体;然后,利用图卷积神经网络对文档、实体和单词进行建模,丰富文本的潜在语义特征;将学习到的单词节点表示与BERT词嵌入进行拼接,通过双向长短期记忆网络,进一步挖掘文本上下文语义特征,再与图神经网络模型得到的文本特征进行融合,用于分类.实验结果表明,该模型在数据集AGNews、R52和MR上的分类准确率分别为88.38%、93.87%和82.87%,优于大部分主流的基线方法.     

融合标签层级结构的文本分类

层级标签文本分类旨在从具有层级结构的标签集中选择与文本最匹配的标签。现有的文本分类方法,通常使用编码器提取文本特征进行预测,他们忽视了标签语义、标签之间的相关性、文本特征对标签特征的影响。针对以上问题,提出了融合标签结构的层级标签文本分类模型(Label Hierarchical and Semantic Structure Learning,LHSSL)。LHSSL充分利用了标签语义结构与层级结构信息,通过共享参数的图卷积神经网络学习两种结构的相似特征。然后将标签特征与文本特征动态连接,构造标签模拟分布作为soft target。与不考虑标签信息直接使用LSTM、Bert和添加标签平滑后的LSTM、Bert相比,该模型在四个数据集上的准确率都有了一定的提升。     

基于词-标签概率的多标签文本分类研究

针对多标签文本分类任务中如何有效地提取文本特征和获取标签之间潜在的相关性问题,提出一种CNN(convolutional neural networks)结合Bi-LSTM (bi-directional long short-term memory)的模型.首先,通过CNN网络和最大池化提取文本的特征;然后,利用训练的Labeled-LDA(labeled latent dirichlet allocation)模型获取所有词与标签之间的词-标签概率信息;接着,使用Bi-LSTM网络和CNN网络提取当前预测文本中每个词的词-标签信息特征;最后,结合提取的文本特征,预测与当前文本相关联的标签集.实验结果表明,使用词-标签概率获取文本中词与标签之间的相关性信息,能够有效提升模型的F1值.     

基于多元语义特征和图卷积神经网络的短文本分类模型

在互联网和社交媒体迅猛发展的背景下,网络中出现了大量的短文本数据,这些数据在舆情监控、情感分析和新闻分类等自然语言处理领域展现出了非常高的经济和学术价值.但短文本数据固有的特征给短文本分类带来了不小的挑战,如文本稀疏和缺乏丰富的上下文语义等.针对这些问题,提出了一种结合多元语义特征和图卷积神经网络（GCN）的短文本分类模型,该模型通过哈尔滨工业大学的语言技术平台获取短文本的多种语义特征,并将这些语义特征同短文本一起构建一个多元异构图,然后将其作为GCN的输入,利用GCN学习短文本更深层特征,最后通过Softmax函数获取每个类别的概率分布,进而实现短文本分类.试验结果表明,本模型在短文本分类的F1评分上比传统单一模型提高了4%.     

基于图卷积的计算机辅助设计模型分类

计算机辅助设计(CAD)模型是一种带有顶点信息和网格信息的三维数据,三维模型数据存储方式常见的有点云、体素、网格模型等是典型的非欧氏空间数据。为了改进现有方法利用深度学习训练CAD模型的分类时,常有丢失局部信息或局部信息提取不足的情况。针对这种非欧氏空间的CAD数据,提出了一个结合CAD数据本身特点的基于图卷积的分类模型。首先通过图卷积网络(GCN)计算顶点的邻接矩阵和顶点的度矩阵。针对CAD模型的特点提出了不同于K近邻(KNN)的方法,直接根据CAD模型面片信息构建计算所需的邻接矩阵。其次,图卷积网络可以聚合邻近顶点的信息,设计通过拼接两层图卷积网络来提取不同尺度的局部特征。结果表明:在ModelNet40 CAD模型数据集上,若采用CAD模型面片信息建图的方法,本文方法为91.2%。而采用KNN建图的方法虽然比PointNet++模型低1%的精确度,比KD-NET模型低0.9%的精确度,但参数量要比PointNet++减少0.54 MB,比KD-NET减少6.54 MB。可见本文模型结合了CAD模型的特点和图卷积聚合邻接顶点提取局部信息的优势,使得分类的精确度相比PointNet++提高0.6%,用更少的模型参数量得到了更高的分类精确度。     

基于双向长短记忆网络和门控注意力的文本分类网络

首先,提出构建双向的全连接结构用于更好提取上下文的信息;然后,利用双向的注意力机制将包含丰富文本特征的矩阵压缩成一个向量;最后,将双向的全连接结构和门控制结构相结合.通过实验验证了上述结构对于提升文本分类的准确率具有积极的作用.将这3种结构和双向的循环网络进行结合,组成了所提出的文本分类模型.通过在7个常用的文本分类数据集(AG、 DBP、 Yelp.P、 Yelp.F、 Yah.A、Ama.F、Ama.P)上进行的实验,得到了具有竞争性的结果并且在其中5个数据集(AG、DBP、Yelp.P、Ama.F、Ama.P)上获得了较好的实验效果.通过实验表明,所提出的文本分类模型能显著降低分类错误率.     

基于图卷积网络的恶意代码聚类

许多新型恶意代码往往是攻击者在已有的恶意代码基础上修改而来,因此对恶意代码的家族同源性分析有助于研究恶意代码的演化趋势和溯源.本文从恶意代码的API调用图入手,结合图卷积网络(GCN),设计了恶意代码的相似度计算和家族聚类模型.首先,利用反汇编工具提取了恶意代码的API调用,并对API函数进行属性标注.然后,根据API对恶意代码家族的贡献度,选取关键API函数并构建恶意代码API调用图.使用GCN和卷积神经网络(CNN)作为恶意代码的相似度计算模型,以API调用图作为模型输入计算恶意代码之间的相似度.最后,使用DBSCAN聚类算法对恶意代码进行家族聚类.实验结果表明,本文提出的方法可以达到87.3%的聚类准确率,能够有效地对恶意代码进行家族聚类.     

文本方面级情感分类方法综述

随着深度学习的发展,方面级情感分类已经在单领域和单一语言中取得了大量的研究成果,但是在多领域的研究还有提升的空间。通过对近年来文本方面级情感分类方法进行归纳总结,介绍了情感分类的具体应用场景,整理了方面级情感分类常用的数据集,并对方面级情感分类的发展进行了总结与展望,提出未来可在以下领域开展深入研究：1）探索基于图神经网络的方法,弥补深度学习方法存在的局限性;2）学习融合多模态数据,丰富单一文本的情感信息;3）开展更多针对多语言文本和低资源语言的研究。     

融合BiLSTM的双图神经网络文本分类模型

采用图神经网络模型为整个语料库构建异构图处理文本分类任务时，存在难以泛化到新样本和词序信息缺失的问题。针对上述问题，提出了一种融合双图特征和上下文语义信息的文本分类模型。首先，为每个文本独立构建共现图和句法依存图，从而实现对新样本的归纳式学习，从双图角度捕获文本特征，解决忽略单词间依存关系的问题；其次，利用双向长短期记忆网络（bi-directional long short-term memory，BiLSTM）编码文本，解决忽略词序特征和难以捕捉上下文语义信息的问题；最后，融合双图特征，增强图神经网络模型的分类性能。在MR，Ohsumed，R8，R52数据集上的实验结果表明，相较于经典的文本分类模型，该模型能够提取更丰富的文本特征，在准确率上平均提高了2.17%，5.38%，0.61%，2.48%。     

多状态图神经网络文本分类算法

为了提高模型在文本分类任务中的分类性能,针对图神经网络中存在的过度平滑问题,同时增强模型在处理文本特征与文本表示方面的能力,提出了一种基于多状态图神经网络的文本分类算法(multi-state graph neural network, MSGNN)。多状态图神经网络是利用网络层的多个历史状态信息对图神经网络进行强化,构建合理的文本图结构数据作为模型输入。在缓解网络层过度平滑问题的同时,结合2种改进后的不同类型的图神经网络来增强模型的特征提取与特征聚合能力。利用多头自注意力机制对文本关键词的挖掘与利用能力,从多个文本子空间来生成高质量的文本表示,进而完成文本分类。通过在几个公开的文本分类数据集上进行实验分析,相较于其他神经网络的文本分类算法,该方法取得了较好的分类准确率。     

基于递归神经网络的文本分类研究

使用基于长短项记忆（LSTM）和门阀递归单元（GRU）计算节点的双向递归神经网络提取文本特征,然后使用softmax对文本特征进行分类。这种基于深度学习的神经网络模型以词向量作为基本输入单元,充分考虑了单词的语义和语法信息,并且在神经网络的计算过程中严格遵守单词之间的顺序,保留原文本中语义组合的方式,可以克服传统文本分类方法的不足。使用本文所提方法在第三届自然语言处理和中文计算会议（NLPCC 2014）公布的新华社新闻分类语料和路透社RCV1-v2语料上进行实验,其分类F1值分别达到了88.3%和50.5%,相较于传统的基线模型有显著的提升。由于该方法不需要人工设计特征,因此具有很好的可移植性。     

基于图嵌入和区域注意力的多标签文本分类

针对传统多标签文本分类模型未考虑标签之间以及标签与文本各个部分之间的相关性、低频标签预测效果不佳的问题,使用图嵌入和区域注意力技术来挖掘标签之间以及标签和文本之间的关系,提出了编码器-图嵌入和区域注意力机制-解码器模型来处理多标签分类任务.采用Bi-LSTM作为编码器,使用图嵌入技术生成标签嵌入矩阵;利用区域注意力机制结合单词级别与区域级别的信息,使得模型在预测每个标签时考虑文本不同部分的信息,挖掘了文本与标签之间的潜在关联;使用循环神经网络和多层感知机作为解码器结合随机策略梯度算法,减少训练损失,改善多标签分类效果.在AAPD和RCV1-V2多标签文本分类数据集上进行试验,根据数据集特征设置相关参数,以micro-F1和Hamming Loss作为评价指标,对比所提出模型与LP、卷积神经网络等9个经典模型.结果表明,所提出模型能够根据高频标签预测出低频标签,在2个数据集上的micro-F1和Hamming Loss均优于经典模型.     

End-to-end aspect category sentiment analysis based on type graph convolutional networks

For the existing aspect category sentiment analysis research,most of the aspects are given for sentiment extraction,and this pipeline method is prone to error accumulation,and the use of graph convolutional neural network for aspect category sentiment analysis does not fully utilize the dependency type information between words,so it cannot enhance feature extraction. This paper proposes an end-to-end aspect category sentiment analysis(ETESA) model based on type graph convolutional networks. The...     

多层局部感知卷积神经网络的高光谱图像分类

针对高光谱图像分类中光谱特征的高度非线性问题,提出一种基于多层感知器卷积层和批标准化层的改进卷积神经网络模型,提高模型在光谱域处理的非线性特征提取能力.该算法通过构建七层网络结构,实现多层局部感知结构,逐个像素对光谱信息开展分析,区分不同目标物的光谱信息,将全光谱段集合作为输入,舍去空间信息,利用动量梯度下降训练算法对多层局部感知卷积神经网络训练,实现对不同目标物体光谱特征的提取与分类.实验中,采用两组高光谱遥感影像进行对比分析,以Pavia University数据集为例,在3 600个训练样本情况下,测试集为1 800个样本,本文方法正确率为90.23%,LeNet-5正确率为87.94%,Linear-SVM正确率为90.00%;在21 000个训练样本情况下,测试集为全部样本,本文方法正确率为97.23%,LeNet-5正确率为96.64%,Linear-SVM正确率为92.40%.实验结果表明,在训练集较小的情况下,本文方法优于传统神经网络,能有效提取数据特征,并且在精度上和计算成本上略优于在小样本分类中具有高效和鲁棒性良好的SVM算法.在大规模训练集时,本文方法表现出良好的...     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

Pedestrian attribute classification with multi-scale and multi-label convolutional neural networks

Pedestrian attribute classification from a pedestrian image captured in surveillance scenarios is challenging due to diverse clothing appearances,varied poses and different camera views. A multiscale and multi-label convolutional neural network( MSMLCNN) is proposed to predict multiple pedestrian attributes simultaneously. The pedestrian attribute classification problem is firstly transformed into a multi-label problem including multiple binary attributes needed to be classified. Then,the multi-label problem is solved by fully connecting all binary attributes to multi-scale features with logistic regression functions. Moreover,the multi-scale features are obtained by concatenating those featured maps produced from multiple pooling layers of the MSMLCNN at different scales. Extensive experiment results show that the proposed MSMLCNN outperforms state-of-the-art pedestrian attribute classification methods with a large margin.     

基于正则约束的分层仿射图神经网络文本分类模型

文本分类是自然语言处理中一个重要的研究课题。近年来,图神经网络（graph neural network,GNN）在这一典型任务中取得了良好的效果。目前基于图结构的文本分类方法存在边噪声和节点噪声干扰、缺乏文本层次信息和位置信息等问题。为了解决这些问题,提出了一种基于正则约束的分层仿射图神经网络文本分类模型Text-HARC,该模型融合了图注意力网络（graph attention network,GAT）与门控图神经网络（gated graph neural network,GGNN）,引入正则约束过滤节点与边噪声,分别使用仿射模块与相对位置编码补充词语表示。通过实验,该方法在TREC、SST1、SST2、R8四个基准数据集上的准确率提升明显,消融实验结果也验证了该方法的有效性。     

基于加权频繁子图挖掘的图模型在文本分类中的应用

针对传统文本分类算法的分类精度低和计算复杂度高的问题,提出一种基于加权频繁子图挖掘的图模型文本分类算法。首先将文档集表示成图集;然后运用加权图挖掘算法提取频繁子图;最后,对特征向量进行分类。提出的算法仅提取最重要的子图,使其整体具有较好的分类效果和较高的计算效率。为评估该算法有效性,将其与多种现有分类算法分别对一个数据集进行分类实验,实验结果表明,提出的算法具有更高的识别精度和更少的运行时间。