一种加权词向量的混合网络文本情感分析方法

针对文本中关键信息被忽略以及分类准确率不高的问题,提出一种加权word2vec的卷积神经网络(CNN)与ATT-BiGRU混合神经网络情感分析模型.由于word2vec生成的词向量无法突出文本关键词的作用,因此引入词频-逆文档频率(TF-IDF)算法计算词汇权重值.然后,将加权运算后的词向量输入CNN与ATT-BiGRU混合模型提取隐含特征.该模型通过卷积神经网络(CNN)和基于注意力机制的双向门限循环单元(ATT-BiGRU)分别提取文本特征,以此来提高文本的表示能力.多组实验对比结果表明,与其他算法相比较,该模型的分类准确率最高且耗费时间代价小.     

基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息.实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率.     

基于注意力机制的远程监督实体关系抽取

关系抽取是许多信息抽取系统中的一个关键步骤, 旨在从文本中挖掘结构化事实. 在应用传统的远程监督方法完成实体关系抽取任务时存在 2 个问题: ① 远程监督方法将语料库中的文本与已标注实体和实体间关系的知识库启发式地对齐, 并将对齐结果作为文本的标注数据, 这必然会导致错误标签问题; ② 目前基于统计学的方法过于依赖自然语言处理工具, 提取特征处理过程中生成的噪声积累严重影响抽取结果. 为了解决远程监督存在的弊端, 提出了一种基于注意力机制的端到端的分段循环卷积神经网络(convolutional neural network, CNN)模型. 为了检测更加细微的特征, 在网络输入层添加了注意力机制, 自动学习句子中与关系抽取相关的内容; 基于位置特征和词向量特征对句子进行编码, 并使用分段卷积神经网络(piecewise CNN, PCNN)抽取句子特征进行分类, 在网络中使用了效率较高的最大边界损失函数来衡量模型的性能. 该方法在 New York Times (NYT)数据集上的准确率比经典的 PCNN+MIL 模型提高了 2.0%, 比经典的 APCNN+D 模型提高了 1.0%, 与其他几种基线模型相比, 该模型准确率表现出色.     

融合词性和注意力机制的舆情本体非分类关系抽取研究

针对目前大多数非分类关系抽取方法忽略词性和部分局部特征的问题,提出融合词性信息和注意力机制的BiLSTM模型.利用预训练词向量和词性标注工具,将舆情信息语义词向量和词性词向量作为BiLSTM的输入来获取句子高维语义特征,解决长距离依赖问题.利用词语层注意力机制计算2个概念与上下文词语的相关性,获取句子的上下文语义信息....     

融合依存信息和卷积神经网络的越南语新闻事件检测

新闻事件检测是自动检测新闻文本中出现的相关事件,需要大量人力设计模板,而且难以获取句中隐含的语义信息,识别触发词时多存在歧义.为解决以上问题,利用融合依存句法信息的卷积神经网络(Dependency Parsing Convolutional Neural Networks,DPCNN),针对句子级别越南语新闻事件进行检测.该模型在编码过程中融合了词义、位置信息、词性信息和命名实体信息,利用传统卷积编码连续词之间的特征,利用融合依存句法信息的卷积编码非连续词之间的特征,再融合两部分特征作为事件编码,进而实现事件检测.实验结果表明,该方法在越南语新闻事件检测中取得了很好的效果.     

结合注意力机制的Bi-LSTM维吾尔语事件时序关系识别

针对维吾尔语事件时序关系识别问题,提出了一种结合注意力机制的双向长短时记忆模型.基于维吾尔语语言及事件时序关系的特点,抽取13项基于事件间内部结构信息的特征.将词向量作为双向长短时记忆模型的输入,挖掘给定事件句隐含的上下文语义信息.结合事件触发词建立注意力机制,获取该事件句的事件语义特征.将事件内部结构特征和语义特征相融合,作为softmax层的输入,进而完成事件时序关系的识别.实验结果表明,该方法在获取事件句隐含语义信息的同时也能获取对应的事件语义特征.融合事件内部结构特征后,识别准确率为89.42%,召回率为86.70%,衡量模型整体性能的F值为88.03%,从而证明了该方法在维吾尔语事件时序关系识别任务上的有效性.     

基于文本情感特征的心理评估模型

构建基于文本情感特征的心理评估模型. 首先, 根据词语的情感极性和词性设计词语特征, 将文本中的每个词语映射成情感词向量, 进而将其作为卷积神经网络的输入, 并加入注意力机制对输出结果进行优化, 得到包含情感特征的文本向量表示. 其次, 使用Bayes正则化算法优化权值, 控制并平衡神经网络拟合程度, 改进BP神经网络算法的网络泛化能力. 最后, 将文本向量作为Bayes正则化神经网络的输入, 预测学生的心理状态, 与心理评估结果的对比实验结果表明, 模型效果较理想.      

基于文本情感特征的心理评估模型

构建基于文本情感特征的心理评估模型. 首先, 根据词语的情感极性和词性设计词语特征, 将文本中的每个词语映射成情感词向量, 进而将其作为卷积神经网络的输入, 并加入注意力机制对输出结果进行优化, 得到包含情感特征的文本向量表示. 其次, 使用Bayes正则化算法优化权值, 控制并平衡神经网络拟合程度, 改进BP神经网络算法的网络泛化能力. 最后, 将文本向量作为Bayes正则化神经网络的输入, 预测学生的心理状态, 与心理评估结果的对比实验结果表明, 模型效果较理想.      

基于卷积神经网络的在线评论情感分析模型

针对标准卷积神经网络在文本情感分析过程中忽略了句子的整体结构信息的缺陷,本次研究在卷积神经网络的输入端加入注意力机制,提出了基于双通道输入的分段池化卷积神经网络模型(AF_CNN模型),该模型既能够有效提取文本局部最优特征,又能够捕捉到上下文词语之间的相关性。针对体育新闻评论情感分析的实验结果表明,与标准的卷积神经网络模型相比,本次研究提出的AF_CNN模型在分类准确率、召回率和F_1值等评价指标上,分别提升了3.40%,0.47%,1.96%。     

一种结合词性及注意力的句子情感分类方法

针对目前各种基于长短期记忆网络LSTM的句子情感分类方法没有考虑词的词性信息这一问题,将词性与自注意力机制相结合,提出一种面向句子情感分类的神经网络模型PALSTM(Pos and Attention-based LSTM).首先,结合预训练词向量和词性标注工具分别给出句子中词的语义词向量和词性词向量表示,并作为LSTM的输入用于学习词在内容和词性方面的长期依赖关系,有效地弥补了一般LSTM单纯依赖预训练词向量中词的共现信息的不足;接着,利用自注意力机制学习句子中词的位置信息和权重向量,并构造句子的最终语义表示;最后由多层感知器进行分类和输出.实验结果表明,PALSTM在公开语料库Movie Reviews、Internet Movie Database和Stanford Sentiment Treebank二元分类及五元情感上的准确率均比一般的LSTM和注意力LSTM模型有一定的提升.     

基于注意力卷积神经网络的中文虚假评论检测

针对现有的虚假评论检测方法未充分利用虚假评论文本特征这一问题,本文提出一种基于多层注意力机制的卷积神经网络模型。首先,使用多种预训练词向量初始化词嵌入层,并进行复值位置编码;然后,将经过多种卷积核卷积得到的多种特征映射依次通过嵌入用户特征的通道级和卷积核级的注意力层,根据特征重要程度分配不同权重;最后,将拟合的评论文本特征表示进行Softmax分类。实验结果表明,与诸多主流优秀神经网络模型相比,本文模型准确率和F₁值分别提高4.74和3.86个百分点。     

基于语义共现与注意力网络的问题分类方法

针对汽车故障问答文本特征稀疏、语义信息不全、深层次语义特征较难提取等问题,提出基于问题-答案语义共现的多层次注意力卷积长短时记忆网络模型(co-occurrence word attention convolution LSTM neural network,CACL)的问题分类方法。通过向量空间模型计算问题与答案文本中语义相似的共现词,使用注意力机制聚焦问题文本中的共现词特征,输入卷积神经网络(convolutional neural network,CNN)提取问题局部特征,通过长短时记忆网络(long short-term memory network,LSTM)及词级别注意力机制提取长距离依赖特征及其更高层次的文本特征,采用Softmax进行问题分类。结果表明,相比较于主流的问题分类方法,该方法有效提高了问题分类的精度,最高提升了10.04%的准确率。同时,试验发现当选用11个有效共现词且共现词来自问题文本时,模型的处理精度最佳。合理利用问题-答案文本语义相似的共现词,能有效提升汽车故障问题的分类性能,且共现词的个数、来源对问题的分类精度有一定的影响。     

多标签文本分类模型对比研究

为了有效地管理和利用网络文本信息,实现文本内容自动标签标注,提出采用多种深度学习模型对多标签文本分类进行研究。采用神经网络词向量模型word2vec获取文本数据的语义特征。对循环神经网络和卷积神经网络进行模型融合,引入注意力机制,形成TextRCNN_Attention神经网络模型。实验结果表明,TextRCNN_Attention模型结构融合了循环神经网络和卷积神经网络模型的优点,能更好地理解语义信息。Attention机制对文本特征提取更加合理,使模型将注意力聚焦在对文本分类任务贡献分值较大的特征上,分类效果更好。     

基于双通道的智能合约漏洞检测方法

智能合约因漏洞而造成巨大的经济损失受到了广泛关注。针对现有的智能合约漏洞检测方法检测精度不高的问题,结合动态卷积神经网络(dynamic convolution neural network,DCNN)、双向门控递归单元(bidirectional gate recurrent unit,Bi GRU)、图传递神经网络(message passing neural network,MPNN)、注意力机制提出了基于双通道的漏洞检测方法DBTA(DCNN-BiGRU-MPNN-Attention)。首先利用Word2vec词嵌入技术和图归一化方法对数据进行预处理,将获得的词向量表示传入改进DCNN-BiGRU,并引入了R-Drop(regularized dropout for neural networks)正则化方法提高模型泛化能力。将图归一化表示传入图传递神经网络,通过两个通道分别提取序列特征和图特征,然后结合自注意力机制和交叉注意力机制捕捉不同特征间的相关性,从而突出关键特征对漏洞检测的重要性。最后通过全连接层得到输出向量,利用sigmoid函数输出结果。通过消融实验和对比实验表明...     

基于ALBERT-CRNN的弹幕文本情感分析

提出一种结合ALBERT预训练语言模型与卷积循环神经网络(convolutional recurrent neural network,CRNN)的弹幕文本情感分析模型ALBERT-CRNN.首先使用ALBERT预训练语言模型获取弹幕文本的动态特征表示,使得句子中同一个词在不同上下文语境中具有不同的词向量表达;然后利用...     

CCM-MF:基于多维度特征融合的中文文本分类模型

针对中文文本中不同维度特征所携带的语义信息具有差异性的问题,本文提出一种基于多维度特征融合的中文文本分类模型：CCM-MF (Chinese-text Classification Model Based on Fused Multi-dimensional Features)。该模型融合层次维度和空间维度特征,以提高中文文本分类的准确率。首先,在层次维度上,使用预训练模型ERNIE (Enhanced Representation through Knowledge Integration)获取包含字、词及实体级别特征的词向量;然后,在空间维度上,将包含层次维度特征的词向量分别输入到改进后的深度金字塔卷积神经网络(Deep Pyramid Convolutional Neural Networks,DPCNN)模型及附加注意力机制的双向长短期记忆网络(Attention-Based Bidirectional Long Short-Term Memory Networks,Att-BLSTM)模型中,得到局部语义特征和全局语义特征;最后,将得到的空间维度特征分别作用于Softmax分类器,再对计算结果进行融合并输出分类结果。通过在多个公开数据集上进行实验,较现有主流的文本分类方法,本模型在准确率上有更好的表现,证明了该模型的有效性。     

融合情感特征的深度学习微博情感分析

针对传统情感分析方法对微博短文本应用效果不佳的问题,提出将文本情感特征与深度学习模型融合的微博情感分析新机制.通过词向量计算文本的语义特征,结合基于表情字符的情感特征,利用卷积神经网络挖掘特征集合与情感标签间的深层次关联,训练情感分类器.实验结果表明,相比基于词典的机器学习模型,该机制将情感分析准确率与F度量分别相对提升21.29%和19.20%.该机制结合语义和情感特征,利用卷积神经网络的抽象特征提取能力,改善微博短文本的情感分析精度.     

基于卷积递归深度学习模型的句子级文本情感分类

针对卷积层和池化层的局部性,提出了一种CNN与RNN的联合架构.通过使用一个无监督的神经语言模型训练初始词嵌入,然后使用网络的预训练参数对模型进行初始化;将信息通过卷积层进行特征映射以及通过长短时记忆模型学习长期依赖关系;通过轻微的超参数调优和词向量,在句子级文本情感分类中取得了出色的结果.使用循环层替代池化层来减少参数的数量以及卷积神经网络的复杂性.结果表明,该方法能够在减少本地信息丢失的同时,构建一个具有更少参数和更高性能的高效框架来捕获句子长期依赖关系.