基于AMCNN-LSTM的电力无线接入专网异常流量检测

为了减轻电力无线专网系统因网络业务增多而带来的网络攻击以及异常流量入侵的安全事故隐患,提出了一种基于注意力机制的卷积-长短期记忆网络(convolution-long short-term memory network based on attention mecha-nism,AMCNN-LSTM)模型.该模型为避免序列特征稀疏分布的问题,采用卷积神经网络(convolutional neural net-work,CNN)提取时间序列数据特征并转化为维度固定的稠密向量;为防止记忆丢失和梯度分散问题,使用融合注意力机制的CNN单元来捕捉重要的时间序列细粒度特征;将CNN提取局部特征与长短期记忆网络(long short-term memory network,LSTM)提取序列特征的优势相结合,对电力接入专网流量数据进行异常检测.通过在电力网真实数据集上实验表明,基于注意力机制的算法能够在150轮次迭代下达到89.14％的召回率及89.67％的综合F-meas-ure得分.所提出的模型能够及时、准确地检测电力网络异常流量,有效提高检测效率及准确度.     

集成局部和全局关键特征的文本情感分类方法

融合卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)的情感分析模型(CNN_BiLSTM)是一个流行的模型,其学习文本的局部特征和全局特征实现情感分类,但是忽略了特征对分类结果的重要程度,且没充分利用词语间的特征,导致分类准确率不高.提出一种集成基于多卷积核的卷积神经网络和注意力双向长短期记忆网络特征的文本情感分类方法(MCNN_Att-BiLSTM),其集成局部和全局的重要特征作为文本语义特征,该特征进而用于训练文本情感分类器XGBoost(eXtreme gradient Boosting).该方法基于注意力机制的BiLSTM提取对分类影响大的全局关键特征,基于多卷积核的CNN获得更全面的词语间特征,为集成分类器准备了有效分类的特征.实验结果表明,该模型具有更好的情感分类准确率,与CNN_BiLSTM模型相比,在IMDB数据集上准确率提升了1.75%,在txt-sentoken数据集上准确率提升了1.67%,在谭松波-酒店评论数据集上准确率提升了3.81%.     

基于语义共现与注意力网络的问题分类方法

针对汽车故障问答文本特征稀疏、语义信息不全、深层次语义特征较难提取等问题,提出基于问题-答案语义共现的多层次注意力卷积长短时记忆网络模型(co-occurrence word attention convolution LSTM neural network,CACL)的问题分类方法。通过向量空间模型计算问题与答案文本中语义相似的共现词,使用注意力机制聚焦问题文本中的共现词特征,输入卷积神经网络(convolutional neural network,CNN)提取问题局部特征,通过长短时记忆网络(long short-term memory network,LSTM)及词级别注意力机制提取长距离依赖特征及其更高层次的文本特征,采用Softmax进行问题分类。结果表明,相比较于主流的问题分类方法,该方法有效提高了问题分类的精度,最高提升了10.04%的准确率。同时,试验发现当选用11个有效共现词且共现词来自问题文本时,模型的处理精度最佳。合理利用问题-答案文本语义相似的共现词,能有效提升汽车故障问题的分类性能,且共现词的个数、来源对问题的分类精度有一定的影响。     

基于序列标注的事件联合抽取方法

事件抽取是自然语言处理领域的重要研究方向。传统的事件类型抽取系统采用分类方式,无法解决跨句子的事件角色和事件类型匹配问题。为了解决该问题,提出一种基于序列标注的事件联合抽取模型,结合卷积神经网络(convolutional neural networks, CNN)与长短期记忆网络(long short-term memory, LSTM)提取全局特征和局部特征;并在浅层LSTM层共享参数实现联合抽取,以序列标注方式抽取事件论元并匹配事件类型。实验结果表明,模型能有效提取司法领域的文档事件信息。     

基于GoogLeNet和双层GRU的图像描述

针对基于卷积神经网络(convolutional neural network,CNN)和长短期记忆网络(long short-term memory,LSTM)的方法存在计算复杂度高、收敛速度慢、训练时间长等问题,本文提出基于GoogLeNet和双层GRU的图像描述模型,在训练阶段采用适应性动量估计法(adaptiv...     

基于深度学习的中文影评情感分析

随着社交网络的兴起,更多人选择在网络上发表自己对影视作品的观点,这为影视投资人了解观众对电影的反馈提供了更方便的途径.例如,豆瓣影评中包含了海量用户或积极或消极的情感观点,而分析豆瓣影评的情感倾向能够辅助投资人进行决策,提升作品质量.大量数据分析必须借助计算机技术手段完成,其中情感分析是自然语言处理(natural language processing, NLP)的一个方向,常用来分析判断文本描述的情绪类型,因此也被称为情感倾向分析.为了提高影评情感分类的准确率,设置了多组对比实验来选择最优参数,比较了当以中文字符向量和词向量为输入矩阵时,双向长短期记忆(bidirectional long short-term memory,Bi-LSTM)模型和卷积神经网络(convolutional neural network, CNN)模型对分类准确率的影响.提出了一种以CNN模型为弱分类器的Bagging算法,训练了多个CNN模型,并采用投票法决定最终的分类结果.这种集成的方法减少了单个模型造成的分类偏差,比单一的Bi-LSTM模型的分类准确率提高了5.10%,比单一的CNN模型的分类准确率提高了1.34%.     

多通道CNN-BiLSTM的短时温度预测

温度数据具有明显的反向、时序相关性及多尺度特征，提升温度预测精度的关键在于能否有效提取温度数据的上述特征.为提取这些特征，该文提出一种多通道卷积双向长短期记忆网络(convolutional neural network-bidirection long short-term memory, CNN-BiLSTM)的短时温度预测模型.该模型首先利用双向长短期记忆网络(BiLSTM)提取数据的反向特征、时序相关性特征；再利用多通道且不同尺寸、不同膨胀率的卷积神经网络(CNN)提取数据的多尺度特征，组成在学习多尺度特征后的数据，将其和原始数据作为BiLSTM层的多通道输入，输出的数据经过全连接层，形成最终的预测结果.实验结果表明：多通道CNN-BiLSTM的短时温度预测模型能有效地提取数据的时序相关性、反向及多尺度特征，可有效地提升温度预测精度，是一种行之有效的短时温度预测模型.     

基于组合神经网络的中文事件抽取

中文事件抽取通常使用循环神经网络(recurrent neural network, RNN)来进行事件和事件要素的抽取, 但 RNN 在处理长度较长的词语时容易丢失重要信息, 为此提出一种组合卷积神经网络(convolutional neural network, CNN)与双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)网络的中文事件抽取模型 CNN-Bi-LSTM-CRF, 其中 CRF (conditional random field) 为条件随机场. 采用基于注意力机制和语义特征生成的字词联合向量, 使用 CNN 和 Bi-LSTM 模型对字词联合向量进行处理, 以获取其隐含表示, 最后通过 CRF 得出预测结果. 实验结果表明, 所提出的方法与其他现有的中文事件抽取方法相比, 准确率有明显提升.     

基于词-标签概率的多标签文本分类研究

针对多标签文本分类任务中如何有效地提取文本特征和获取标签之间潜在的相关性问题,提出一种CNN(convolutional neural networks)结合Bi-LSTM (bi-directional long short-term memory)的模型.首先,通过CNN网络和最大池化提取文本的特征;然后,利用训练的Labeled-LDA(labeled latent dirichlet allocation)模型获取所有词与标签之间的词-标签概率信息;接着,使用Bi-LSTM网络和CNN网络提取当前预测文本中每个词的词-标签信息特征;最后,结合提取的文本特征,预测与当前文本相关联的标签集.实验结果表明,使用词-标签概率获取文本中词与标签之间的相关性信息,能够有效提升模型的F1值.     

基于BiLSTM-CapsNet混合模型的社交文本情感分析

社交文本的情感分析主要存在结构不规则、特征稀疏和分类效果不理想等问题.针对这些问题,提出了一种双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)和胶囊网络(Capsule network,CapsNet)混合模型(BiLSTM-CapsNet).该模型先使用胶...     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型.该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks,CNN)结构提取病历文本的局部特...     

Sentiment Analysis of Code-Mixed Bambara-French Social Media Text Using Deep Learning Techniques

The global growth of the Internet and the rapid expansion of social networks such as Facebook make multilingual sentiment analysis of social media content very necessary. This paper performs the first sentiment analysis on code-mixed Bambara-French Facebook comments. We develop four Long Short-term Memory (LSTM)-based models and two Convolutional Neural Network (CNN)-based models, and use these six models, Naïve Bayes, and Support Vector Machines (SVM) to conduct experiments on a constituted dataset. Social media text written in Bambara is scarce. To mitigate this weakness, this paper uses dictionaries of character and word indexes to produce character and word embedding in place of pre-trained word vectors. We investigate the effect of comment length on the models and perform a comparison among them. The best performing model is a one-layer CNN deep learning model with an accuracy of 83.23 %.     

融合多粒度特征和标签语义共现的多标签分类

为了从文本中可以更加准确地分析其蕴含的内容,给人们的生产生活提供建议,在基于深度学习的传统多标签分类方法的基础上,提出一种融合多粒度特征和标签语义共现的多标签分类模型。该模型利用双向长短时记忆网络双向长短时记忆网络(bidirectional long short-term memory network, Bi-LSTM)提取多粒度的文本特征,获得不同层次的文本特征;并通过计算pmi的方式构建标签关系图,利用图卷积网络(graph convolution network, GCN)深入提取标签的隐藏关系,获得具有标签信息的文本表示;最终融合多粒度文本特征,进行多标签文本分类。在AAPD和news数据集上进行实验。结果表明：所提出模型的Micro-F1值分别达到0.704和0.729,验证了模型的有效性。     

基于BERT的危险化学品命名实体识别模型

针对危险化学品实体识别及关系识别的问题,本文基于双向长短期记忆网络连接条件随机场(Bidirectional Long Short-Term Memory with Conditional Random Field, BiLSTM-CRF)模型,通过引入双向编码器表示(Bidirectional Encoder Representation from Transformers, BERT)模型结合多头自注意力机制,提出了一种预训练命名实体模型BERT-BiLSTM-self-Attention-CRF,通过对危险化学品的文本进行字符级别编码,得到基于上下文信息的字向量,增强了模型挖掘文本全局和局部特征的能力。实验结果表明,在自行构建的数据集上,本文模型优于其他传统模型,其F1值为94.57%。     

基于STACKING-BERT集成学习的中文短文本分类算法

由于word2vec、Glove等静态词向量表示方法存在无法完整表示文本语义等问题,且当前主流神经网络模型在做文本分类问题时,其预测效果往往依赖于具体问题,场景适应性差,泛化能力弱.针对上述问题,提出一种多基模型框架(Stacking-Bert)的中文短文本分类方法.模型采用BERT预训练语言模型进行文本字向量表示,输...     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

基于特征融合的中文文本情感分析方法

针对现有的中文文本情感分析方法不能从句法结构、上下文信息和局部语义特征等方面综合考量文本语义信息的问题,提出一种基于特征融合的中文文本情感分析方法.首先,采用Jieba分词工具对评论文本进行分词和词性标注,并采用词向量训练工具GloVe获取融入词性的预训练词向量;然后,将词向量分别作为引入Self-Attention的BiGRU和TextCNN的输入,使用引入Self-Attention的BiGRU从文本的句法结构和文本的上下文信息两个方面综合提取全局特征,使用TextCNN提取文本的局部语义特征;最后,将全局特征和局部语义特征进行融合,并使用Softmax进行文本情感分类.实验结果表明,本文方法可以有效提高文本情感分析的准确率.     

双向多尺度LSTM的短时温度预测

针对长短期记忆网络(long short-term memory,LSTM)无法有效提取温度数据的多尺度特征和反向特征的问题,该文提出了一种双向多尺度跳跃LSTM(bidirectional multi-scale skip long short-term memory,BMS-LSTM)的短时温度预测模型.该模型以LSTM为核心单元,采用双向深层网络结构提取反向特征; 根据温度数据日的周期性设置跳跃连接数提取多尺度特征,解决了指数增长的跳跃连接数后期跳跃尺度过大的问题; 最后使用全连接层进行特征融合预测.实验结果表明:BMS-LSTM成功提取了温度数据的多尺度特征和反向特征,预测均值误差仅为3.890,优于对比模型,是一种有效的短时温度预测模型.     

融合GAN与深度神经网络的混合信用评估方法

随着信用卡和个人贷款业务在金融业的快速增长,如何在信息有限的情况下检测潜在违约或坏账业务已经变得极其重要。信用评分领域面临的主要困难是样本不平衡以及分类器性能不佳,为此本研究首先提出了一种基于表格数据的生成对抗网络Tab-GAN,从原始数据中生成足够的违约样本;随后设计了一种基于CNN-LSTM的混合深度学习模型用于特征提取,该模型包含卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆神经网络(Long Short-Term Memory,LSTM)两个子模型,分别从用户数据中提取静态局部特征和动态时间特征,并加入时空注意力模块对模型的输出进行重要度计算,从而抽取更关键的信息;最后在分类器层面引入焦点损失函数改进轻量级梯度提升机(Light Gradient Boosting Machine,LightGBM)分类器,实现违约风险的概率输出。在两个真实世界数据集中验证风险预测模型,实验结果表明生成对抗网络可以有效解决样本不平衡问题,CNN-LSTM+LightGBM模型在各项分类评价指标上均优于信用评分领域的其他先进算法,证明了该模型在信用评分领域的有效性和可移植性。