基于循环神经网络变体和卷积神经网络的文本分类方法

针对长文本在文本分类时提取语义关键特征难度大,分类效果差等问题,建立基于循环神经网络变体和卷积神经网络(BGRU-CNN)的混合模型,实现中文长文本的准确分类。首先,通过PV-DM模型将文本表示为句向量,并将其作为神经网络的输入;然后,建立BGRU-CNN模型,经双向门控循环单元(B-GRU)实现文本的序列信息表示,利用卷积神经网络(CNN)提取文本的关键特征,通过Softmax分类器实现文本的准确分类;最后,经SogouC和THUCNews中文语料集测试,文本分类准确率分别达到89. 87%和94. 65%。测试结果表明,循环层提取的文本序列特征通过卷积层得到了进一步优化,文本的分类性能得到了提高。     

基于组合神经网络的中文事件抽取

中文事件抽取通常使用循环神经网络(recurrent neural network, RNN)来进行事件和事件要素的抽取, 但 RNN 在处理长度较长的词语时容易丢失重要信息, 为此提出一种组合卷积神经网络(convolutional neural network, CNN)与双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)网络的中文事件抽取模型 CNN-Bi-LSTM-CRF, 其中 CRF (conditional random field) 为条件随机场. 采用基于注意力机制和语义特征生成的字词联合向量, 使用 CNN 和 Bi-LSTM 模型对字词联合向量进行处理, 以获取其隐含表示, 最后通过 CRF 得出预测结果. 实验结果表明, 所提出的方法与其他现有的中文事件抽取方法相比, 准确率有明显提升.     

基于词-标签概率的多标签文本分类研究

针对多标签文本分类任务中如何有效地提取文本特征和获取标签之间潜在的相关性问题,提出一种CNN(convolutional neural networks)结合Bi-LSTM (bi-directional long short-term memory)的模型.首先,通过CNN网络和最大池化提取文本的特征;然后,利用训练的Labeled-LDA(labeled latent dirichlet allocation)模型获取所有词与标签之间的词-标签概率信息;接着,使用Bi-LSTM网络和CNN网络提取当前预测文本中每个词的词-标签信息特征;最后,结合提取的文本特征,预测与当前文本相关联的标签集.实验结果表明,使用词-标签概率获取文本中词与标签之间的相关性信息,能够有效提升模型的F1值.     

基于注意力模型的卷积循环神经网络城市声音识别

环境声音识别（Eenvironment Ssound Rrecognition ,ESR）在基于情景感知和辅助技术等领域发挥着重要作用。卷积神经网络（CNN）和循环神经网络（RNN）作为两种最具代表性的特征提取方法,在语音和音乐信号处理方面都取得显著效果,然而二者都存在一定缺点,CNN无法有效提取时间特征,RNN在提取空间特征上也存在明显劣势。为了有效的提取并利用时间特征和空间特征,提出一种新模型,利用时间分布卷积神经网络（CNN）从梅尔频谱图中提取城市环境声音特征,然后应用双向长短时记忆网络（BiLSTM）从CNN输出中获取时间信息,最后在BRNN的输出序列上实施注意力机制,从而关注到与城市环境声音最相关的特征进而做出分类判断,注意力机制既提高了分类准确性,又增强了模型的可解释性。实验结果表明,在Urbansound8K数据集中,该模型可获得80.2%的分类准确率,这优于以前在同一数据集的报告结果     

考虑区域占有率的RTCN路内停车泊位预测模型

针对汽车停车过程中反复寻泊产生无效交通量这一问题,以向公众提供准确的实时及预测的停车位信息为目标,考虑到当前卷积神经网络(CNN)和递归神经网络(RNN)在空闲泊位短时预测的研究中存在的缺陷,同时为了解决路内停车样本数过少的问题,将RAdam算子引入TCN模型中,其中,TCN模型用于提取空闲泊位的时间特征,RAdam算...     

一种加权词向量的混合网络文本情感分析方法

针对文本中关键信息被忽略以及分类准确率不高的问题,提出一种加权word2vec的卷积神经网络(CNN)与ATT-BiGRU混合神经网络情感分析模型.由于word2vec生成的词向量无法突出文本关键词的作用,因此引入词频-逆文档频率(TF-IDF)算法计算词汇权重值.然后,将加权运算后的词向量输入CNN与ATT-BiGRU混合模型提取隐含特征.该模型通过卷积神经网络(CNN)和基于注意力机制的双向门限循环单元(ATT-BiGRU)分别提取文本特征,以此来提高文本的表示能力.多组实验对比结果表明,与其他算法相比较,该模型的分类准确率最高且耗费时间代价小.     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。     

基于卷积神经网络的无人机识别方法仿真研究

为了提高卷积神经网络(CNN)的泛化性和鲁棒性,改善无人机航行时识别目标图像的精度,提出了一种CNN与概率神经网络(PNN)相结合的混合模型。利用CNN提取多层图像表示,使用PNN提取特征对图像进行分类以替代CNN内部的BP神经网络,采用均方差和降梯度法训练模型,通过将预处理的图像传输到CNN-PNN模型,对图像纹理和轮廓进行分类识别,并将此模型的仿真结果与卷积神经网络模型、卷积神经网络-支持向量机模型的结果进行对比。仿真结果表明,与其他两种模型相比,CNN-PNN模型具有更好的精准度,识别率高达96.30%。因此,CNN-PNN模型能够快速有效地识别图像,准确度和实时性较高,在图像识别等方面具有很好的应用前景。     

基于深度学习的盾构隧道施工地表沉降预测方法

针对现有盾构隧道施工引发地表沉降预测方法中存在的难以同时挖掘数据之间的非线性特征关系和双向时序信息的问题,通过融合卷积神经网络(CNN)、双向长短期记忆(BiLSTM)与自注意力机制(SA)提出一种基于深度学习的地表最大沉降预测方法(CNN-BiLSTM-SA)。该方法首先利用CNN提取网络输入数据之间的非线性特征关系,利用BiLSTM网络提取输入数据的双向时序信息,然后引入SA机制为CNN提取的特征分配相应的权重,有效捕获时间序列中的关键信息,最后通过全连接层输出最终地表沉降预测结果。以湖南万家丽路电力盾构隧道工程为依托构建地表沉降数据集,并选用ANN、RNN、LSTM、BiLSTM模型开展对比分析。研究结果表明：评估指标CNN-BiLSTM-SA的平均绝对误差(MAE)、均方根(RMSE)、决定系数(R2)、平均绝对百分误差(MAPE)均为最优,具有更好的地表沉降预测性能。     

基于RNN的视频模型构建和动作识别策略研究

递归神经网络(RNN)和长短时记忆(LSTM)在处理顺序多媒体数据方面取得显著成就。因此,提出了一种双向长短时记忆的递归神经网络(DLSTM),该方法结合了卷积神经网络(CNN)和递归神经网络的动作识别新方法。首先,利用CNN提取视频的深度特征,构建视频特征模型,以减少冗余和复杂性。然后,利用递归神经网络学习帧特征之间的序列信息。该方法具有学习长序列的能力,能够在一定的时间间隔内通过分析特征来处理较长的视频。实验结果与现有的方法比较,该方法在动作识别方面有明显完善。     

基于特征优化的广告点击率预测模型研究

针对互联网广告数据具有高维稀疏性的特点,在现有的点击率(Click-Through Rate, CTR)预测问题的相关理论和技术基础上,给出了一种基于梯度提升决策树(Gradient Boosting Decision Tree, GBDT)的卷积神经网络(Convolutional Neural Networks, CNN)在线广告特征提取模型(CNN Based on GBDT,CNN+). CNN+模型不仅能从原始数据中提取出深度高阶特征,还能解决卷积神经网络在稀疏、高维特征中提取特征困难的问题.在真实数据集上的实验结果表明,与主成分分析(Principal Component Analysis,PCA)和梯度提升决策树这两种特征提取方法相比, CNN+模型提取的特征更加有效.     

基于深度学习和支持向量机集成学习的PM2.5浓度24 h预测

提前24 h准确预测PM2.5浓度可以有效的避免严重污染天气对人体带来的不利影响.为了提高深度学习模型PM2.5浓度24 h预测的性能和泛化能力,在传统循环神经网络(RNN)模型上添加支持向量回归(SVR)作为下采样层提取非线性特征并降维;然后添加多核卷积神经网络(CNN)提升特征表达能力;最后利用门控循环网络(GRU...     

交通信息标准条款BLSTM和CNN链式模型分类方法

为了有效获取交通运输信息标准中的一致性条款,简化标准测试方法,针对现有文本分类方法中卷积神经网络存在的缺少上下文含义和循环神经网络存在的梯度消失及梯度弥散等问题,提出一种基于BLSTM的文本增强表示方法和基于CNN网络的语句分类相结合的方法进行一致性条款分类.其核心思想是将BLSTM前向和后向过程产生的向量相加,然后与原文本向量拼接作为文本的向量表示,将文本向量作为CNN网络的输入进行文本分类.为验证所提模型的有效性,设置了与传统机器模型TF-IDF+SVM、单CNN、BLSTM神经网络模型及经典混合模型的对比试验.通过构造的交通运输信息标准条款数据集测试表明,基于改进的BLSTM和CNN的链式混合神经网络模型准确率达到93.77%.     

基于XLNet的中文文本情感分析

针对Word2vec等静态词向量模型不能解决一词多义、传统情感分析模型不能同时提取文本的全局和局部信息问题,本文提出了结合广义自回归预训练语言模型(XLNet)的文本情感分析模型。首先利用XLNet表示文本特征,然后利用卷积神经网络提取文本向量的局部特征,再利用双向门控循环单元提取文本的更深层次上下文信息,最后引入注意力机制,根据特征的重要性赋予特征不同的权重,并进行文本情感极性分析。仿真实验中将本文模型与5种常用的情感分析模型进行对比,验证了模型的准确率和优越性。     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

指数趋势预测的BP-LSTM模型

本文根据股指、股价等数据的时序特征将人工神经网络(ANN)与深度学习中的循环神经网络(RNN)引入股指预测,基于BP神经网络模型与长短期记忆(LSTM)神经网络模型构建了BP-LSTM模型.基于上证指数,本文进行了进行数值实验.结果表明BP-LSTM预测模型的准确率相比传统机器学习模型有明显提升,与普通LSTM模型相比也有较大提升.     

基于特征金字塔卷积循环神经网络的故障诊断方法

变工况、变载荷设备部件不同故障的特征在信号中所占比例和位置不固定,且包括大量不同场景下的原始振动信号的多尺度复杂性.对此,提出一种基于特征金字塔网络(FPN)的卷积循环神经网络(CRNN)滚动轴承故障诊断方法.利用卷积神经网络(CNN)框架,并联CNN的卷积层和循环神经网络(RNN)中的长短时记忆(LSTM)层,形成新的CRNN,以充分利用CNN对空间域信息和RNN对时域信息的学习能力;在每一层中权值共享,减少网络参数;利用FPN构建全新特征图,输入一维信号和堆叠后形成的二维信号,对传感器采集的信号进行特征提取,实现故障诊断.利用行星齿轮箱进行故障试验,并进行5折交叉验证,该方法的诊断准确率平均值为99.20%,比基本神经网络模型至少高3.62%,表明该方法诊断精度高、鲁棒性强;利用凯斯西储大学轴承数据集进行验证,证明该方法具有良好的泛用性;利用t-SNE方法对模型的特征学习效果进行可视化分析,结果表明不同故障类别特征具有良好的聚类效果.     

融合CNN和标签特征的中文文本情绪多标签分类

文本情绪多标签分类是一种细粒度的文本情感分析,通过挖掘文本中蕴含的多种情绪信息,为文本分配多种所属的情绪标签。文章提出一种基于标签特征的卷积神经网络(CNN)情绪多标签分类方法,首先利用word2vec模型对文本进行词向量表示,然后利用标签特征来强化文本情绪和标签之间的联系,将其融合于CNN模型中,用于对文本情绪进行深层次的表示和多标签分类。为了验证方法的有效性,选取了CLR和LPLO两个多标签分类方法作为基准方法,在NLPCC2014的中文微博情绪分析数据集进行比较实验。结果表明,使用标签特征的CNN模型,可以提升微博情绪的分类性能。     

基于卷积神经网络的多通道特征表示文本分类模型

尽管长短期记忆网络(long short-term memory,LSTM)、卷积神经网络(convolutional neural network,CNN)及其结合体在文本分类任务中取得了很大的突破.但这类模型在对序列信息进行编码时,往往无法同时考虑当前时刻之前和之后的状态,从而导致最后分类效果不佳.此外,多版本预训练词向量比单个版本的预训练词向量包含更多的信息.因此提出了一种基于CNN的多通道特征表示文本分类模型(multi-channel feature representation text classification model based on CNN,MC-CNN).该模型首先通过两个不同的双向长短期记忆(bi-directional long short-term memory,Bi-LSTM)来对不同来源词向量所表示的文本序列进行正逆序上的特征提取,并以此形成多通道特征;然后利用多尺度卷积网络来进一步使得模型能够同时充分考虑到当前时刻之前以及之后的信息,从而更加有效地进行文本分类.MC-CNN在MR、SST-2、TREC、AG、Yelp_F、Yelp_P数据集上分别达到了81.6％、87.4％、98.6％、94.1％、65.9％、96.8％的准确率,实验结果表明本文模型MC-CNN在文本分类任务中具有优异的效果.     

基于知识图谱的问答系统中属性映射方法研究

在基于知识图谱的智能问答系统中,属性映射模块结果的错误传播会导致最终无法得到正确答案,对此提出了一种基于多注意力多维文本的属性映射方法。首先通过拆分问题文本及结合属性信息得到多维文本表示;其次使用长短期记忆网络(long-short-term memory, LSTM)层生成各自的隐层表示;然后输入多注意力机制层后使问句和属性之间的关系及语义信息更加完善,利用属性之间的交互信息及多种角度来加强问句语义信息的理解;最后通过卷积神经网络(convolutional neural networks, CNN)提取局部特征并且采用softmax分类器实现属性映射。试验结果表明,在自然语言处理与中文计算会议(NLPCC 2018)中知识库问答(KBQA)任务所提供的开源数据集上,本方法相比主流属性映射模型其性能有显著提升,准确率最高提升6.62%。本模型可以补足单一文本表示与注意力机制的短板,有效解决属性映射模块中语义歧义的问题,这有助于后续提高智能问答系统的整体性能。