基于卷积神经网络的多通道特征表示文本分类模型

尽管长短期记忆网络(long short-term memory,LSTM)、卷积神经网络(convolutional neural network,CNN)及其结合体在文本分类任务中取得了很大的突破.但这类模型在对序列信息进行编码时,往往无法同时考虑当前时刻之前和之后的状态,从而导致最后分类效果不佳.此外,多版本预训练词向量比单个版本的预训练词向量包含更多的信息.因此提出了一种基于CNN的多通道特征表示文本分类模型(multi-channel feature representation text classification model based on CNN,MC-CNN).该模型首先通过两个不同的双向长短期记忆(bi-directional long short-term memory,Bi-LSTM)来对不同来源词向量所表示的文本序列进行正逆序上的特征提取,并以此形成多通道特征;然后利用多尺度卷积网络来进一步使得模型能够同时充分考虑到当前时刻之前以及之后的信息,从而更加有效地进行文本分类.MC-CNN在MR、SST-2、TREC、AG、Yelp_F、Yelp_P数据集上分别达到了81.6％、87.4％、98.6％、94.1％、65.9％、96.8％的准确率,实验结果表明本文模型MC-CNN在文本分类任务中具有优异的效果.     

集成局部和全局关键特征的文本情感分类方法

融合卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)的情感分析模型(CNN_BiLSTM)是一个流行的模型,其学习文本的局部特征和全局特征实现情感分类,但是忽略了特征对分类结果...     

基于组合神经网络的中文事件抽取

中文事件抽取通常使用循环神经网络(recurrent neural network, RNN)来进行事件和事件要素的抽取, 但 RNN 在处理长度较长的词语时容易丢失重要信息, 为此提出一种组合卷积神经网络(convolutional neural network, CNN)与双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)网络的中文事件抽取模型 CNN-Bi-LSTM-CRF, 其中 CRF (conditional random field) 为条件随机场. 采用基于注意力机制和语义特征生成的字词联合向量, 使用 CNN 和 Bi-LSTM 模型对字词联合向量进行处理, 以获取其隐含表示, 最后通过 CRF 得出预测结果. 实验结果表明, 所提出的方法与其他现有的中文事件抽取方法相比, 准确率有明显提升.     

基于GoogLeNet和双层GRU的图像描述

针对基于卷积神经网络(convolutional neural network,CNN)和长短期记忆网络(long short-term memory,LSTM)的方法存在计算复杂度高、收敛速度慢、训练时间长等问题,本文提出基于GoogLeNet和双层GRU的图像描述模型,在训练阶段采用适应性动量估计法(adaptiv...     

多通道CNN-BiLSTM的短时温度预测

温度数据具有明显的反向、时序相关性及多尺度特征，提升温度预测精度的关键在于能否有效提取温度数据的上述特征.为提取这些特征，该文提出一种多通道卷积双向长短期记忆网络(convolutional neural network-bidirection long short-term memory, CNN-BiLSTM)的短时温度预测模型.该模型首先利用双向长短期记忆网络(BiLSTM)提取数据的反向特征、时序相关性特征；再利用多通道且不同尺寸、不同膨胀率的卷积神经网络(CNN)提取数据的多尺度特征，组成在学习多尺度特征后的数据，将其和原始数据作为BiLSTM层的多通道输入，输出的数据经过全连接层，形成最终的预测结果.实验结果表明：多通道CNN-BiLSTM的短时温度预测模型能有效地提取数据的时序相关性、反向及多尺度特征，可有效地提升温度预测精度，是一种行之有效的短时温度预测模型.     

基于数据增强技术与CNN-BiLSTM-Attention的油田注水流量预测及效果

准确识别地层注水情况是油田开发的重要前提,对制定合理的注水发展规划也具有重要的指导意义。为准确预测注水,提出一种结合卷积神经网络、双向长短期记忆网络与注意力机制的油田注水流量预测方法,该方法首先将卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(bidirection long short-term memory,BiLSTM)进行联合,用于捕获注水流量的复杂非线性时空关系,然后采用注意力机制来关注输入的重要特征。并针对油田历史数据匮乏问题,提出使用数据增强技术来增加一维时间序列的数据量。采用国内某油田注水井真实历史注水数据进行实验,研究结果表明,本研究中提出的CNN-BiLSTM-Attention预测模型的平均绝对误差(Mmean absolute error,MAE)、均方根误差(root mean square errorRoot Mean Square Error, RMSE)、平均绝对百分比误差(mean absolute percentage errorMean Absolute Percentage Error,MAPE)和决定系数(Ccoefficient of Ddetermination,R2)MAE、RMSE、MAPE 和R2 分别为0.027、0.043、9.936和0.968,通过多种模型对比,表明该方法具有较高的预测精度,可以更准确地预测注水流量。此外,研究还证实,采用数据增强技术可以有效提高模型的预测精度。研究成果可为油田精细化注水提供调整方案与高质量数据,从而为油田智能化开发提供理论依据。     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于CNN和LSTM的图像隐写分析

为了进一步降低隐写分析算法的检测错误率，文章提出一种基于卷积神经网络(convolutional neural network, CNN)和长短期记忆网络(long short-term memory, LSTM)的隐写分析算法。该算法利用CNN捕获载体图像的结构特征，同时利用LSTM捕获图像的前后时序特征。为了验证混合神经网络的有效性，该算法以XuNet和SRNet为基准隐写分析网络，探讨CNN与LSTM的有效组合方式。实验结果表明，所提方法可以有效提高隐写分析算法的检测能力。     

短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．      

基于语义共现与注意力网络的问题分类方法

针对汽车故障问答文本特征稀疏、语义信息不全、深层次语义特征较难提取等问题,提出基于问题-答案语义共现的多层次注意力卷积长短时记忆网络模型(co-occurrence word attention convolution LSTM neural network,CACL)的问题分类方法。通过向量空间模型计算问题与答案文本中语义相似的共现词,使用注意力机制聚焦问题文本中的共现词特征,输入卷积神经网络(convolutional neural network,CNN)提取问题局部特征,通过长短时记忆网络(long short-term memory network,LSTM)及词级别注意力机制提取长距离依赖特征及其更高层次的文本特征,采用Softmax进行问题分类。结果表明,相比较于主流的问题分类方法,该方法有效提高了问题分类的精度,最高提升了10.04%的准确率。同时,试验发现当选用11个有效共现词且共现词来自问题文本时,模型的处理精度最佳。合理利用问题-答案文本语义相似的共现词,能有效提升汽车故障问题的分类性能,且共现词的个数、来源对问题的分类精度有一定的影响。     

基于Softmax函数增强卷积神经网络—双向长短期记忆网络框架的交通拥堵预测算法

对交通状态进行预测,需要准确识别和判断交通状态。基于道路自身的自由流速度,将具有不同速度等级的街道统一以旅行时间指数(travel time index, TTI)作为拥堵评价,相较于以车辆速度为基准的传统预测方法更能表现出道路的拥堵状态。提出了一种改进的深度学习预测模型(CS-BiLSTM),该模型基于卷积神经网络(convolutional neural networks, CNN)和双向长短期记忆(bidirectional long short-term memory, BiLSTM),并结合Softmax函数增强CNN提取出的交通空间特征信息。最后以成都市出租车的全球定位系统(global positioning system, GPS)数据进行验证。结果表明,所提出的CS-BiLSTM模型具有更高的准确性,其性能相比CNN-BiLSTM网络预测框架提升了13%。     

基于时空融合深度学习的工业互联网异常流量检测方法

基于流量异常发现网络中的攻击行为具有普适性优势，而传统的异常流量检测方法难以适应大量复杂的工业互联网流量特征提取，针对此问题提出一种基于时空融合深度学习的工业互联网异常流量检测方法。对类别不平衡的流量数据进行预处理操作，以形成样本分布较为均衡的流量数据集;使用融合聚合残差变换网络和门控循环单元的深度学习模型从空间和时间维度上提取流量数据特征，实现时空融合的流量数据特征的综合提取;通过Softmax分类器对流量数据进行分类。实验测试结果表明，所提方法具有较高的准确率和F1值，分别可达到94.7%和95.47%。与传统的异常流量检测方法相比，所提方法提高了对工业互联网异常流量数据的检测指标，且模型的运行时间相对较短。     

变分自编码器和注意力机制的异常入侵检测方法

针对传统的机器学习算法在检测未知攻击方面表现不佳的问题,提出了一种基于变分自动编码器和注意力机制的异常入侵检测方法,通过将变分自编码器和注意力机制相结合,实现使用深度学习方法从基于流量的数据中检测异常网络流量的目标。所提方法利用独热编码和归一化技术对输入数据进行预处理;将数据输入到基于注意力机制的变分编码器中,采集训练样本中隐含特征信息,并将其融入最终潜变量中;计算原始数据与重建数据之间的重建误差,进而基于适当的阈值判断流量的异常情况。实验结果表明,与其他入侵检测方法相比,所提方法明显改善了入侵检测的精度,不仅可以检测已知和未知攻击,而且还可以提高低频次攻击的检测率。     

基于分形理论的网络流量异常检测技术

传统网络流量异常检测技术不能适应网络流量的复杂性,异常检测精度低,不能保证实时性,为此,提出一种新的基于分形理论的网络流量异常检测技术。通过FIR滤波方法对流量的时间序列进行预处理。采用Schwarz信息准则对网络流量异常检测问题进行处理,估测网络流量异常点数量与位置。采用R/S分析法求出自相似指数Hurst值,依据Hurst值对网络流量时间序列的分形特征进行分析。引入滑动窗口完成多网络流量异常点的检测,在检测异常点处对流量进行分形处理,依据自相似指数计算过程获取异常点间的流量自相似指数值,保存异常点之后的流量,为下一个流量异常点的检测提供依据。实验结果表明,所提技术实现过程简单,网络流量异常检测精度高,保证了实时性。     

基于流时间影响域的网络流量异常检测

针对如何提高网络流量异常行为检测准确率的问题,提出基于网络流时间影响域(TID)的网络流量检测模型.通过分析正常和异常情况下流量网络模型平均度的变化,构建了基于复杂网络平均度指标的网络流量异常检测算法.实验结果表明,基于网络流时间影响域的流量网络模型能合理地描述网络流量间的依赖关系,具有良好的检测性能,同时该网络模型仅需时间戳、源IP、目的IP三维网络特征即可实现,检测方法适用于绝大多数网络类型,检测效率优于其他网络流量异常检测方法,具有较高的普适性.     

基于局部信息增强注意力机制的网络流量预测

针对网络流量具有强烈的非线性和不确定性导致传统统计方式或者机器学习方法难以准确预测的问题,为进一步提升网络流量预测精度,在传统时序序列预测模型的基础上设计实现了一种局部上下文信息增强的注意力机制,通过卷积计算将输入转换为注意力机制中的Query和Key,从微观角度对时间序列进行解释,提高了预测模型的局部感知能力。进而将提出的注意力机制分别与长短期记忆人工神经网络和门控循环单元两个时序预测模型相结合并将结合后的模型用于某运营商提供的两个不同网络流量数据集进行网络设备流量预测。实验结果表明基于局部上下文信息增强注意力机制的预测模型具有更好的预测效果。     

基于CNN-LSTM-Attention的短期风向预测研究

风向预测对提高风能转化率、保障风力发电机偏航系统安全运行及增加风力发电效益具有重要意义。为准确预测风向,提出一种基于CNN-LSTM-Attention的短期风向预测模型。首先,利用卷积神经网络(Convolutional Neural Network, CNN)提取风向数据动态变化特征,然后将所提取的特征向量构成时间序列作为长短期记忆(Long Short-Term Memory,LSTM)网络的输入,最后使用注意力机制(Attention mechanism)分配LSTM隐含层不同权重,增强重要特征的作用,完成风向预测。采用北部湾海域历史风向数据,通过实验与其他神经网络预测模型进行对比,结果显示,CNN-LSTM-Attention模型的相对平均误差(MAPE)值为3.2119%,R²为0.982 6, 优于其他对比模型。所得结果为广西北部湾海域海上风电探索发展提供参考。     

水下目标工频磁场扰动信号检测方法研究

为了解决水下目标磁场近程化探测中磁信号衰减快、干扰强及扰动特征不明确、无法有效探测信号等问题,提出了一种基于混合神经网络与注意力机制(Att-CNN-GRU)的工频磁场水下目标时间序列扰动信号检测方法。将CNN,GRU神经网络与Attention机制相结合拟合信号,构建分类神经网络,对目标信号进行分类识别,同时与未引入注意力机制的CNN-LSTM模型及单一CNN和LSTM网络模型的预测及检测性能进行比较。结果表明,相较于传统方法,信号拟合效果将误差分别减小了36.24%,14.44%和4.878%,目标检测准确率达到83.3%。因此,加入Attention机制的CNN-GRU模型检测性能比CNN,LSTM和CNN-GRU模型更优异,作为辅助手段,能有效解决工频磁场探测中扰动信号微弱、扰动规律不明确、背景噪声多等问题,实现对水下目标造成的工频磁场扰动信号的拟合与检测。     

拆分降尺度卷积神经网络入侵检测方法

针对卷积神经网络(convolutional neural network, CNN)模型待训参数量过大、多层网络导致特征和梯度消失等问题,提出一种基于拆分层和Inception-ResNet的卷积神经网络模型用于入侵检测。首先将网络流量数据转化为具有空间相关性的图像以适用于卷积神经网络的输入;然后使用Inception-ResNet卷积层增加网络深度,减少模型训练参数数量以及消除梯度消失问题,拆分层在降低图像尺度时基本保持图像原有分类特征;最后采用NSL-KDD数据集对改进模型进行训练和测试。测试结果表明：改进模型相对于Inception-ResNet模型具有更高的检测准确率和少数类样本召回率以及更好的训练时间性能。     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。