治安监控视频中暴力行为的识别与检测

为了充分提取治安监控视频中的时空特征和时序特征,并对暴力行为进行准确的识别与检测,提出一种基于三维卷积神经网络(3DCNN)和卷积长短期记忆网络(Conv LSTM)的暴力行为识别算法。首先,采用一种通用视频描述符—3DCNN结构,提取视频的短时特征,这些特征封装了视频中与目标和场景相关的背景信息,然后,构建Conv LSTM网络对3DCNN提取的短时特征在时间轴上进行建模,进而充分提取视频的高层时序特征。最后,利用Sigmoid函数分类行为动作。为了验证该算法的高效性,对所提出的方法在暴力行为数据集Hockey上进行验证,达到了98.96%的识别精度。测试结果表明,该融合模型在检测效果上优于目前人工提取特征的方法和深度学习的方法。     

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

基于注意力机制和双向长短期记忆网络的电能质量扰动识别

提出一种基于深度学习的电能质量扰动信号分类新方法。该方法应用注意力机制和双向长短期记忆网络构建分类模型,并利用Matlab仿真产生训练数据集与验证数据集。考虑了7种常见的复合扰动信号,并将其作为序列数据直接输入到网络中进行训练和验证。实验结果表明,本方法能准确地识别不同的扰动信号,在验证集上模型的识别准确率可以达到99.7%。通过对比实验发现,应用注意力机制和双向长短期记忆网络的模型的识别能力要优于支持向量机和多层感知机等传统机器学习算法。     

基于双尺度串行网络的视频异常行为检测

针对传统视频异常行为检测模型存在的性能不佳与时间开销较大的问题,从空间和时序维度构造双尺度串行网络的视频异常行为检测模型(Dual-Scale Serial Network,DSS-Net)。首先,利用深度可分离卷积对Vgg-16网络进行改进,并利用改进的特征提取器从空间维度提取特征,从而可以通过减少计算参数量来降低模型的时间开销。接着,在此基础上引入注意力机制,从而强化目标特征的表达能力。最后,利用长短期记忆(Long Short-Term Memory,LSTM)网络从时序维度提取运动视频每一帧之间的上下文时序关系。在当前主流的UCSD Ped1和Ped2数据集以及更具挑战性的UCF数据集上进行测试,结果表明,在3个数据集上DSS-Net的ROC(Receiver Operating Characteristic)线下面积(Area Under Curve,AUC)值分别达到95.30%、96.80%、80.60%,等错误率(Equal Error Rate,EER)分别达到10.60%、12.60%、18.50%,同时具有更强的实时性。相比经典的One-class Neural Network (ONN)和Aggregation of Ensembles (AOE)模型,DSS-Net在Ped1和Ped2数据集上的AUC值分别提升了0.42%和0.94%。此外,DSS-Net也在UMN、ShanghaiTech和CUHK Avenue等数据集上进行了泛化能力和鲁棒性的测试,结果与当前主流模型相比具有一定的竞争力。     

基于注意力机制的LSTM长江汛期水位预测方法研究

为提高长短期记忆网络(Long Short-Term Memory,LSTM)在水位预测任务中的准确性,以及提高LSTM对数据中时空信息的利用率,本文提出了一种基于Softmax函数的注意力模块,并将其应用在LSTM的输入前,使模型可以根据输入数据中的时间和空间信息,自主地生成带有权重的词义向量,并赋予输入序列时间和空...     

融合FCN和LSTM的视频异常事件检测

针对传统视频异常检测模型的缺点,提出一种融合全卷积神经(FCN)网络和长短期记忆(LSTM)网络的网络结构.该网络结构可以进行像素级预测,并能精确定位异常区域.首先,利用卷积神经网络提取视频帧不同深度的图像特征;然后,把不同的图像特征分别输入记忆网络分析时间序列的语义信息,并通过残差结构融合图像特征和语义信息;同时,采用跳级结构集成多模态下的融合特征并进行上采样,最终获得与原视频帧大小相同的预测图.所提网络结构模型在加州大学圣地亚哥分校(UCSD)异常检测数据集的ped 2子集和明尼苏达大学(UMN)人群活动数据集上进行测试,均取得了较好的结果.在UCSD上的等错误率低至6.6%,曲线下面积达到了98.2%,F_1分数达到了94.96%;在UMN上的等错误率低至7.1%,曲线下面积达到了93.7%,F_1分数达到了94.46%.     

基于CNN-LSTM网络的在线多任务销售预测模型

有效的销售预测利于企业制定正确的营销策略,针对当前销售预测研究中存在无法进行实时在线多任务销售预测、稳定获取序列数据中的时序特征等问题,提出了一种基于CNN-LSTM网络的在线多任务销售预测模型。该模型上层CNN网络抽取得到重要的时序数据特征,进而输入到下层LSTM网络中进一步抽取复杂的不规则特征进行建模,最终得到预测结果。实验结果表明:CNN-LSTM模型不仅能在测试集上取得12.61%的最小平均绝对百分比误差,同时在长时间销售预测中,在线模型预测效果优于离线模型。     

深度残差网络和LSTM结合的图像序列表情识别

为了改善图像表情和图像序列表情识别效果,针对传统表情识别特征提取复杂和效果不理想问题,提出了一种深度残差网络和局部二值模式(local binary patterns,LBP)相结合的特征提取方法,利用深度残差网络提取数据集的空域特征,长短期记忆网络(long short-term memory,LSTM)处理时域特征,实现空域与时域特征的结合。研究了不同层数的残差网络、不同形式的LBP算子以及其他网络结构对人脸表情识别的影响,对比了支持向量机和随机森林实现的序列表情识别算法。在Cohn-Kanade数据集和AFEW6.0数据集上进行了验证,实验结果表明,算法在验证集上的准确率分别为73.1%和58.4%,相比其他算法有一定程度的提升。     

基于改进的长短期记忆网络的调制识别算法

自动调制分类技术是无线通信技术中的一个重要研究领域,卷积神经网络以及长短期记忆网络(Long Short-Term Memory,LSTM)两种深度学习模型在基于特征的自动调制分类技术中得到了广泛的应用.然而在实际应用中这两种模型都存在着一些问题,卷积神经网络模型在处理长时间依赖序列的分类任务时的准确率不佳,LSTM模型的时间性能会随着输入数据规模的增大显著下降.针对以上问题,提出一种基于带有注意力机制的LSTM网络的调制识别算法.首先,读取一定采样长度的信号原始数据,并通过长短期记忆网络提取信号特征;然后,利用注意力机制为学习到的特征分配权重以减少数据冗余;最后,分类器根据学习到的特征输出分类结果.仿真实验结果表明,新算法能以较低的时间代价取得较高的准确率.     

基于溶解氡数据和长短期记忆网络的地震预报

溶解气氡浓度异常为可靠地震前兆,通过对历史观测数据进行建模,预测溶解气氡未来趋势,是快速检测溶解气氡浓度异常、研究震-氡机制的前提。溶解气氡浓度数据为典型的时间序列数据,传统的时间序列预测技术主要为自回归(AR)方法和自回归滑动平均(ARMA)方法。这些方法以线性方法为主,其拟合精度有限。采用目前最流行的深度学习技术长短期记忆(LSTM)模型对姑咱地震台、西昌地震台和雅安地震台一段时间内连续观测的溶解气氡日观测数据集溶解气氡浓度数据进行建模,采用90%的数据作为训练数据训练LSTM网络,10%的数据作为预测数据,采用均方根误差评价指标来评价模型的效果。在三种数据集上,LSTM的预测误差均方根误差均明显低于AR和ARMA方法。该结果表明,LSTM的预测精度高于传统的AR、ARMA方法。     

基于CNN-BiLSTM的脑电情绪分类模型及验证

情绪在人们的思考、行为和交流方式中起着重要作用。为提高脑电信号的情绪识别准确率,充分利用脑电信号的频率、空间和时间维度上的信息,提出一种基于CNN-BiLSTM(convolutional neural networks-bidrectional long short term memory)的脑电情绪分类神经网络模型。该模型由卷积神经网络和多层特征融合的双向长短时神经网络构成,卷积神经网络用于学习脑电信号的频率和空间特征,双向长短时神经网络则从卷积神经网络的输出中挖掘脑电切片之间的时序信息。借助离散情绪模型的SEED(sjtu emotion eeg dataset)数据集和连续情绪模型的DEAP(database for emotion analysis using physiological signals)数据集来进行情绪分类实验。实验结果表明,在SEED和DEAP两个数据集上,CNN-BiLSTM模型均取得了目前最好的情绪分类性能。此外,该模型的时序信息挖掘模块性能优于单层长短时神经网络,能够学习更多的时序信息。     

基于时空特征融合的飞机尾涡识别

为了实现动态尾流缩减技术,减少进近阶段前机尾流对后机飞行安全的影响。依据相干激光雷达（coherent Light Lidar,简称CDL）扫描风场循环周期性特点,提出一种基于时空特征融合的飞机尾涡识别模型。首先,CDL扫描生成的径向速度风场转换成序列输入和块输入。然后,双向长短时记忆（bidirectional long short-term memory, 简称Bi-LSTM）网络用于提取序列输入的时间特征,卷积神经网络（convolutional neural network, 简称CNN）网络用于提取径向速度风场块输入的空间特征。最后,将融合的时域和空域特征输入全连接层分类器,得到最终分类识别结果。实验团队在深圳宝安机场附近采集风场,并构建尾流数据集来验证所提得融合模型,结果表明：基于CNN和Bi-LSTM时空特征混合模型具有较好的分类性能,在尾涡识别上的准确率、召回率、F1分数分别达到97.13%、97.50%、97.03%,且相比单一模型是一种更有效的识别方式,能够获得实时高效尾流预警。     

基于注意力模型的卷积循环神经网络城市声音识别

环境声音识别（Eenvironment Ssound Rrecognition ,ESR）在基于情景感知和辅助技术等领域发挥着重要作用。卷积神经网络（CNN）和循环神经网络（RNN）作为两种最具代表性的特征提取方法,在语音和音乐信号处理方面都取得显著效果,然而二者都存在一定缺点,CNN无法有效提取时间特征,RNN在提取空间特征上也存在明显劣势。为了有效的提取并利用时间特征和空间特征,提出一种新模型,利用时间分布卷积神经网络（CNN）从梅尔频谱图中提取城市环境声音特征,然后应用双向长短时记忆网络（BiLSTM）从CNN输出中获取时间信息,最后在BRNN的输出序列上实施注意力机制,从而关注到与城市环境声音最相关的特征进而做出分类判断,注意力机制既提高了分类准确性,又增强了模型的可解释性。实验结果表明,在Urbansound8K数据集中,该模型可获得80.2%的分类准确率,这优于以前在同一数据集的报告结果     

基于改进Transformer的生成式文本摘要模型

基于循环神经网络(recurrent neural network,RNN)注意力机制的序列到序列模型在摘要信息提取服务中已经取得了较好的应用,但RNN不能较好地捕捉长时序信息,这使现有模型受限。为此,提出了基于改进Transformer的生成式文本摘要模型。该模型利用Transformer提取全局语义,使用局部卷积提取器提取原文细粒度特征,并设计全局门控单元以防止信息冗余和弥补语义不足,筛选出利于摘要生成的文本关键信息。实验结果表明,所提模型在大规模中文短文本摘要数据集(large scale Chinese short text summarization,LCSTS)上的效果有明显的提升,在电力运维摘要数据集上,也有良好效果,具有可扩展性。     

融合对抗训练和胶囊网络的食品安全关系抽取模型

为解决食品安全领域关系抽取数据集体量小且关系种类复杂,普通网络模型无法充分进行特征学习的问题,提出了一种融合对抗训练（Adversarial Training）和胶囊网络（Capsule Network）的食品安全领域关系抽取模型GAL-CapsNet。该模型使用双向长短期记忆网络提取文本序列的全局特征,并通过胶囊网络的动态路由机制获取高层次的局部特征,具有较强的特征提取能力,同时在嵌入层加入对抗训练提升模型的鲁棒性,从而有效提高了关系抽取任务的效果。在本文所用的食品安全领域数据集上的实验结果显示：对比其他深度神经网络方法,GAL-CapsNet在关系抽取任务中的精确率、召回率和F1值均有明显提升,分别达到了85.91%、82.82%、84.33%,证明了模型在食品安全领域数据集上的有效性。     

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型(convolutional neural network-bidirectional long short term memory network,CNN-BiLSTM)进行...     

基于CNN-LSTM的脑电情感四分类研究

为深入研究脑电信号时空特征之间的关联,解决因手动提取特征导致的脑电情感识别准确率较低问题。将卷积神经网络（Convolutional neural network, CNN）和长短时记忆网络（Long short- term memory, LSTM）相结合,构造出了CNN-LSTM模型。首先,提取了5个频段的5个不同特征：功率谱密度(PSD)、差分熵(DE)、差分不对称(DASM)、理性不对称(RASM)和差分熵差分(DCAU)。其次,将特征输入CNN-LSTM模型,在DEAP数据集中的效价和唤醒两种情感维度上展开四分类实验。最后,将堆栈自编密码器(SAE),卷积稀疏自编码器(CSAE),深度置信网络(DBN)分别与LSTM组合,构造SAE-LSTM,CSAE-LSTM,DBN-LSTM三种混合模型同CNN-LSTM进行分类准确率比较。实验结果表明,DE特征的分类识别效果在五种特征中占最优,β和γ频段上所有特征的识别准确率远高于其他频段,尤其是γ频段。CNN-LSTM模型获得了最高的平均分类准确率92.48%,充分证明了CNN-LSTM模型的有效性。     

基于Bi-LSTM 的多层面隐喻识别方法

以双向长短期记忆网络(Bi-LSTM)为核心,结合多层卷积神经网络以及单向长短期记忆网络构建了多层面隐喻识别模型.基于多特征协同作用的思想,利用依存关系特征、语义特征、词性特征等多特征融合输入方法,丰富了模型的学习信息.为降低信息干扰,利用基于统计学的规范化文本输入方法提升模型识别效果.在英文语料词层面和句层面实验中,各个特征均表现出明显的正向作用.裁剪和填充处理及多特征协调作用在英文语料词层面研究中使F_1值分别提升2.5%和5.1%,在句层面研究中F_1值分别提升3.1%和1.9%.在中文语料句层面实验中,最优效果的F_1值可达88.8%.     

基于边界敏感网络的时序行为候选生成算法

针对视频序列中人体行为检测的问题,提出一种基于边界敏感网络的时序行为候选生成算法,在原有边界敏感网络的基础上通过对时序评估模块和候选评估模块引入更深层的卷积神经网络,进而对视频特征有更好的表达。同时在后处理阶段,在NMS(non-maximum suppression)算法中引入新的置信度分数高斯加权衰减方法。实验结果表明,该算法可以有效提高行为检测问题中时序行为候选生成任务的召回率。在公开数据集Activity Net上,提出的方法在保证生成相同数量候选的同时有更高的平均召回率。     

基于混合运动激励和时序增强的篮球运动员动作识别算法

为了解决在背景相似的篮球视频中提取特征级运动信息不充分和捕获长时序依赖关系困难等问题,从局部和全局的角度出发,提出一种混合运动激励和时序增强网络(mixed motion excitation and temporal enhancement network,MTE-Net),该网络由在时间建模上互补的混合运动激励(mixed motion excitation,MME)模块和时序增强(temporal enhancement,TE)模块构成。混合运动激励模块通过计算短距离视频帧之间混合的特征级差分来充分表征局部运动信息,并显性地对运动敏感通道进行激励。时序增强模块对长距离视频帧使用自注意力机制来构建时序关联函数并捕获时序之间的全局依赖关系,增强视频中的重要帧序列。在不额外引入光流和过多参数的情况下,在SpaceJam篮球动作数据集上的实验结果表明,与其他主流的动作识别算法相比,所提模型对篮球运动员动作识别的准确率更高。