基于时空特征融合的语音情感识别

语音情感识别在人机交互中有重要的作用。在语音情感识别领域中,通常使用迁移学习解决语音情感数据难获取的问题,但忽略了语音数据的时序信息和空间信息。考虑到AlexNet网络中的参数来自图像数据集,不能完全表现语音数据的空间信息,并且不包含时序信息,因此提出通过膨胀卷积网络提取语音频谱图的空间信息,添加双向长短期记忆神经网络提取时序信息,并进行时空特征融合;针对语音中含有大量与情感无关的特征,通过将对数梅尔频谱图的三个通道作为输入,减少情感无关因素的影响,并添加注意力机制,选取情感权重大的时域信号。用公开数据集实验证明了方法的有效性,在WAR和UAR上都有提升。     

融合FCN和LSTM的视频异常事件检测

针对传统视频异常检测模型的缺点,提出一种融合全卷积神经(FCN)网络和长短期记忆(LSTM)网络的网络结构.该网络结构可以进行像素级预测,并能精确定位异常区域.首先,利用卷积神经网络提取视频帧不同深度的图像特征;然后,把不同的图像特征分别输入记忆网络分析时间序列的语义信息,并通过残差结构融合图像特征和语义信息;同时,采...     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

一种融合视觉和听觉信息的双模态情感识别算法

语音信号和面部表情是人们表达情感的主要途径,也被认为是情感表达的两个主要模态,即听觉模态和视觉模态.目前情感识别的研究方法大多依赖单模态信息,但是单模态情感识别存在信息不全面、容易受噪声干扰等缺点.针对这些问题,提出一种融合听觉模态和视觉模态信息的两模态情感识别方法.首先利用卷积神经网络和预先训练好的面部表情模型,分别...     

基于ERNIE与多特征融合的中文命名实体识别

【目的】在中文命名实体识别中,传统命名实体识别方法中词向量只能将其映射为单一向量,无法表征一词多义,在特征提取过程中易忽略局部特征。针对以上问题,提出一种基于知识增强语义表示(enhanced reprsentation through knowledge integration, ERNIE)与多特征融合的实体识别方法。【方法】首先,通过预训练模型ERNIE获得词向量;然后将词向量并行输入双向长短时记忆网络(bidirectional long short-term memory network, BiLSTM)与膨胀卷积神经网络(iterated dilated convolutional neural network, IDCNN)中提取特征,再将输出特征向量进行融合;最后通过条件随机场(conditional random field, CRF)解码获取最佳序列。【结果】本研究所提出的模型优于其他传统模型,在微软亚洲研究院(Microsoft Research Asia, MSRA)数据集上的F₁值达到了95.18%,相比基准模型BiLSTM-CRF F<...     

差分特征融合改进的动态手势识别分类网络模型

通过卷积神经网络和长短期记忆网络进行多模型结合,实现动态手势识别分类建模,并使用数据增强算法增加数据的多样性,通过差分特征融合改进网络。7种动态手势动作识别分类的实验结果显示,使用数据增强算法增加数据的多样性后,结合模型的识别率最佳可提升286%;通过差分算法改进网络,序列间差分特征融合模型识别率达到8381%,维度差分特征融合模型识别率达到8762%。表明多模型结合可解决单一模型的局限性,处理更加复杂的动态手势分类问题,两种不同形式的差分特征融合改进都可提升动态手势动作的识别率,从而验证了所设计的差分特征融合改进的动态手势识别分类网络模型的有效性和可行性。     

基于改进CTPN网络的电气铭牌文本区域检测

针对现有的文本区域检测网络对图像特征提取不充分,导致文本行间距过小或字间距过大的电气铭牌文本区域检测准确率低、误检率高,提出一种融合ResNet的改进CTPN算法用于电气铭牌文本区域检测.该模型在卷积神经网络模块中引入残差连接和并行卷积核操作,提升模型对铭牌图像提取特征的能力.在长短期记忆网络模块采用双向门控单元,降低模型训练难度.经实验验证,改进后的CTPN模型F值(F-measure)明显提升,对铭牌文本区域误检率显著降低.     

基于DSCNN-BiLSTM的入侵检测方法

针对传统的入侵检测方法无法有效提取网络流量数据特征的问题,提出了一种基于DSCNN-BiLSTM的入侵检测方法,该方法引入了深度可分离卷积代替标准卷积从而减少了模型参数,降低了计算量,并应用双向长短期记忆网络(BiLSTM)提取长距离依赖信息的特征,充分考虑了前后特征之间的影响.首先,通过主成分分析法(PCA)对网络流量数据进行特征降维,并创新性地将一维网络流量数据转化为三维图像数据;然后,分别运用深度可分离卷积神经网络(DSCNN)和双向长短期记忆网络(BiLSTM)提取网络流量数据的空间特征和时间特征;最后,利用KDDCUP99数据集进行训练、验证和测试.实验结果表明,与其他传统的入侵检测方法相比,该方法具有更高的准确率和更低的漏报率.     

复杂环境中一种基于深度学习的异常检测方法

为了解决复杂环境中异常检测的问题,提出一种基于深度学习的检测方法。首先,通过引入(you only look once,YOLO)检测,将卷积神经网络回归法提取的物体时空特征,输入到长短期记忆模型(LSTM),追踪复杂环境中个体的运动轨迹。然后,评估相邻个体间运动轨迹的依赖性。最后,采用编码-解码框架训练LSTM模型,预测物体未来的运动轨迹;根据物体未来运动轨迹的异常概率,最终完成异常检测。实验结果表明,解决了复杂环境中运动物体间的相互干扰问题;在时间和空间鲁棒性评估上,优于其他轨迹追踪的方法,从而证明了本方法的有效性和可行性。     

基于CNN和LSTM的脑电信号情感识别

为了提高脑电信号情感识别的准确率,提出了一种基于卷积神经网络(CNN)和长短时记忆(Long Short-Term Memory,LSTM)网络的脑电信号情感识别方法.首先,对62个通道的脑电信号进行预处理,并对预处理后的每个通道的脑电信号分别采用一维卷积神经网络提取情感特征.然后,利用LSTM网络在序列上的建模能力,...     

电话交谈语音识别中基于 LSTM-DNN 语言模型的重评估方法研究

近年来,神经网络语言模型的研究越来越受到学术界的广泛关注.基于长短期记忆(long short-term memory,LSTM)结构的深度神经网络(LSTM-deep neural network,LSTM-DNN)语言模型成为当前的研究热点.在电话交谈语音识别系统中,语料本身具有一定的上下文相关性,而传统的语言模型对历史信息记忆能力有限,无法充分学习语料的相关性.针对这一问题,基于LSTM-DNN语言模型在充分学习电话交谈语料相关性的基础上,将其应用于语音识别系统的重评估过程,并将这一方法与基于高元语言模型、前向神经网络(feed forward neural network,FFNN)以及递归神经网络(recurrent neural network,RNN)语言模型的重评估方法进行对比.实验结果表明,LSTM-DNN语言模型在重评估方法中具有最优性能,与一遍解码结果相比,在中文测试集上字错误率平均下降4.1％.     

融合多模态的虚假新闻检测

在社交媒体高速发展方便信息交流的同时,虚假新闻也在网络上大量传播,对社会稳定造成了很大的影响.针对当前虚假新闻检测工作大多充分考虑虚假新闻中新闻文本内容而忽略图像内容的问题,提出了一种基于注意力的BiLSTM-CNN多模态虚假新闻检测模型.该模型首先使用双向长短期记忆神经记忆网络(BiLSTM)提取文本内容特征,使用卷积神经网络(CNN)提取图像语义特征,利用注意力机制(Attention)层对提取的内容特征信息分配相应的权重,再将两种特征融合以形成重新参数化的多模态特征作为输入进行虚假新闻检测.实验表明,该方法达到了98.3%的正确率.     

深度残差网络和LSTM结合的图像序列表情识别

为了改善图像表情和图像序列表情识别效果,针对传统表情识别特征提取复杂和效果不理想问题,提出了一种深度残差网络和局部二值模式(local binary patterns,LBP)相结合的特征提取方法,利用深度残差网络提取数据集的空域特征,长短期记忆网络(long short-term memory,LSTM)处理时域特征,实现空域与时域特征的结合。研究了不同层数的残差网络、不同形式的LBP算子以及其他网络结构对人脸表情识别的影响,对比了支持向量机和随机森林实现的序列表情识别算法。在Cohn-Kanade数据集和AFEW6.0数据集上进行了验证,实验结果表明,算法在验证集上的准确率分别为73.1%和58.4%,相比其他算法有一定程度的提升。     

基于混合神经网络的序列推荐算法

为了提高推荐算法的推荐性能,在序列建模过程中,针对循环神经网络(recurrent neural network,RNN)无法并行运算导致建模速度与准确度较低,以及在偏好预测过程中对用户不同阶段偏好没有动态融合的问题,提出了一种基于混合神经网络的序列推荐算法.在算法模型的用户交互序列建模阶段,考虑到用户近期偏好变化频繁...     

监控视频中基于人体关键点的步态识别研究

步态识别作为一种行为特征识别技术,相对于人脸识别具有图像分辨率要求低、可远距离识别、可夜间识别等优点,在视频侦查领域有广阔的应用前景。本文提出一种基于监控视频中人体轮廓关键点与质心之间位置关系特征表示,利用BP神经网络进行分类的步态识别方法。基于CASIA Dataset B进行实验,实验结果验证了所选步态特征的可行性,实现了较高的步态识别效果。     

基于YOLOv4的暴力行为实时检测算法

针对当前深度学习行为识别技术无法满足监控系统实时性要求的问题,本文提出了一种监控视频暴力行为实时检测算法.该算法以YOLOv4模型作为基础,从提升检测准确性和实时性的角度对模型的主干网络和后处理方法做了改进.通过自建暴力行为数据集,分别对YOLOv4原模型和改进模型进行训练和测试.实验结果表明,在检测精度和速度的性能比...     

基于组合神经网络的中文事件抽取

中文事件抽取通常使用循环神经网络(recurrent neural network, RNN)来进行事件和事件要素的抽取, 但 RNN 在处理长度较长的词语时容易丢失重要信息, 为此提出一种组合卷积神经网络(convolutional neural network, CNN)与双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)网络的中文事件抽取模型 CNN-Bi-LSTM-CRF, 其中 CRF (conditional random field) 为条件随机场. 采用基于注意力机制和语义特征生成的字词联合向量, 使用 CNN 和 Bi-LSTM 模型对字词联合向量进行处理, 以获取其隐含表示, 最后通过 CRF 得出预测结果. 实验结果表明, 所提出的方法与其他现有的中文事件抽取方法相比, 准确率有明显提升.     

基于时空特征融合的飞机尾涡识别

为了实现动态尾流缩减技术,减少进近阶段前机尾流对后机飞行安全的影响。依据相干激光雷达(coherent Doppler lidar, CDL)扫描风场循环周期性特点,提出一种基于时空特征融合的飞机尾涡识别模型。首先,CDL扫描生成的径向速度风场转换成序列输入和块输入。然后,双向长短时记忆(bidirectional long short-term memory, Bi-LSTM)网络用于提取序列输入的时间域特征,卷积神经网络(convolutional neural network, CNN)网络用于提取径向速度风场块输入的空间域特征。最后,将融合的时间域和空间域特征输入全连接层分类器,得到最终分类识别结果。实验团队在深圳宝安机场附近采集风场,并构建尾流数据集来验证所提得融合模型。结果表明：基于CNN和Bi-LSTM时空特征融合模型具有较好的分类性能,在尾涡识别上的准确率、召回率、F₁分数分别达到97.13%、97.50%、97.03%,且相比单一模型是一种更有效的识别方式,能够获得实时高效尾流预警。     

CNS-Net:一种循环多注意力特征聚合架构

基于卷积神经网络(convolutional neural network, CNN)方法在高分辨率遥感图像分类时，提取全局特征信息和局部特征信息方面有一定优势，但不能有效区别关键信息和干扰信息。由此，提出一种端到端的CNS-Net网络来提取图像显著性特征。首先，设计了一个全局增强性模块(global enhancement module, GEM)通过显示建模通道之间的相互依赖关系，使网络选择性提取关键区域；其次，提出了一个多级循环注意模块(multi-stage cyclic attention module, MCAM)来捕捉特征信息的长期依赖关系和上下文感知信息；最后，在4个公共数据集上进行实验，结果表明所提方法达到了最优的分类性能。     

基于视频监控的手扶电梯乘客异常行为识别

针对乘客在搭乘扶梯时的危险行为难以被实时准确检测的问题,提出了一种基于视频监控的手扶电梯乘客异常行为识别算法。首先,使用YOLOv3对图像中乘客的位置进行检测;接着,使用MobileNetv2作为基网络,结合反卷积层对检测出来的乘客进行人体骨架提取;然后,使用骨架距离作为跟踪依据,采用匈牙利匹配算法对相邻帧间的人体骨架进行匹配,实现视频中乘客的ID号分配;最后,通过图卷积神经网络对乘客关键点信息进行异常行为识别。在GTX1080GPU上的实验结果表明,文中提出的识别算法的处理速度能达到15 f/s,异常行为识别准确率达94.3%,能够实时准确地识别手扶电梯上乘客的异常行为。