改进残差网络与峰值帧的微表情识别

目的 微表情(Micro Expression, ME)是人们流露内心情感时展现出的细微面部表情。针对微表情识别的样本较少且不同类别数量分布不均导致难以识别和识别准确率较低的问题,提出能够提高微表情识别准确率的模型框架。方法 提取微表情视频序列中含有更多关键表情信息的峰值帧;使用加入SE模块的改进残差网络SE-ResNeXt-50对微表情的峰值帧进行特征提取,其中SE模块可以更好地学习特征中的关键信息,ResNeXt通过分组卷积的方式用稀疏结构取代密集结构从而使结构更加简化,提升了识别效率。与此同时,使用Focal Loss损失函数可以更好地解决因微表情数据的不平衡带来的模型性能问题。结果 在微表情数据集CASMEⅡ上进行了仿真实验,可以发现改进的残差网络与峰值帧提高了微表情识别的准确率与F1值。结论 改进的残差网络与峰值帧可以降低数据集较少所带来的影响,使模型有着良好的拟合效果,同时改善了在不同类别上表现差异较大的问题,提升了微表情的识别准确率,对于微表情识别有着更好的识别性能。     

基于像素特征的微表情识别

微表情持续时间短、表达强度低,给训练有效模型带来了挑战。针对此问题,提出了一种基于像素特征的微表情识别方法。对图像序列的面部区域进行裁剪,消除背景噪声;将每一帧的像素矩阵与第一帧(中性表情)做差处理,提取面部变化;对做差的结果累加,进一步突出面部表情;使用搭建的浅层CNN网络进行分类。在3个公共微表情数据集组成的交叉数据集上进行K折(K-fold)交叉验证实验中,所提方法的3个评价指标ACC(accuracy)、UF1(unweighted F1-score)和UAR(unweighted Average Recall)分别达到了0.8304、0.7827和0.7944,表明了该方法的有效性。与LBP-TOP等8个模型的对比实验中,所提方法的指标明显优于对比模型,验证了该方法的优越性。     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

一种基于光流双输入网络的微表情顶点帧检测方法

微表情顶点帧蕴含着丰富的微表情信息，为了准确地检测出微表情顶点帧，本文提出了一种基于光流特征的神经网络分类，并利用先验知识规则进行取舍的检测方法. 该方法针对固定滑窗大小内的图像进行光流信息提取，利用双输入特征提取网络对x, y方向的光流信息进行时空特征提取，并进行分类，经根据微表情先验知识所设计的取舍规则后处理后，改善了检测准确度. 实验结果表明，在数据集CASMEⅡ上测试，顶点定位率（apex spotting rate，ASR）指标达到了0.945，F₁-score指标达到了0.925.      

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型(convolutional neural network-bidirectional long short term memory network,CNN-BiLSTM)进行...     

基于CNN-LSTM的脑电情感四分类研究

为深入研究脑电信号时空特征之间的关联,解决因手动提取特征导致的脑电情感识别准确率较低问题。将卷积神经网络（Convolutional neural network, CNN）和长短时记忆网络（Long short- term memory, LSTM）相结合,构造出了CNN-LSTM模型。首先,提取了5个频段的5个不同特征：功率谱密度(PSD)、差分熵(DE)、差分不对称(DASM)、理性不对称(RASM)和差分熵差分(DCAU)。其次,将特征输入CNN-LSTM模型,在DEAP数据集中的效价和唤醒两种情感维度上展开四分类实验。最后,将堆栈自编密码器(SAE),卷积稀疏自编码器(CSAE),深度置信网络(DBN)分别与LSTM组合,构造SAE-LSTM,CSAE-LSTM,DBN-LSTM三种混合模型同CNN-LSTM进行分类准确率比较。实验结果表明,DE特征的分类识别效果在五种特征中占最优,β和γ频段上所有特征的识别准确率远高于其他频段,尤其是γ频段。CNN-LSTM模型获得了最高的平均分类准确率92.48%,充分证明了CNN-LSTM模型的有效性。     

一种基于双流卷积神经网络跌倒识别方法

针对跌倒行为的视觉特征难以提取的问题,提出一种由两路卷积神经网络和模型融合部分组成的双流卷积神经网络(Two-Stream CNN)的跌倒识别方法.该方法的一路对视频帧的运动人加框标记后,送三维卷积神经网络(3D-CNN)处理来消除视频背景的干扰;另一路从相邻视频帧获取光流图后,送VGGNet-16卷积神经网络处理;最后将3D-CNN和VGGNet-16的Softmax输出识别概率加权融合作为Two-Stream CNN输出结果.实验结果表明:标记运动人并经3D-CNN处理有效地消除了视频背景的干扰;Two-Stream CNN跌倒识别率为96%,比3D-CNN提高了4%,比VGGNet-16网络提高了3%.     

基于时空特征组合模型的转辙机故障诊断

为解决转辙机故障诊断领域中存在的单一特征信息提取不足、单一诊断方法难以避免因方法局限性造成的分类误差,同时其存在一定程度的过拟合,以及泛化能力、鲁棒性不足的问题,提出了一种基于时空特征组合模型的故障诊断方法。首先,在ZYJ7电液转辙机的8种故障模式和正常模式所对应的油压曲线上提取时频域小波系数作为原始数据集,采用核主成分分析（KPCA）和长短期记忆网络（LSTM）提取其空间、时间特征,之后基于add思想构建时空特征集。其次,对卷积神经网络（CNN）、LSTM两分类器关键参数寻优后分别进行故障诊断,得到各个故障类型的概率值和误差系数。最后,利用误差倒数法对两分类器各个故障类型的概率值赋予权重,得到最终输出结果。仿真结果表明：CNN-LSTM组合模型诊断准确率达98.14%,较单一多层感知机（MLP）、CNN、LSTM模型准确率分别提升7.40%、5.55%、1.85%。可见此方法有效提高了转辙机诊断准确率,为集成学习模型在转辙机故障诊断领域的应用提供了一种思路。     

融合注意力机制的煤层气产量动态预测

为了提升煤层气产量的预测精度,提出融合注意力(Attention)机制并结合卷积神经网络（convolutional neural networks,CNN）和长短期记忆神经网络（long short term memory,LSTM)的煤层气产量动态预测模型。利用随机森林变量筛选方法,确定井底流压、动液面高度、套压、冲次为排采过程中影响煤层气产量的主控因素;利用CNN信息提取优势,提取煤层气排采数据的特征向量,并将特征向量作为LSTM网络的输入;再将LSTM隐含层融合注意力机制提取重要信息权重,有效解决信息长期依赖性和信息丢失。实验结果表明：融合注意力机制的CNN-LSTM煤层气产量动态预测模型各方面均表现较优。具体表现为：1. 模型预测性能较好,利用不同模型对比预测,改进后的煤层气产量预测模型精度最高,比标准的LSTM预测精度提升了3%~4%;2. 泛化性能较优,预测同一区块不同生产天数的6口煤层气井产量时,预测60天日产气量的平均相对误差均小于5%,预测200天日产气量的平均相对误差均小于8%。     

基于CNN-LSTM-Attention的短期风向预测研究

风向预测对提高风能转化率、保障风力发电机偏航系统安全运行及增加风力发电效益具有重要意义。为准确预测风向,提出一种基于CNN-LSTM-Attention的短期风向预测模型。首先,利用卷积神经网络(Convolutional Neural Network, CNN)提取风向数据动态变化特征,然后将所提取的特征向量构成时间序列作为长短期记忆(Long Short-Term Memory,LSTM)网络的输入,最后使用注意力机制(Attention mechanism)分配LSTM隐含层不同权重,增强重要特征的作用,完成风向预测。采用北部湾海域历史风向数据,通过实验与其他神经网络预测模型进行对比,结果显示,CNN-LSTM-Attention模型的相对平均误差(MAPE)值为3.2119%,R²为0.982 6, 优于其他对比模型。所得结果为广西北部湾海域海上风电探索发展提供参考。     

基于可变长序列的恶意加密流量检测方法

本文引入组合恶意加密流量数据集,结合随机森林对各个特征的重要性进行对比,构建可变长二维特征序列,提出一种针对可变长序列的恶意加密流量检测方法。该方法采用BiGRU-CNN深度学习模型,通过引入Masking层,有效解决变长序列问题,能够同时提取流量数据中时间和空间的多重特征,最终实现对恶意加密流量的二分类检测。实验结果表明,该方法与基于CNN、LSTM等单一模型相比在精确率、召回率和F1值均有所提升,准确率达到94.61%,且在非训练集实验中能达到94.93%的平均识别准确率,具有较好的应用价值。     

基于Tri-BiLSTM-CNN的钻井安全问答系统

特定领域的FAQ问答系统通常存在以下3个问题：（1）如何有效地对句子进行语义表示；（2）如何有效地进行句子间的语义匹配；（3）领域词汇的分词问题。为解决上述3个问题，提出一种基于Tri-BiLSTM-CNN的深度学习模型。首先，将双向长短期记忆网络和卷积神经网络结合构建网络模型，综合利用了BiLSTM处理序列化数据的优势和CNN捕获局部特征的优势。然后，采用Triplet并列式排列结构进行句子之间的匹配。最后，使用字向量替代词向量，避免了分词错误对模型的影响。在钻井安全领域的真实数据集上进行实验验证，结果表明，Tri-BiLSTM-CNN模型能更好地对句子语义进行向量化表征，显著提升句子相似度计算的准确率，而且效果明显优于CNN和LSTM两种网络结构。将该模型用于钻井安全领域的FAQ问答系统中，有效减少了人工成本，对改善钻井工作的效率和质量具有重要意义和应用价值。     

基于CGRU模型的语音情感识别研究与实现

语音情感识别是人机交互、情感计算中重要的研究方向.目前普遍使用深度神经网络用于语音情感特征的提取，但使用哪种神经网络模型、如何缓解模型过拟合问题还需进一步研究.针对这些问题，提出了一种结合一维卷积(CNN)以及门控循环单元(GRU)的CGRU模型，从原始语音信号的MFCC特征中提取语音的低阶以及高阶情感特征，并通过随机森林对其进行特征选择，在三种公用的情感语料库EMODB，SAVEE，RAVDESS上分别取得了79%，69%以及75%的识别精度.通过添加高斯噪声及改变速度等方法来增加样本量实现数据扩充，进一步提高了识别精度.通过在线识别系统验证了模型在实际环境中的可用性.     

基于卷积网络的视频目标检测

针对传统卷积神经网络层级较为浅,对物体识别精确度较低的原因,利用改进的深层卷积网络VGG16模型检测视频运动目标.首先,预处理过程中对数据集进行剪裁和旋转操作,补充数据集数量,以解决前期图像资源不足等问题;其次,在PASCAL VOC数据集上先预训练模型,接着加载自定义视频数据集对预训练模型进行第二次训练.实验结果表明,该网络模型能很好用于视频目标识别,提高了检测精确度,有效减少网络参数计算量,降低硬件内存资源消耗,具有较强的鲁棒性.     

基于改进 LeNet-5 网络的交通标志识别方法

针对传统LeNet-5卷积神经网络用于交通标志等多种类识别任务中,存在识别正确率低、网络容易过拟合以及梯度消失等问题进行改进。引入Inception卷积模块组来提取目标丰富的特征,同时增加网络的深度。引入BN (batch normalization)层对输入批量样本进行规范化处理;同时改用性能更好的Relu激活函数,并使用全局池化层代替全连接层,合理改变卷积核的大小和数目。研究结果表明,改进LeNet-5网络能够有效解决过拟合和梯度消失等问题,具有较好的鲁棒性;网络识别率达到98. 5%以上,相比CNN (convolutional neural network)+SVM (support vector machine)提高了约5%,比传统的LeNet-5网络提高了3%。可见,改进后的LeNet-5网络图像识别的准确率得到显著提高。     

基于图片特征与人脸姿态的人脸识别方法研究

针对人脸识别中在非限定条件下（如背景、光照等因素发生变化时）人脸多角度多姿态识别精度低的问题与现有基于识别模型的方法无法快速更新人脸类别,提出了基于图片特征与人脸姿态的识别方法,通过对人脸姿态的识别,最大程度的匹配人脸数据库中的人脸信息,使用VGG16卷积神经网络训练模型提取图片特征,生成特征向量,再使用支持向量机分别训练提取出的特征,与人脸数据库中信息进行比对,从而精确识别人脸。通过在Pubfig与FERET人脸库上实验结果表明,所采用的算法精度较高。     

基于双向长短时记忆网络和卷曲神经网络的电力系统暂态稳定评估

基于机器学习方法的暂态稳定评估已成为电力系统分析与控制领域的热点,由于实际系统中存在不能实现PMU的全面覆盖以及数据采集存在噪声的问题,使得传统机器学习方法的评估性能受到较大限制。针对此,构建了一种在PMU最优布点上的时间序列特征,提出了一种将改进卷积神经网络(ICNN)与双向长短时记忆网络(BiLSTM)进行融合的评估方法。该方法首先利用BiLSTM提取电压、相角以及有功功率三种基本电气量的时间序列特征,随后通过卷积和池化操作对数据进行进一步的数据挖掘,最后利用轻量梯度提升机完成对数据的分类。为了避免出现过拟合现象,该方法还通过正则化、Dropout等方式提升模型的泛化性能。在新英格兰10机39节点上的算例表明,该方法能利用基本电气量数据进行暂态稳定评估,且在复杂条件下仍能保持较好的评估性能。     

基于VMD和时空网络变分自编码器的负荷聚类

为了解决用户用电负荷曲线数据维度高、特征提取困难以及序列存在信号模态混叠的问题,本文提出使用变分模态分解（variational mode decomposition,VMD）和改进基于时空网络的变分自编码器（variational auto-encoders,VAE）对电力负荷曲线进行特征提取。通过模态分解得到信号的固有模态,对模态重构得到时序特征较明显的序列信号。再通过长短期记忆网络（long short-term memory network,LSTM）和卷积网络（convolutional neural networks,CNN）组成的时空变分自编码器进行潜在特征提取,并构建网络分类器来联合损失优化自编码器模型。最后使用Minibatchkmeans算法聚类并计算聚类中心。使用UCI数据集中葡萄牙居民用电量作为实验数据,通过实验结果表明经模态分解后通过降维再聚类的算法在戴维斯丁堡指数（Davies-Bouldin Index,DBI）和轮廓系数（Silhouette Coefficient,SC）上表现出较好效果。     

基于多尺度跃层卷积神经网络的精细车型识别

为解决精细车型识别中特征不具有代表性,且识别准确率低的问题,提出了基于多尺度跃层卷积神经网络(CNN)的车型识别方法。通过多个不同尺度的跃层卷积神经网络,提取适用于精细车型识别的低层局部特征和高层全局特征,并分别训练Softmax分类器。利用自适应方式融合方法,将多个单一尺度跃层卷积神经网络的识别结果进行融合,调整不同网络对识别结果的贡献。实验中车型识别准确率达到97.59%。实验结果表明多尺度跃层卷积神经网络适用于精细的车型识别,并能提高识别的准确率。     

基于深度学习的含未知复合故障多传感器信号故障诊断

深度学习在故障诊断领域的应用已比较成熟,其中卷积神经网络（CNN,convolution neural networks）和长短时记忆网络（LSTM,long short-term memory networks）就是典型模型之一。CNN作为一种常用的多传感器信号故障诊断方法,能够获得较好的诊断效果,却无法实现未知复合故障的诊断,为解决这个问题,提出CNN-LSTM-FCM （fuzzy C-means）模型。LSTM对具有前后联系的时间信号更敏感,利用这个特点将LSTM与CNN相结合,实现未知信号的诊断,并通过概率分类输出实现了复合故障的解耦,CNN-LSTM-FCM模型本身优化参数设计,进一步提高了诊断精度。使用化学过程故障测量数据进行实验,结果表明CNN-LSTM-FCM模型诊断准确率可达到97.15%,优于CNN模型和LSTM模型,具有较高的应用价值。