融合注意力机制和新型卷积神经网络的市政道路病害识别

环境和荷载协同作用导致的路面病害对道路使用性能和安全性能的影响日益突出。现有图像智能识别算法难以实现处理速度和计算量的平衡。针对道路病害快速准确实时识别的需求,对石家庄损伤较为严重的路面进行实地拍照,结合已有图片,采用数据增强技术构建了市政道路病害数据集,并且提出了一种基于MobileNetV3网络的轻量化道路病害识别网络模型GEM-MobileNetV3。该模型首先使用Ghost模块代替MobileNetV3网络基本单元中的1×1卷积;然后结合改进后的高效通道注意力机制ECA模块提取病害目标的重要特征;最后将网络浅层的ReLU激活函数替换为泛化能力更强的Mish激活函数,提高模型的整体性能。通过消融实验与对比实验,验证了新模型的有效性。实验结果表明,新模型准确率达到96.33%,其参数量与计算量较MobileNetV3模型分别降低了37.9%和36%。提出的新模型在保持较高识别准确率的同时有效降低了模型复杂度,为在低成本计算平台上实现高准确率实时识别提供了新途径。     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

基于深度学习的SSL VPN加密流量的分类识别

随着虚拟专用网技术的广泛使用,VPN加密流量的分类识别对于网络安全管理的重要性愈发明显,而传统流量分类技术在提取特征和关键协议字段时效率较低.因此,本文提出一种基于卷积神经网络的深度学习模型,用以实现SSL VPN加密流量的分类识别,并减少特征工程中的人力成本.首先,将流量区分为VPN加密流量和非VPN加密流量,并且确定出这两类流量所属的服务类型;然后对所有流量进行分类,识别出产生流量的应用类型.考虑到网络流量中存在的时序关系,采用一维卷积神经网络作为深度学习的模型,通过构建Pytorch的实验环境,采用ISCX2016数据集,实现对VPN加密流量的分类任务.通过参数优化,除数据量较小的数据类型外,应用识别的平均F1-score为91.73%,流量识别的平均F1-score为91.13%.实验结果表明,基于一维卷积神经网络的深度学习方法对于识别SSL VPN流量是可行和有效的.     

一种多特征融合的加密流量快速分类方法

网络流量识别是网络管理和安全服务的基础.随着互联网的不断扩展及其复杂性的增加,传统基于规则的识别方法或流行为特征的方法正在面临着巨大挑战.受自然语言处理（Nature Language Processing, NLP）启发,本文提出了一种多特征融合的加密流量快速分类方法.该方法通过融合数据包和字节序列特征来完成网络流的特征表示,采用双元字节编码将所选特征扩展为双字节序列,增加了字节的上下文语义特征;通过与数据包特征处理相适应的池化方法来最大限度保留数据包的特征信息,从而使所提模型具有更强的抗噪能力和更精确的分类能力.本文方法分别在ISCX-2016和一个包含66个热门应用程序的私有数据集（ETD66）上进行验证,并与其他模型展开比较.结果表明：本文所提方法在ISCX-2016及ETD66上的测试精度和性能都明显优于其他流量分类模型,分别取得了98.2%和98.6%的识别准确率,从而证明了所提方法的特征提取能力和强泛化能力.     

基于注意力机制的人脸表情识别网络

人脸表情识别一直是计算机视觉领域的一个难题.近年来,随着深度学习的飞速发展,一些基于卷积神经网络的方法大大提高了人脸表情识别的准确率,但未能充分利用人脸图像中的信息,这是由于对于面部表情识别有意义的特征主要集中在一些关键位置,例如眼睛、鼻子和嘴巴等区域,因此在特征提取时增加这些关键位置的权重可以改善表情识别的效果.为此...     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于可变长序列的恶意加密流量检测方法

本文引入组合恶意加密流量数据集,结合随机森林对各个特征的重要性进行对比,构建可变长二维特征序列,提出一种针对可变长序列的恶意加密流量检测方法。该方法采用BiGRU-CNN深度学习模型,通过引入Masking层,有效解决变长序列问题,能够同时提取流量数据中时间和空间的多重特征,最终实现对恶意加密流量的二分类检测。实验结果表明,该方法与基于CNN、LSTM等单一模型相比在精确率、召回率和F1值均有所提升,准确率达到94.61%,且在非训练集实验中能达到94.93%的平均识别准确率,具有较好的应用价值。     

基于注意力机制的图像分类降维方法

卷积算子是卷积神经网络的核心构造块,它根据一定的感受视野,融合卷积神经网络各层与不同通道之间的信息,提取出原始图像特征.然而图像中的相邻像素往往具有相似的值,导致卷积层的输出包含大量冗余信息.为了减少冗余信息,加快模型推理速度,神经网络中会加入池化层进行信息降维.对比传统降维方法,池化本身具有平移和旋转不变性,对图像特...     

基于多通道卷积注意力机制的精神状态识别方法

为了获取老年人的精神状态从而更全面地了解老年人的身体状况,提出了基于多通道卷积注意力机制的精神状态识别方法。首先,对多种生理信号进行数据预处理,将不同采样频率的传感器数据进行重采样操作,保证数据长度一致。其次,根据输入信号的结构特征以及信号的长度设计对应卷积模块,使用4个不同大小的一维卷积核同时对信号进行特征提取,以增强模型的特征提取能力。再次,将卷积结果进行拼接,对拼接结果进行最大池化操作增加模型的感受野,在提取局部特征信号的同时实现信号间的长距离特征表达。最后,实验结果表明,总体分类准确率为99.75%,所提方法优于对比方法。     

一种基于注意力机制的语音情感识别算法研究

随着语音识别和自然语言处理技术的成熟,智能语音技术逐步落地到各行各业,但目前智能语音产品缺乏情感的交互,未实现真正的智能。为了提升智能语音产品的拟人性,学术界对语音情感识别的研究热度越来越高,但是多局限在使用传统特征工程以及通用深度学习模型上。在应用深度学习模型的基础上引入注意力机制对语音情感识别展开研究,选用语谱图作为输入特征,并对CNN输出的特征进行通道维度的注意力关注,分析注意力计算过程中不同池化方式对识别结果的影响,并引入残差,提升模型表现力,最终UA实现了2.83%的提升。     

基于卷积神经网络的网络流量识别技术研究

近年来,深度包检测技术和基于统计特征的网络流量识别技术迅速发展,但它们分别存在不能识别加密流量和依赖人对特征主观选择的缺陷.文章提出了基于卷积神经网络的流量识别方法,将网络数据按照一定的规则转换为灰度图像进行识别,并根据TCP数据包的有序性和UDP数据包的无序性,对原始的网络数据进行了扩展,以进一步提高识别率.实验数据表明,该方法对应用程序和应用层协议两个层次的网络流量具有较高的检测率.     

融入注意力机制的时间激励与聚集行为识别模型

视频行为识别通常应用短区间动作特征和长区间视频聚集特征进行时序建模.而这种时序建模方式在特征提取过程中,将不同时序区间的动作特征同等看待,忽略了关键通道信息和重要动作内容,不能达到理想的行为识别效果.注意力机制能够重点关注目标区间,在提取时间激励与聚集行为特征基础上融入通道-空间注意力模块.该模型分别通过通道和空间模块改变时序动作的特征分布,通道注意力关注关键通道信息是“哪些”,空间注意力机制关注重要视频内容在“哪里”,突出关键通道信息和重要内容等特征,提高了行为识别的识别率.同时在数据集Something-Something 1,UCF101和HMDB51对模型进行实验,融入通道-空间注意力模块的时间激励与聚集行为识别模型能够有效提高行为识别率.     

基于Attention的卷积神经网络验证码识别研究

验证码字符识别技术作为数字图像处理的一个重要应用分支,其目的在于准确、快速地分析验证码所携带的字符内容.已有研究通过构建卷积神经网络进行验证码字符识别,并且取得了一定的效果;但是大部分研究使用特征的浅层信息作为模型的输入,受局部感受野的限制而丢失特征,未能充分分析验证码的深层特征信息,并且未能对特征进行充分融合,造成识别准确度还有一定提升空间.提出了一种基于注意力机制的卷积神经网络模型,首先采用Otsu算法对验证码进行预处理后,输入到VGG16模型提取验证码的特征;然后引入注意力机制,自动学习关键信息,得到不同特征的权重;最后基于卷积神经网络进行特征融合,通过训练后得到验证码识别模型.提出的模型在调用Captcha库生成的验证码数据集上进行验证,结果显示提出的方法在不增加时间成本的情况下,验证码识别准确率平均可达到93.27%,对比ResNet、CNN和CNN7基线方法,分别提升了8%、10%和22%.因此,提升了验证码识别的准确率,促进了自动识别车牌等场景落地,推进了验证码识别技术的发展.     

基于注意力机制语谱图特征提取的语音识别

针对连接时序分类模型需具有输出独立性的假设,对语言模型的依赖性强且训练周期长的问题,提出一种基于连接时序分类模型的语音识别方法.首先,基于传统声学模型的框架,利用先验知识训练基于注意力机制的语谱图特征提取网络,有效提高了语音特征的区分性和鲁棒性;其次,将语谱图特征提取网络拼接在连接时序分类模型的前端,并减少模型中循环神经网络层数进行重新训练.测试分析结果表明,该改进模型缩短了训练时间,有效提升了语音识别准确率.     

基于注意力机制的多粒度匹配的表情识别模型

面部表情自动识别技术已在人工智能领域受到广泛使用。然而,由于姿态变化和遮挡,人脸表情识别中的一个关键挑战是提取细粒度特征的方法。文章提出一种基于注意机制的多粒度匹配模型,特别地,在多粒度匹配模块中部署了多粒度模块和关注度估计模块。通过多粒度模块将细节图像划分为多个细粒度局部区域,并计算局部特征的关注度权重来构造全局特征。图像细节处理模块用于获取原始图像的细节特征。在CK+和Fer2013上进行了大量实验,结果证明了本文方法的有效性。     

基于注意力机制的CNN-LSTM模型的航迹预测

基于数学模型或统计模型的传统航迹预测方法存在一定的局限性，无法满足现代航空领域对于高效、准确、实时的航迹预测需求。针对此问题，提出基于注意力机制的CNN-LSTM模型的实时航迹预测方法。该模型首先使用一维卷积对航迹数据的多维度特征进行提取，从而减少输入特征的数量。其次利用获取的多维度时序数据作为LSTM的输入，通过LSTM提取上下文的信息。最后使用注意力机制为LSTM中不同时序节点的输出赋予权重，达到聚焦关键航迹信息的作用。经过实验验证：本文的模型与LSTM模型和CNN-LSTM模型相比，预测出的路径更接近真实航迹；文中的模型比LSTM模型的平均预测误差降低了29.7%，比CNN-LSTM模型降低了25.4%。综上所述，文中方法可以显著提高航迹预测的精度。     

基于深度学习的任意形状场景文字识别

场景文字识别的一个具有挑战性的方面是处理具有扭曲或不规则布局的文字.尤其是侧视文字和曲线文字在自然场景中较为常见,且难以识别.本文提出了一个带有灵活矫正功能的注意力增强网络,将其用于任意形状场景文字识别.此网络由基于卷积神经网络的文字矫正网络和基于注意力增强的识别网络两部分组成.矫正网络自适应地将输入图像中的文字进行矫正,降低识别难度,使基于注意力增强的序列识别网络直接根据矫正后的图像预测字符序列.整个模型可以进行端到端的训练,训练只需要图像和相应的文字真实标签.在各种公开数据集上进行了广泛的实验,包括SVT、ICDAR 2003和CUTE80等数据集,验证了此网络具有优异的性能.     

基于自注意力机制的网络流量异常检测方法

网络中异常流量的有效检测对网络安全至关重要.以机器学习方法为主的异常流量检测技术,对流量数据采用特征选择方法进行降维并提取最优特征,但容易忽略数据特征之间的关联性,存在异常流量的检测率低、误报率高等问题.为了提高异常流量检测性能,论文在提取流量数据特征的过程中引入自注意力机制进行相关性学习,并结合深度卷积神经网络提出一种有效的网络流量异常检测模型.实验结果表明：通过引入自注意力机制,论文所提出的检测方法能够提取更准确的流量特征,并使得异常流量检测率高、误报率低.     

基于增量方法的卷积语音情感识别网络

提出了一种新颖的语音情感识别结构,从声音文件中提取梅尔频率倒谱系数(Melscale frequency cepstral coefficients,MFCCs)、线性预测倒谱系数(linear predictive cepstral coefficients,LPCCs)、色度图、梅尔尺度频谱图、Tonnetz表示和频谱对比度特征,并将其作为一维卷积神经网络(convolutional neural network,CNN)的输入.构建由一维卷积层、Dropout层、批标准化层、权重池化层、全连接层和激活层组成的网络,并使用Ryerson情感说话/歌唱视听(Ryerson audio-visual database of emotional speech and song,RAVDESS)数据集、柏林语音数据集(Berlin emotional database,EMO-DB)、交互式情绪二元运动捕捉(interactive emotional dyadic motion capture,IEMOCAP)数据集这3个数据集的样本来识别情感.为提高分类精度,利用增量方法修改初始模型.为...