基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

注意力机制下轻量化网络视频行为识别方法

为了解决视频行为识别中网络模型结构过于复杂且计算量大的问题,提出一种基于MobileNet+BiGRU结构的轻量化视频行为识别方法。通过嵌入注意力机制提取改进的MobileNet网络视频单帧画面空间特征,将多帧画面的空间特征叠加后送入BiGRU网络提取时序特征,并通过softmax分类器进行分类。对比实验表明,该方法在UCF-101和HMDB51数据集上的识别率分别达到81.4%和56.8%,相比未使用注意力机制的模型分别提升4.7%和6.2%,计算量仅相当于ResNet50+LSTM结构的7.7%,表明该方法比其他方法效率更高。     

基于多尺度特征融合与注意力机制的人群计数算法

针对特征提取过程中缺乏对人群区域的针对性,不同大小人头目标不能同时检测以及特征融合时多尺度特征信息丢失问题,提出多尺度注意力模块,增强特征对高密度人群区域的关注。采用多尺度空洞卷积,结合提出的多通道特征融合模块,提取更完善的多尺度特征,提高对不同尺寸人头计数能力;利用密度图回归模块,融合多尺度特征,减少了多尺度信息的损耗。实验结果表明,本算法的计数结果更精确稳定。     

基于注意力机制的特征融合序列标注模型

序列标注任务是自然语言处理领域的重要问题,包括命名实体识别、词性标注、意见抽取等具有重要应用价值的子任务。目前,长短期记忆网络-条件随机场模型(LSTM-CRF)作为序列标注任务的主流框架,虽然取得了很好的性能并被广泛使用,但仍存在局部依赖性以及受限于序列化特征学习的缺点。为了同步建模句子中每个词的局部上下文语义与全局语义,并将两部分语义进行有效融合,提出基于注意力机制的特征融合序列标注模型。具体地,本模型利用多头注意力机制建模句子中任意两个词之间的语义关系,得到每个词应关注的全局语义。考虑到LSTM学习的局部上下文信息和注意力机制学习的全局语义具有互补性,进一步设计了三种特征融合方法将两部分语义深度融合以得到更丰富的语义依赖信息。为验证模型的有效性,在四个数据集上进行了大量的实验,实验结果表明本模型达到较优的性能。     

注意力机制下的多层次特征融合图像去雾算法

提出一种基于注意力机制的多层次特征融合的图像去雾算法.该算法通过残差密集网络和自校准卷积网络来提取不同尺度的特征,再利用双重注意单元和像素注意力将特征融合重建.同时采用一种由均方误差损失、边缘损失和鲁棒性损失函数相结合的损失函数,可以更好地保留细节特征.实验表明,该算法与其他去雾算法相比在峰值信噪比和结构相似度指标上得到一定的提高,去雾图像在主观视觉上取得了较好表现.     

基于注意力机制多特征融合的虚假信息检测

在虚假信息识别任务中,面对图文结合的虚假内容,基于单模态的模型难以进行准确识别.社交媒体中的虚假信息为吸引关注和迅速传播的目的,会使用夸张的词汇煽动读者的情绪.如何将情感特征引入多模态虚假信息检测模型进行多特征融合,并准确地识别虚假信息是一个挑战.为此,本文提出了基于注意力机制多特征融合的虚假信息检测方法(att-MFNN).该模型中先将文本特征和情感特征基于注意力机制融合,再与视觉特征组成多模态特征送入虚假信息识别器和事件分类器中.通过引入事件分类器学习不同事件中的共同特征,提高新事件的识别性能.att-MFNN在微博和推特(Twitter)数据集的准确率达到了89.22%和87.51%,并且F₁、准确率、召回率指标均优于现有的模型.     

融合多维注意力的非合作通信行为识别方法

电磁对抗环境下匮乏的数据资源与有限的反应时间是非合作通信行为识别研究发展所面临的主要挑战。现存的通信行为识别方法大多依赖大量监测数据或者繁琐的数据预处理流程,难以完成非合作通信行为识别任务。提出一种融合了多维通道注意力机制（MSENeT）的非合作通信行为识别方法,通过扩充通道维度提升注意力模块对通道间关系的全局视野,增强注意力中权重的精确度,从而提升深度卷积神经网络（CNN）对有限数据样本的特征提取能力,并保证带来的算法计算复杂度在可承受范围内。同时构建了对抗条件下通信行为频谱监测数据仿真场景,为后续的通信行为识别相关研究提供数据支持。最后的对比实验显示,在非合作条件下,基于MSENeT的通信行为识别方法相较于仅使用CNN和基于SENeT的方法在通信行为识别准确率上分别有14.9%和8.5%的提升。     

融合时空切片和双注意力机制的视频摘要方法

为解决现有视频摘要方法的视频帧特征信息提取不充分、摘要结果过分依赖单一特征的问题,提出了一种融合时空切片和双注意力机制的视频摘要方法。在原视频的精准分段阶段,提出了基于时空切片的核时序分割算法(STS-KTS),将视频场景信息反映为时空切片纹理信息,采用水平映射法将预处理后的时空切片投影为一维数组,作为KTS的输入特征;以双注意力机制和分组卷积为基本组件,结合BiLSTM构建时空特征提取网络,以快速提取丰富的时空特征信息,从而配合纹理特征信息消除现有摘要模型对单一特征的过分依赖;采用帧参数预测模块获取最佳的视频帧贡献度分数、中心度分数以及帧序列位置;将帧分数转化为镜头分数,以选取内容丰富的片段,进而生成动态视频摘要。在SumMe和TVSum数据集上的实验表明：所提方法能提高生成摘要的准确性,比现有方法性能更高,尤其在SumMe数据集上的生成摘要准确性相比于现有方法提升了0.58%。     

融合注意力机制的淡水鱼类识别方法

针对多数淡水鱼类识别方法特征的提取进程复杂,在自然外部场景下很难进行高效识别问题,构造了残差模型及注意力机制相融合的ResNet50-SE-Fish网络对不同发育程度的8种淡水鱼类进行识别,并测试构造的网络识别性能.研究在原残差块内添加SE模块,增加所关注特征数据权重,减小外部场景噪声以及背景无关特征数据权重,并使用迁移学习来对不同发育程度幼鱼、成鱼特征数据进行识别.通过Grad-CAM方法对ResNet50-SE-Fish网络每个残差块提到的淡水鱼类特征数据可视化以解释注意力表示作用,并与7种常用网络所提到的热力图比较,以评估网络对淡水鱼类特征数据提取能力.结果表明,ResNet50-SE-Fish网络对不同发育程度淡水鱼类有很高的识别精度,验证时准确率高达95.53%,测试时准确率达90.16%,相较于AlexNet、VGG16、ResNet18、GoogleNet、VGG19、ResNet34、ResNet50,测试时准确率依次增大14.93%、6.32%、2.51%、3.55%、3.69%、2.14%、1.73%,注意力机制利用调节通道关注程度能够提高模型淡水鱼类特征的提取效果...     

基于偏移注意力机制和多特征融合的点云分类

三维点云由于受到雾、雨和雪等自然天气条件的影响较小而受到了广泛的关注,在交通、能源和医疗等多个领域得到了广泛的应用,其中点云分类旨在划分三维点云数据的类别,为不同领域决策者提供信息,实现解决方案的制订,对自动驾驶、故障诊断和医学影像分析等具有重要意义。点云分类的应用前景广阔,但目前仍面临着诸多挑战。由于点云的无序性、稀疏性和有限性等特点,传统的图像处理和计算机视觉方法难以直接应用于点云数据分析,直接利用卷积神经网络不能有效提取点云特征,部分模型的特征提取不够充分,局部和全局的信息未能有效的利用,可能丢失重要特征信息。针对上述问题,提出一种实现点云的局部和全局特征相结合的多特征融合模块,并结合偏移注意力机制嵌入多特征融合模块实现较深层次点云特征的提取,同时引入残差结构充分利用浅层提取的特征,防止网络过深导致浅层特征丢失。在ModelNet40和ScanObjectNN分类数据集上进行训练和测试,并对实验进行了消融研究和部分数据可视化。实验结果发现该模型在ModelNet40上的分类总体准确率为93.6%,与PointNet、LDGCNN和PCT等模型相比,分类总体准确率分别提高了4.4、...     

基于多通道卷积注意力机制的精神状态识别方法

为了获取老年人的精神状态从而更全面地了解老年人的身体状况,提出了基于多通道卷积注意力机制的精神状态识别方法。首先,对多种生理信号进行数据预处理,将不同采样频率的传感器数据进行重采样操作,保证数据长度一致。其次,根据输入信号的结构特征以及信号的长度设计对应卷积模块,使用4个不同大小的一维卷积核同时对信号进行特征提取,以增强模型的特征提取能力。再次,将卷积结果进行拼接,对拼接结果进行最大池化操作增加模型的感受野,在提取局部特征信号的同时实现信号间的长距离特征表达。最后,实验结果表明,总体分类准确率为99.75%,所提方法优于对比方法。     

基于时空加权的多特征融合动作识别算法

动作识别是机器视觉领域的基础应用之一,目前动作识别算法多数基于单帧图像特征或简单综合时间维度特征和空间维度特征,一定程度上约束了特征表达能力.为了解决该问题,本文提出了一种时空特征融合方法,将时空金字塔中引入加权策略,有机地将2个维度的特征融合在一起,打破空间维度特征上的局限性.实验结果表明基于本文提出的时空加权特征融合的识别方法可有效提高动作识别精度.     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

基于注意力机制的人脸表情识别网络

人脸表情识别一直是计算机视觉领域的一个难题.近年来,随着深度学习的飞速发展,一些基于卷积神经网络的方法大大提高了人脸表情识别的准确率,但未能充分利用人脸图像中的信息,这是由于对于面部表情识别有意义的特征主要集中在一些关键位置,例如眼睛、鼻子和嘴巴等区域,因此在特征提取时增加这些关键位置的权重可以改善表情识别的效果.为此...     

具有全局特征的空间注意力机制

为了获得卷积神经网络特征图中不同特征点之间的长距离依赖关系,使卷积神经网络更好地区分前景目标和背景信息,提出了一种具有全局特征的空间注意力机制。通过通道融合层将多通道的原始特征图组合成单通道的特征融合图,消除了通道间信息分布对获取空间注意力权重的影响;将特征融合图经过全局特征获取处理,获得能够反映特征融合图中某特征点与特征融合图中所有点之间相关性的全局特征图;全局特征图与初始值为0的可学习变量相乘,并且在通道域复制自身,扩展为原始特征图大小,将扩展后的全局特征图与原始特征图对应元素相加,获得具有注意力机制的特征图。在不同卷积神经网络中加入具有全局特征的空间注意力机制进行实验,结果表明:在脑电波二分类任务中,所提注意力机制的分类准确率最高提升了0.839%;在CIFAR-10数据集多分类任务中,所提注意力机制的分类准确率最高提升了0.484%;在夜间车辆单类别检测中,在交并比阈值大于0.5的平均精度评判标准下,所提注意力机制最高提升了3.860%,在交并比阈值大于0.75的平均精度评判标准下,所提注意力机制最高提升了11.726%;在voc2007数据集多类别检测中,在交并比阈值大于0....     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.     

基于时空特征的生猪动作识别

针对现代化养殖业无人化、智能化的需求,以目标检测网络YOLOv2为基础,提出了一种基于深度学习提取时空特征的生猪动作识别与定位的方法.对待检测视频关键帧中的生猪空间位置信息与视频流时序动作特征进行检测,采用通道注意力模块将这2种特征进行合理且平滑的特征融合,实现了一个端到端的动作识别网络,可以直接从视频序列中预测得到关...     

融合注意力机制的PSPnet多目标语义分割

采用加强特征提取网络为MobileNetV2的融合多特征金字塔场景解析网络（PSPnet）来实现复杂场景下的图像语义分割.相对于深度残差网络ResNet50和MobileNetV1,引入了线性瓶颈结构和反向残差结构,利用金字塔池化模块（PPM）来处理不同层级的图像特征信息,并将其进行特征拼接,有效避免了不同分割尺寸下,子区域之间关键特征信息的缺失.在此基础上,引入注意力机制模块,结合通道注意力机制（CAM）和空间注意力机制（SAM）,进一步提高分割精度.实验结果表明：该方法可以提高图像识别的准确率,并节省训练时间.     

一种新的基于注意力机制的细粒度视频分析神经网络结构

针对包含细微差异动作的视频数据集,提出了一种用于分辨细粒度差异动作的深度神经网络.该网络结构由一个三维卷积(C3D)网络的轻量化变体和一个基于注意力机制的长短时记忆网络组成,优化了三维卷积网络的深度和注意力机制的权重惩罚项.实验结果表明:该网络可以有效地关注视频中的重要信息,在平均准确率和检测准确率上均有所提升.     

基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法

随着深度学习的快速发展,利用目标检测算法对航拍绝缘子图像进行缺陷检测成为绝缘子巡检的主要方式.针对传统目标检测算法对小目标的检测精度较低、特征图的表征能力较弱和提取的关键信息较少的问题,提出以YOLOv5l为基础网络的改进的基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法 AMF-YOLOv5l(Attention Mechanism and Multi-Scale Feature Fusion Based on YOLOv5l).首先,通过增加一个小目标检测头,提高模型对小目标的检测性能;然后,构造DSPP(Dilated Spatial Pyramid Pooling)模块,充分融合多尺度特征,增强特征图的表征能力;最后,引入CA(Coordinate Attention)注意力机制,使网络更加专注于关键信息.在航拍绝缘子数据集APID(Aerial Photographic Insulator Dataset)以及两个公共数据集PASCAL VOC和MS COCO上分别验证该方法的可行性.实验结果表明,在APID数据集中该方法的AP(Average Precision)比YOL...