基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法

随着深度学习的快速发展,利用目标检测算法对航拍绝缘子图像进行缺陷检测成为绝缘子巡检的主要方式.针对传统目标检测算法对小目标的检测精度较低、特征图的表征能力较弱和提取的关键信息较少的问题,提出以YOLOv5l为基础网络的改进的基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法 AMF-YOLOv5l(Attention Mechanism and Multi-Scale Feature Fusion Based on YOLOv5l).首先,通过增加一个小目标检测头,提高模型对小目标的检测性能;然后,构造DSPP(Dilated Spatial Pyramid Pooling)模块,充分融合多尺度特征,增强特征图的表征能力;最后,引入CA(Coordinate Attention)注意力机制,使网络更加专注于关键信息.在航拍绝缘子数据集APID(Aerial Photographic Insulator Dataset)以及两个公共数据集PASCAL VOC和MS COCO上分别验证该方法的可行性.实验结果表明,在APID数据集中该方法的AP(Average Precision)比YOL...     

基于改进YOLOv5的铝型材表面缺陷检测方法

针对铝型材表面缺陷不同类别尺寸差别较大,导致检测效果较差的情况,本文提出一种基于改进YOLOv5的铝型材表面缺陷检测算法。首先,在网络中嵌入CA(coordinate attention)注意力机制模块,使网络更好地抑制图像中无效样本的干扰,更多聚焦于有用信息;其次,在原有检测层上增加一个小目标检测层,获取和传递更为丰富且更具判别性的小目标特征,以解决对小目标缺陷检测精度低的问题,提高整体检测精度;最后,引入SIoU损失函数,用边界框回归之间的向量角度来重新定义损失函数,在有效减少总自由度损失的同时提高推理精度。将改进算法应用到天池铝型材数据集中进行验证,实验结果表明：该模型能有效识别铝型材表面不同种类的缺陷,较原YOLOv5算法mAP提高11.4个百分点,检测速度达到66.4 frame/s,能够满足目前铝型材工厂生产现场缺陷检测要求。     

基于RCBAM和SSD的特征融合低照度环境目标检测算法研究

针对低光照、雨雾等恶劣场景对智能驾驶视觉系统检测能力的影响,提出了一种雷达与相机特征融合的网络模型. 基于毫米波雷达信息和注意力模型构建了雷达注意力机制特征模块,该模块可以为特征融合网络提供一个先验信息和增加算法在目标候选区域权重. 测试结果表明,引入雷达注意力机制模块后,特征融合网络的目标检测性能要比仅依赖计算机视觉的检测性能有了明显的提升,并且在复杂场景下的目标检测鲁棒性更强.      

基于YOLOv5s-FCS的钢材表面缺陷检测

针对传统钢材表面缺陷检测方法易出现误检、漏检和部分缺陷种类检测精度低等问题,本文设计了一种钢材表面缺陷网络YOLOv5s-FCS。首先本文引用了FReLU激活函数构建了卷积模块CBF,有效增强了网络的空间解析能力,优化了网络检测精度;其次,本文将坐标注意力机制嵌入到网络的neck部分来增强网络特征融合的能力,从而使网络能够提取更加丰富的特征信息;最后,将YOLOv5s的损失函数替换为SIoU loss,提高了预测框的回归精度。通过在NEU-DET数据集上进行消融实验、可视化对比实验,结果表明,YOLOv5s-FCS网络的mAP值达到了0.747,相较于原YOLOv5s网络提高了8.3%,相较于YOLOv3网络提高了11.8%,相较于YOLOXs网络提高了4.2%,相较于YOLOv6s提高了1.4%,验证了该方法的可行性、有效性。     

基于注意力机制多特征融合的虚假信息检测

在虚假信息识别任务中,面对图文结合的虚假内容,基于单模态的模型难以进行准确识别.社交媒体中的虚假信息为吸引关注和迅速传播的目的,会使用夸张的词汇煽动读者的情绪.如何将情感特征引入多模态虚假信息检测模型进行多特征融合,并准确地识别虚假信息是一个挑战.为此,本文提出了基于注意力机制多特征融合的虚假信息检测方法(att-MFNN).该模型中先将文本特征和情感特征基于注意力机制融合,再与视觉特征组成多模态特征送入虚假信息识别器和事件分类器中.通过引入事件分类器学习不同事件中的共同特征,提高新事件的识别性能.att-MFNN在微博和推特(Twitter)数据集的准确率达到了89.22%和87.51%,并且F₁、准确率、召回率指标均优于现有的模型.     

基于多尺度特征融合的小样本遥感图像分割

针对绘制遥感图像标签成本高、在实际场景中训练样本有限情况下遥感图像检测精度低的问题,提出了一种结合多尺度特征融合与注意力机制的深度金字塔注意力网络(DPA-Net)并集成迁移学习方法进行小样本遥感图像中建筑物与道路的提取．因为有限训练样本包含的信息有限,所以首先在DeeplabV3+网络架构基础上,增加两路低层特征的来源以充分利用低级特征的空间信息,并且利用注意力机制获取丰富的上下信息并增强模型对目标通道的学习能力,降低对其他目标和噪音的响应能力,改善模型在小样本上检测效果差的问题．最后利用公开遥感图像数据集和小样本数据集进行联合训练的迁移学习方法降低训练样本过少对网络学习性能的影响．实验结果表明：本文方法的精度提高了3.69%,可节省1/2的标注成本．     

基于多尺度特征融合的遥感影像场景分类方法

针对遥感场景影像存在类间相似性高、类内多样性大、且不同尺度下遥感影像差异大等问题,导致场景分类任务精确度受限,提出一种基于多尺度特征融合的遥感影像场景分类算法。首先利用轻量级网络MobileNetV2作为主干网络,以更少的网络参数实现更高的分类准确率。网络通过一维卷积提升输入通道,设计的多尺度特征融合模块能够捕获遥感影像的高级特征和低级特征,融合影像的多尺度特征,能够有效缓解不同尺度下遥感影像差异大的问题。通过在三个公开遥感数据集上进行实验对比,验证了所提方法的有效性。     

基于偏移注意力机制和多特征融合的点云分类

三维点云由于受到雾、雨和雪等自然天气条件的影响较小而受到了广泛的关注,在交通、能源和医疗等多个领域得到了广泛的应用,其中点云分类旨在划分三维点云数据的类别,为不同领域决策者提供信息,实现解决方案的制订,对自动驾驶、故障诊断和医学影像分析等具有重要意义。点云分类的应用前景广阔,但目前仍面临着诸多挑战。由于点云的无序性、稀疏性和有限性等特点,传统的图像处理和计算机视觉方法难以直接应用于点云数据分析,直接利用卷积神经网络不能有效提取点云特征,部分模型的特征提取不够充分,局部和全局的信息未能有效的利用,可能丢失重要特征信息。针对上述问题,提出一种实现点云的局部和全局特征相结合的多特征融合模块,并结合偏移注意力机制嵌入多特征融合模块实现较深层次点云特征的提取,同时引入残差结构充分利用浅层提取的特征,防止网络过深导致浅层特征丢失。在ModelNet40和ScanObjectNN分类数据集上进行训练和测试,并对实验进行了消融研究和部分数据可视化。实验结果发现该模型在ModelNet40上的分类总体准确率为93.6%,与PointNet、LDGCNN和PCT等模型相比,分类总体准确率分别提高了4.4、...     

基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测

针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与四个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

多尺度积角点检测和视觉颜色特征的鲁棒车牌定位算法

车牌图像包含的尺度、仿射变化及其复杂的背景是影响车牌定位准确度的重要因素。在高斯差（DOG）尺度空间框架下,笔者提出了一种基于多尺度乘积的角点特征和视觉颜色特征提取及其相融合的车牌定位算法。基于高斯差尺度空间的图像边缘信息,应用多尺度乘积分别提取具有尺度和仿射不变特性的角点和颜色特征,并在两特征融合结果基础上确定车牌位置候选区域;最后通过车牌区域特征点之间的距离及密集关系实现车牌的准确定位。对大量实拍的复杂环境下的车辆图像进行测试表明,该算法对车牌定位具有快速、高效的定位效果,且在噪声、仿射变换等方面的鲁棒性表现较好。     

基于多分支CNN和多尺度特征融合的非受控人脸年龄估计

现有的人脸年龄估计不能很好地兼顾全局-局部细节的特征表达,因而非受控人脸年龄估计的精度存在一定的提升空间。为解决此问题,提出了一种基于多分支卷积神经网络(convolutional neural networks,CNN)和多尺度特征融合的非受控人脸年龄估计方法。该方法根据人脸关键点对人脸图片剪裁得到包含人脸的全局图像和分别包含眼睛、鼻子、嘴巴的局部图像;使用多分支CNN网络提取对应的深层全局特征和局部特征,使用多尺度特征融合网络探索局部特征间的相关性信息从而进行局部特征选择;将融合的局部特征与全局特征拼接得到兼顾全局-局部细节的年龄特征;使用softmax损失函数优化模型进行人脸年龄估计。根据MORPH Album2、FG-NET、LAP2016人脸年龄数据集上的实验结果表明,提出的方法是有效的。     

基于多尺度特征融合的中分辨率遥感场景分类算法

在对中分辨率遥感图像进行场景分类时,传统的特征提取方法无法提取全面的特征,若使用卷积神经网络进行场景分类,同一大小的卷积核无法提取尺寸大小各异的地物特征,导致分类精度降低.为了提取不同尺寸的地物特征,提高分类精度,本文提出一种基于多尺度特征融合的中分辨率遥感场景分类算法.对传统的卷积神经网络进行改进以适应中分辨率遥感数据集,并在其基础上添加多尺度池化,将连接多层次的特征图谱输入到全连接层进行分类.实验表明,多层特征融合方法提取的特征信息比单层多尺度池化方法提取的特征信息更全面,分类效果更优.与其他的传统分类方法相比,本文方法获得更好的分类结果.     

融合多尺度深度特征的SAR图像变化检测

针对合成孔径雷达(synthetic aperture radar, SAR)图像变化检测中单一尺度图像特征无法有效表达细节信息的问题,文章提出了一种融合多尺度深度特征的无监督SAR图像变化检测方法。首先,利用平稳小波变换(stationary wavelet transform, SWT)将差异图分解为多个高、低频分量,并将这些分量独立重构成不同尺度下的差异图;然后,利用模糊C均值(fuzzy C-means, FCM)对差异图进行预分类,依据预分类的结果从差异图中选取可靠的训练样本;最后,利用卷积神经网络(convolutional neural network, CNN)学习并融合各尺度的差异图特征,实现变化区域和未变化区域的分类。实验结果表明该方法不仅明显改善了边界等细节的保持能力,而且有效提高了检测精度和抗噪性能。     

融合多尺度特征和子空间注意力的黏膜下肿瘤检测

计算机辅助检测工具可以帮助医生减少在临床检查中漏检误检的情况，从而提高诊断准确度，同时减轻医生的劳动强度。针对超声胃肠镜检查中黏膜下肿瘤的定位与分类问题，提出了一种融合多尺度特征和子空间注意力的黏膜下肿瘤检测算法(MFSA-YOLOv7t)。首先，移除小目标预测头，在保证精度下使网络轻量化；然后，基于浅层特征提出多尺度特征融合模块，提取肿瘤细节信息；其次，改进上采样结构，在保留上层信息的同时增强感受野；最后，引入子空间位置注意力模块，捕获肿瘤的位置和边界特征，进一步提升黏膜下肿瘤的检测性能。实验表明，MFSA-YOLOv7t在平均精度均值、敏感度以及准确度上分别达到97.32%，96.99%和96.24%，相比YOLOv7-tiny算法检测性能有较大的提升，分别提高了2.39%，2.75%和2.59%。MFSA-YOLOv7t为医生在临床检查中的辅助诊断提供更加可靠的肿瘤类型参考，同时为黏膜下肿瘤的检测提供了一个新的思路和研究方向。     

基于多尺度特征融合的快速单目图像深度估计

文章针对目前采用深度学习估计单目图像深度中存在推理时间长、物体边缘细节不清晰的问题,设计一种基于多尺度特征融合的快速单目图像深度估计网络.将GhostNet运用到单目图像深度估计网络的编码网络中,提高网络的编码速度;采用反卷积和双线性插值设计解码网络,并通过跨层连接将编码网络的特征与解码网络的特征融合增强深度图中物体的...     

一种融合多模态特征的视频暴力检测方法

暴力事件检测是视频内容智能分析的一个常见任务,在互联网视频内容审查、影视作品分析、安防视频监控等领域有重要应用.面向视频中暴力检测任务,提出了一个包含关系网络和注意力机制的方法来融合视频中的多模态特征,该方法首先使用深度学习提取视频中多个模态特征,如音频特征、光流特征、视频帧特征,接着组合不同的模态特征,利用关系网络来建模多模态之间的关系;然后基于深度神经网络设计了多头注意力模块,学习多个不同的注意力权重来聚焦视频的不同方面,以生成区分力强的视频特征.该方法可以融合视频中多个模态,提高了暴力检测准确率.在公开数据集上训练和验证的实验结果表明,提出的多模态特征融合方法,与仅使用单模态数据的方法和现有多模态融合的方法相比,具有明显的优势,检测准确率分别提升了4.89％和1.66％.     

基于纹理和直方图特征相融合的镜头边界检测方法

镜头切换检测是视频检索研究领域中一项基本的、重要的技术,对于数字视频镜头突变切换的检测,一般有模板匹配法、直方图法等基本算法,但这些算法在实际检测中通常达不到较高的检测精度。因此,提出了一种特征融合的镜头边界检测方法。HSV色彩直方图进行镜头边界检测是一种常用、有效的方法,该文通过小波变换得到视频帧的纹理特征,并将其与色彩直方图特征相融合,采用滑动窗口技术对视频镜头进行检测。实验表明,该方法能够有效地检测镜头突变,对镜头的渐变也能有较好地检测。