基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法

随着深度学习的快速发展,利用目标检测算法对航拍绝缘子图像进行缺陷检测成为绝缘子巡检的主要方式.针对传统目标检测算法对小目标的检测精度较低、特征图的表征能力较弱和提取的关键信息较少的问题,提出以YOLOv5l为基础网络的改进的基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法 AMF-YOLOv5l(Attention Mechanism and Multi-Scale Feature Fusion Based on YOLOv5l).首先,通过增加一个小目标检测头,提高模型对小目标的检测性能;然后,构造DSPP(Dilated Spatial Pyramid Pooling)模块,充分融合多尺度特征,增强特征图的表征能力;最后,引入CA(Coordinate Attention)注意力机制,使网络更加专注于关键信息.在航拍绝缘子数据集APID(Aerial Photographic Insulator Dataset)以及两个公共数据集PASCAL VOC和MS COCO上分别验证该方法的可行性.实验结果表明,在APID数据集中该方法的AP(Average Precision)比YOL...     

基于多尺度融合和轻量化网络的无人机目标检测算法

针对在游乐场、公园等公共安全区域因无人机的尺度变化实时检测困难和计算资源有限的问题,提出一种网络动态实时检测无人机方法YOLO-Ads,以增加网络对无人机尺度变化的鲁棒性.首先自主构建了无人机数据集;其次将轻量化网络作为主干建立一个新的MDDRDNet网络,减小模型计算的复杂度,并且引入协调注意力机制模块,加强网络对空间和通道的关注度;然后采用均值聚类算法,重新生成先验框,在先验框的选择上结合多探测头和多数据集的寻优办法,使重新生成的先验框与无人机更加匹配;然后基于特征融合和残差思想建立一个新的探测头以适应更小尺度无人机的检测;最后,在检测模块中引入类激活映射模块生成热力图,以观察网络对无人机尺度变化的敏感程度,同时与当前主流网络SSD、CenterNet、YOLOv5、YOLOx等和不同主干网络ResNet、EfficientNet、VGGNet等进行对比实验.实验结果表明,新提出的算法在尺度变化的无人机检测上平均精度达到96.62%,相较YOLOv4算法提高了1.88%;检测速度为每秒47帧,相较YOLOv4算法提高了19帧;模型所占内存大约为10.844 M,约为原内存的六分之一,体现了该方法的有效性和鲁棒性.     

基于改进的YOLOv5安全帽佩戴检测算法

针对安全帽佩戴检测中存在的误检和漏检的问题，提出一种基于YOLOv5模型改进的安全帽佩戴检测算法。改进模型引入多尺度加权特征融合网络，即在YOLOv5的网络结构中增加一个浅层检测尺度，并引入特征权重进行加权融合，构成新的四尺检测结构，有效地提升图像浅层特征的提取及融合能力；在YOLOv5的Neck网络的BottleneckCSP结构中加入SENet模块，使模型更多地关注目标信息忽略背景信息；针对大分辨率的图像，添加图像切割层，避免多倍下采样造成的小目标特征信息大量丢失。对YOLOv5模型进行改进之后，通过自制的安全帽数据集进行训练检测，mAP和召回率分别达到97.06%、92.54%,与YOLOv5相比较分别提升了4.74%和4.31%。实验结果表明：改进的YOLOv5算法可有效提升安全帽佩戴的检测性能，能够准确识别施工人员的安全帽佩戴情况，从而大大降低施工现场的安全风险。     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

基于多尺度与混合注意力机制的苹果目标检测

自然环境下,苹果采摘机器人进行采摘任务时易受到环境因素的影响,导致其视觉系统的检测性能降低,出现误检和漏检的情况.针对此问题,在YOLOv3的基础上,提出了一种基于多尺度与混合注意力机制的目标检测模型PM-YOLOv3.首先,改进YOLOv3的特征提取网络,减少网络残差模块的数量,引入多尺度卷积,构建新的特征提取网络;...     

基于注意力机制多特征融合的虚假信息检测

在虚假信息识别任务中,面对图文结合的虚假内容,基于单模态的模型难以进行准确识别.社交媒体中的虚假信息为吸引关注和迅速传播的目的,会使用夸张的词汇煽动读者的情绪.如何将情感特征引入多模态虚假信息检测模型进行多特征融合,并准确地识别虚假信息是一个挑战.为此,本文提出了基于注意力机制多特征融合的虚假信息检测方法(att-MFNN).该模型中先将文本特征和情感特征基于注意力机制融合,再与视觉特征组成多模态特征送入虚假信息识别器和事件分类器中.通过引入事件分类器学习不同事件中的共同特征,提高新事件的识别性能.att-MFNN在微博和推特(Twitter)数据集的准确率达到了89.22%和87.51%,并且F₁、准确率、召回率指标均优于现有的模型.     

基于多尺度特征混合注意力的连续帧深度估计

目的 估计获取拍摄物体到相机之间距离的深度信息是单目视觉 SLAM 中获取深度信息的方法,针对无监督 单目深度估计算法出现精度不足以及误差较大的问题,提出基于多尺度特征融合的混合注意力机制的连续帧深度 估计网络。 方法 通过深度估计和位姿估计的两种编码器解码器结构分别得到深度信息和 6 自由度的位姿信息,深 度信息和位姿信息进行图像重建与原图损失计算输出深度信息,深度估计解码器编码器结构构成 U 型网络,位姿 估计网络和深度估计网络使用同一个编码器,通过位姿估计解码器输出位姿信息;在编码器中使用混合注意力机 制 CBAM 网络结合 ResNet 网络提取四个不同尺度的特征图,为了提升估计的深度信息轮廓细节在提取的每个不 同尺度的特征中再进行分配可学习权重系数提取局部和全局特征再和原始特征进行融合。 结果 在 KITTI 数据集 上进行训练同时进行误差以及精度评估,最后还进行了测试,与经典的 monodepth2 单目方法相比误差评估指标相 对误差、均方根误差和对数均方根误差分别降低 0. 034、0. 129 和 0. 002,自制测试图片证明了网络的泛化性。 结论 使用混合注意力机制结合的 ResNet 网络提取多尺度特征,同时在提取的特征上进行多尺度特征融合提升了深度 估计效果,改善了轮廓细节。     

基于RCBAM和SSD的特征融合低照度环境目标检测算法研究

针对低光照、雨雾等恶劣场景对智能驾驶视觉系统检测能力的影响,提出了一种雷达与相机特征融合的网络模型. 基于毫米波雷达信息和注意力模型构建了雷达注意力机制特征模块,该模块可以为特征融合网络提供一个先验信息和增加算法在目标候选区域权重. 测试结果表明,引入雷达注意力机制模块后,特征融合网络的目标检测性能要比仅依赖计算机视觉的检测性能有了明显的提升,并且在复杂场景下的目标检测鲁棒性更强.      

基于全局注意力的多级特征融合目标检测算法

针对小目标物体检测精度差的问题,同时不以牺牲速度为代价,本文提出了一种基于全局注意力的多级特征融合目标检测算法。算法首先由卷积神经网络生成多尺度的特征图,然后采用多级特征融合的方法,将浅层和深层特征图的语义信息相结合,提高特征图的表达能力,接着引入全局注意力模块,对特征图上下文信息进行建模,并捕获通道之间的依赖关系来选择性地增强重要的通道特征。此外,在多任务损失函数的基础上增加一项额外的惩罚项来平衡正负样本。最后经过分类回归、迭代训练和过滤重复边框得到最终检测模型。对所提算法在PASCAL VOC数据集上进行了训练和测试,结果表明该算法能有效地提升小目标物体检测效果,并较好地平衡了检测精度与速度之间的关系。     

面向智能船舶的水面小目标检测算法

针对智能船舶中基于视觉传感器的水面小目标识别具有识别区域分辨率低、图像模糊、信噪比低等问题,提出了一种新的基于卷积神经网络的水面小目标检测算法——自注意力特征融合检测算法.首先,为了提高视觉信息处理的效率与准确性,在网络模型中引入了自注意力模块,更多关注小目标的细节信息.其次,在网络模型中采用了结构化的特征融合算法,通...     

多域特征融合的换脸视频检测算法

现有基于深度学习网络的换脸视频检测算法大多存在跨库检测性能较弱和泛化性能不足的问题。文章融合空域、频域和时域的图像特征信息,提出一种基于多域特征融合的换脸视频检测算法。采用多路卷积特征提取网络分别提取空域颜色通道特征、频域离散傅里叶变换特征以及时域光流特征,并引入通道注意力机制对各支路特征进行优化和有效融合。所提算法在4个公开数据库上进行了实验,与现有同类方法相比,在保持良好库内检测性能的同时,显著提升了跨库检测性能,表现出更为稳定的泛化性能。     

基于图像分块的多尺度Harris特征点检测算法

通过分析Harris特征点检测算法在应用中的不足,提出一种基于图像分块的多尺度Harris特征点检测算法,解决了特征点聚簇现象,检测出的特征点分布均匀.实验结果表明,该算法具有精确性、有效性和鲁棒性,为进一步图像特征点匹配工作提供了保证.     

基于多特征融合的显著性跟踪算法

针对在线视觉跟踪中的高效特征提取以及模型漂移的问题,提出了一种基于显著性检测的核相关滤波器(KCF)跟踪算法。将颜色特征(CN)和方向梯度直方图(HOG)进行加权融合;并自适应地调节每种特征的权重。对于模型漂移问题,受生物视觉机制的启发,通过视觉显著性算法获得目标的显著区域;并在该区域内进行采样,实现了全局范围搜索,避免陷入局部极大值。此外,引入了一种基于关键点的模型来解决目标尺度固定的问题。为验证提出算法的有效性,在50个视频序列上与近年来的5种优秀算法进行了对比。实验结果表明,与以往算法相比,该算法在成功率和中心位置误差上都取得较好的效果;而且能有效地缓解目标模型漂移问题。     

基于改进单步多框目标检测的道路小目标检测算法

针对SSD目标检测算法运用于自动驾驶领域时,在检测道路上小目标容易发生漏检错检的情况,本文提出一种改进的SSD目标检测算法。本算法首先在SSD模型的主干网络中嵌入感受野增强模块,扩大特征层的感受野,以获取更多小目标的特征信息;然后在主干网络后加入4次U型特征提取结构,构建4个不同层级的特征金字塔,最后合并成一个多层级特征金字塔用于检测。结果表明,该改进SSD模型在KITTI数据集上的检测精度较原始SSD模型提升了6%,检测速度达到了每秒27.9帧。在兼顾检测效率的同时,有效提高了对道路上小目标的检测精度,更适用于自动驾驶领域。     

基于特征融合SSD的微电连接器缺陷检测

提出基于多尺度特征融合单次多框检测器(SSD)算法,对微精密玻璃封装电连接器的缺陷进行检测．针对SSD算法在背景复杂、噪声干扰多、目标特征微弱环境下,特征提取能力弱、检测精度低的问题,在主干网络加入深度残差结构,丰富细节信息;针对在卷积网络中关键信息逐步丢失问题,提出了自顶向下的多尺度特征融合方法将含有上下文信息的高语义层与含有位置信息的低层特征进行融合,使得融合后的特征层包含丰富的边界信息和背景信息;在此基础上,构建了一种轻量级的通道注意力模块,增强SSD算法对特征层重要特征的提取并弱化无关特征,从而提高SSD网络的特征提取能力．实验结果表明：改进算法相对于原始的SSD算法,精度由86.42%提高到了91.28%.     

基于特征金字塔模型的高分辨率遥感图像船舶目标检测

以舰船为研究对象,研究高分辨遥感图像的多尺度多目标检测中的关键技术,主要解决多尺度多目标识别和细粒度分类准确率低等问题.在目标定位方面,利用特征金字塔深度网络定位多目标区域,创建一个在所有尺度上均具有语义信息的特征金字塔,有效解决多尺度多目标数据定位准确率低这一关键问题;在目标识别方面,利用共享CNN网络重建输入图像、优化多任务损失函数提取细粒度分类目标结构特征,提高细分目标识别准确率.与GoogLeNet、Faster R-CNN和Yolo三种目标检测算法对比实验表明,利用特征金字塔和重建输入图像可有效检测多目标多尺度的细粒度船舶对象,漏检率为1.5%,细粒度分类识别平均准确率为92.67%.     

改进YOLOv4的复杂交通场景目标检测方法

针对复杂交通场景下密集小目标居多、目标尺寸差异大、目标间遮挡严重的问题,提出了一种基于YOLOv4框架的复杂交通场景下的目标检测算法。首先,构造多尺度特征融合提取模块作为主干网络特征提取模块,充分提取不同尺度目标特征信息,同时引入轻量化Ghost模块对主干网络特征进行维度调整;其次,将卷积模块与自注意力机制融合,构造倒残差自注意力模块应用到主干网络深层,深层网络在充分提取局部特征信息基础上获得了全局感知;然后,构造轻量级混合注意力模块,抑制背景噪声,增强密集小目标检测能力;最后,在Udacity数据集上进行实验,检测精度达到了84.41%,相比较YOLOv4, mAP(mean average precision)提高了3.07%,对1 920×1 200分辨率图像的检测FPS(frames per second)可达到49,提高了22.5%,精度提升的前提下实现了较好的实时性,更适用于复杂交通场景下的目标检测任务。     

基于改进RCF和无人机影像的电力线检测研究

在电力线无人机自动巡检中,电力线边缘检测对提高输电线路检测精度有重要作用。目前,常用的RCF（Richer Convolutional Features for edge detection）算法在复杂背景下检测电力线时存在边缘模糊、在较低阶段产生的特征图包含太多噪声并在融合特征图时丢失多尺度信息等问题。对此,本文对RCF算法进行改进：1）使用具有平移不变性的下采样技术增强模型的鲁棒性;2）在RCF主干网络中引入CBAM（Convolutional Block Attention Module）机制,提高模型对电力线特征的表达能力;3）在RCF的侧输出网络中加入级联网络,借助基于通道注意力机制的多尺度特征融合模块对特征图进行融合,从而获得更优异的细节保持效果。实验结果表明：改进模型的最优数据集规模（Optimal Dataset Scale）、最佳图像比例（Optimal Image Scale）和平均精度（Average Precision）分别提高了0.7%、1.3%和1.7%,改进模型的检测结果噪声数量少、电力线更加清晰准确。