多层特征图堆叠网络及其目标检测方法

随着深度卷积神经网络的快速发展,基于深度学习的目标检测方法由于具有良好的特征表达能力及优良的检测精度,成为当前目标检测算法的主流.为了解决目标检测中小目标漏检问题,往往使用多尺度处理方法.现有的多尺度目标检测方法可以分为基于图像金字塔的方法和基于特征金字塔的方法.相比于基于图像金字塔的方法,基于特征金字塔的方法速度更快,更能充分利用不同卷积层的特征信息.现有的基于特征金字塔的方法采用对应元素相加的方式融合不同尺度的特征图,在特征融合过程中易丢失低层细节特征信息.针对该问题,本文基于特征金字塔网络(featurepyramidnetwork,FPN),提出一种多层特征图堆叠网络(multi-featureconcatenationnetwork,MFCN)及其目标检测方法.该网络以FPN为基础,设计多层特征图堆叠结构,通过不同特征层之间的特征图堆叠融合高层语义特征和低层细节特征,并且在每个层上进行目标检测,保证每层可包含该层及其之上所有层的特征信息,可有效克服低层细节信息丢失.同时,为了能够充分利用ResNet101中的高层特征,在其后添加新的卷积层,并联合其低层特征图,提取多尺度特征.在PASCALVOC2007数据集上的检测精度为80.1%m AP,同时在PASCALVOC2012和MSCOCO数据集上的表现都优于FPN算法.相比于FPN算法,MFCN的检测性能更加优秀.     

基于特征金字塔模型的高分辨率遥感图像船舶目标检测

以舰船为研究对象,研究高分辨遥感图像的多尺度多目标检测中的关键技术,主要解决多尺度多目标识别和细粒度分类准确率低等问题.在目标定位方面,利用特征金字塔深度网络定位多目标区域,创建一个在所有尺度上均具有语义信息的特征金字塔,有效解决多尺度多目标数据定位准确率低这一关键问题;在目标识别方面,利用共享CNN网络重建输入图像、优化多任务损失函数提取细粒度分类目标结构特征,提高细分目标识别准确率.与GoogLeNet、Faster R-CNN和Yolo三种目标检测算法对比实验表明,利用特征金字塔和重建输入图像可有效检测多目标多尺度的细粒度船舶对象,漏检率为1.5%,细粒度分类识别平均准确率为92.67%.     

HourglassNet:一种用于遥感目标检测的改进FCOS算法

针对遥感图像中背景复杂、目标分布密集、目标尺度形态多样等问题,该文在单阶段全卷积(FCOS)目标检测模型的基础上,基于沙漏特征金字塔并且与多尺度上下文场景结合,提出了沙漏网(HourglassNet)。针对卷积神经网络(CNN)中不同深度语义信息和空间信息不均衡的问题,提出了一种沙漏特征金字塔,通过将多尺度特征缩放至中间尺度进行融合和优化以获得全局特征。基于注意力机制将全局特征向不同尺度特征传递,在抑制无关特征的同时增强了有效特征,实现了对多尺度特征的补偿。为了将高层特征的语义信息更加充分地融入不同尺寸的特征图内,设计了多尺度上下文融合模块。利用适当的感受野提取高层特征的上下文信息,提升了特征的鲁棒性和辨识性。分别在DOTA v1.5和NWPU VHR-10公开遥感图像数据集上进行了性能对比与消融实验。结果表明,该文算法的均值平均精度(mAP)相比于FCOS在DOTA v1.5和NWPU VHR-10数据集上分别提升了4.3%和3.4%,且检测性能优于YOLOv3等其它对比方法。     

基于MM YOLOv4的无人机目标检测算法

针对当前无人机目标图像检测方法精度较低和检测速度过慢的问题,提出一种结合轻量级网络和改进多尺度结构的目标检测算法。首先采用MobileNetV3轻量级网络替换YOLOv4的主干网络,减少模型复杂度,提升检测速度;其次,引入改进多尺度结构的PANet网络,增强高维图像特征和低维定位特征的流动叠加,提升对小目标的分类和定位精度;最后,利用K means方法对目标锚框进行参数优化,提升检测效率。同时结合公开数据集和自主拍摄方式构建一个新的无人机目标图像数据集Drone dataset,并基于数据增强的方法开展算法性能实验。实验结果表明,该算法的mAP达到了91.58%,FPS达到了55帧/s,参数量为44.39 M仅是YOLOv4算法的1/6,优于主流的SSD、YOLO系列算法和Faster R CNN算法,实现了对多尺度无人机目标的快速检测。     

基于改进RFBNet算法的遥感图像目标检测

针对遥感图像中的小目标存在信息少、易受背景干扰、特征表达较弱等缺陷, 导致目前通用目标检测算法在对这类小目标进行检测时效果不理想的问题, 为提高对遥感图像中小目标的检测能力, 提出一种基于RFBNet的改进算法. 该算法以RFBNet为框架, 首先利用自校正卷积取代特征提取网络中的常规卷积, 以扩展感受野丰富输出, 进而强化对弱特征的提取能力; 然后设计多尺度特征融合模块, 丰富浅层特征图的抽象信息; 最后设计稠密预测模块, 提前在较浅层整合上下文信息, 使最后阶段的每层输出都含有丰富且联系紧密的多尺度特征信息. 将该算法在数据集UCAS_AOD和NWPU VHR-10上进行实验, 平均检测精度分别达83.4%和94.8%. 实验结果表明, 该算法有效提高了遥感图像中目标检测的精度, 且针对遥感图像中的小尺度目标检测问题改善明显.     

融合上下文信息和注意力的遥感小目标检测

针对Faster-RCNN算法在遥感图像当中对小目标的漏检、检测精度不高等问题作出改进.用特征提取能力更强的ResNet50网络替换VGG16;同时为了加强对遥感小目标信息的提取,引入特征金字塔,添加多尺度扩张卷积模块来增强特征金字塔的上下文特征,扩充小目标信息,使用通道注意力机制来减少特征融合过程中带来的信息混淆,提高模型对遥感小目标的检测效果.实验表明,所改进的方法在HRRSD遥感数据集达到86.7%的检测精度,较改进前提升了5.2%,同时检测效果也优于当前的一些主流检测模型,证明了改进后模型的有效性.     

基于改进YOLOv3的交通标志检测

针对交通标志检测小目标数量多、定位困难及检测精度低等问题,本文提出一种基于改进YOLOv3的交通标志检测算法.首先,在网络结构中引入空间金字塔池化模块对3个尺度的预测特征图进行分块池化操作,提取出相同维度的输出,解决多尺度预测中可能出现的信息丢失和尺度不统一问题;然后,加入FI模块对3个尺度特征图进行信息融合,将浅层大特征图中包含的小目标信息添加到深层小特征图中,从而提高小目标检测精度.针对交通标志数据集特点,使用基于GIoU改进的TIoU作为边界框损失函数替换MSE函数,使得边界框回归更加准确;最后,通过k-means++算法对TT100K交通标志数据集进行聚类分析,重新生成尺寸更小的候选框.实验结果表明,本文算法与原始YOLOv3算法相比mAP提升11.1%,且检测每张图片耗时仅增加6.6 ms,仍符合实时检测要求.与其他先进算法相比,本文算法具有更好的检测精度和检测速度.     

基于深度学习算法的航拍巡检图像的绝缘子识别

针对绝缘子检测目标在航拍图像中尺寸变化剧烈的问题,提出一种改进Faster R-CNN的绝缘子检测算法.首先将FPN特征金字塔结构网络与Faster R-CNN算法进行结合,将不同尺度下的特征进行融合;然后,改进最大池化层,提升检测框的坐标精度;针对遮挡现象,采用Soft-NMS算法规避不同目标检测框因重叠而被误删的情况.经过对绝缘子航拍数据集的检测验证,对比原Faster R-CNN网络,本改进网络结构提高了平均准确率(MAP),且可以更有效地识别图像中更小比例的绝缘子目标.     

士兵和装甲车目标多尺度检测方法

针对士兵和装甲车目标的尺度差异大以及目标距离远近造成的目标多尺度问题,以YOLOv4深度学习算法为基础,提出了一种多尺度目标检测方法. 通过针对性的数据增强方法丰富小目标样本的多样性,对输入图像进行分割预处理以提高网络输入小目标的分辨率,并基于特征金字塔网络实现大、中、小目标的分离检测,最后匹配检测结果并进行NMS处理去除冗余检测框,从而实现多尺度目标检测. 实验结果表明,本文方法在保持大目标检测效果的情况下,中、小目标的平均检测精度分别提升了1.20%和5.54%,有效提高了中、小目标的检测效果.      

基于稀疏编码空间金字塔模型的零样本学习

针对目前零样本图像分类均采用图像底层视觉特征训练属性分类器而导致分类精度较低的问题,提出一种基于稀疏编码空间金字塔模型的零样本学习方法,给出系统结构流程图.首先从原始视觉图像中提取SIFT特征,并进行SIFT特征点提取;然后构建空间金字塔最大池化模型,对已提取的SIFT中间特征进行稀疏编码;最后建立间接属性预测模型.给出基于稀疏编码的空间金字塔最大池化模型的零样本学习算法步骤,完成对目标图像的属性预测,从而达到零样本图像分类的目的.在Shoes数据集与OSR数据集上进行了对比试验.结果表明:试验证实了文中算法的有效性;相对于传统算法,试验耗时减少,图像属性预测精度增加,图像分类识别率提高.     

基于注意力机制的多尺度仪表检测

为实现复杂场景下多尺度仪表检测,提出了一种基于注意力机制的视频多尺度仪表检测算法。首先,利用基于空间注意力机制的特征提取网络,建模特征的长距离依赖,增强特征的表达能力;其次,提出了一种自适应特征选择模块（Adaptive Feature Selection Module, AFSM）,对不同阶段的特征图进行权重调整,增强网络对多尺度目标的检测能力。在自建的仪表数据集上进行了实验。实验结果表明,相比较原来的Faster RCNN方法,所提出方法的检测精度提高了7.6%;与对比方法相比,检测精度也能达到95.4%。在对实际仪表监测视频的测试中,检测结果以及速度能够满足实际需要。所提方法通过改进特征提取网络和特征选择操作,增强了特征表达能力,有效降低了虚警,提升了网络对多尺度目标的检测性能。     

基于改进YOLOv5的O型密封圈缺陷检测方法

针对O型密封圈缺陷难以人工识别的问题,提出一种基于改进YOLOv5的表面缺陷自动检测方法。在数据预处理阶段,采用半自动标注方法减少人工标注成本,同时将拼接图片改为9张以实现Mosaic数据增强方法。在网络预测层引入标签平滑方法以减少模型过度依赖标签。在骨干网络中添加卷积注意力机制模块,强化有效信息,使骨干网络提取更加细致的局部特征信息。同时,针对缺陷类型尺度变化大的特点,引入剪枝的双向特征金字塔网络,以解决大小缺陷在特征提取过程中的丢失问题。实验结果表明,基于改进的YOLOv5与原YOLOv5相比,O型圈表面缺陷检测平均精度均值提高了4.26%,并且检测速度在25 ms之内,能够满足实际生产需要。     

改进YOLOv3的桥梁表观病害检测识别

针对基于目标检测方法的桥梁表观病害检测存在检测精度低、误检率和漏检率高的问题,提出一种改进YOLOv3的高准确率桥梁表观病害检测识别方法。为实现局部特征和全局特征有效融合,在YOLOv3的检测层中添加固定分块大小的池化模块,并在YOLOv3的特征提取网络中引入了DenseNet密集型连接网络结构以增强桥梁病害特征在网络中的传播和利用效率,提高检测效率,采用数据增强技术来扩充样本图像以解决现有桥梁病害数据集样本数量不足的问题。实验结果表明,改进后的YOLOv3在桥梁表观病害检测上的平均准确率比原YOLOv3提高了3.0%,且模型训练时间减少了33.2%,同时降低了对桥梁表观病害检测的误检率和漏检率。     

基于VGGNet改进网络结构的多尺度大熊猫面部检测

大熊猫个体识别对研究大熊猫的种群数量非常重要，大熊猫面部检测是基于面部图像的大熊猫个体识别方法中的首要关键步骤。针对现有的大熊猫面部检测方法精确度不高的问题，提出基于VGGNet-16改进网络结构的多尺度大熊猫面部检测方法。首先，以VGGNet-16网络结构为基础，通过增加残差结构与BN层，降低卷积层通道数，并采用LeakyRelu激活函数等改进，构建一个新的特征提取主干网络。其次，将一个3尺度的特征金字塔网络结构与SPP结构结合用于目标检测。最后，使用深度分离卷积结构替代常规卷积结构。实验结果表明，提出的大熊猫面部检测方法在测试集上能够达到99.48%的mAP，检测性能优于YOLOv4。     

基于单目视觉的车辆3D空间检测方法

针对基于单目车辆检测的3D包围框检测精确率比较低的问题，提出了一种基于改进的FPN特征融合、ResNet残差单元、全连接层组合而成的新网络方法.在训练阶段，回归车辆的三维尺寸、残差角度和置信度;在推理阶段，检测出所属类别车辆的三维尺寸和局部角度(α).由车辆的3D包围框中心点坐标、车辆的三维尺寸、车辆偏航角(θ)和相机内参矩阵复原绘制出车辆的3D包围框.所提方法在KITTI验证集上进行了实验，与原方法的检测结果相比，改进的方法在容易、适中、困难三个检测等级下提升了车辆3D包围框平均精确率(AP_3D)为0.60%，1.37%，1.41%.     

改进YOLOv4的复杂交通场景目标检测方法

针对复杂交通场景下密集小目标居多、目标尺寸差异大、目标间遮挡严重的问题,提出了一种基于YOLOv4框架的复杂交通场景下的目标检测算法。首先,构造多尺度特征融合提取模块作为主干网络特征提取模块,充分提取不同尺度目标特征信息,同时引入轻量化Ghost模块对主干网络特征进行维度调整;其次,将卷积模块与自注意力机制融合,构造倒残差自注意力模块应用到主干网络深层,深层网络在充分提取局部特征信息基础上获得了全局感知;然后,构造轻量级混合注意力模块,抑制背景噪声,增强密集小目标检测能力;最后,在Udacity数据集上进行实验,检测精度达到了84.41%,相比较YOLOv4, mAP(mean average precision)提高了3.07%,对1 920×1 200分辨率图像的检测FPS(frames per second)可达到49,提高了22.5%,精度提升的前提下实现了较好的实时性,更适用于复杂交通场景下的目标检测任务。     

改进的SIFT特征匹配算法

针对SIFT特征匹配算法在特征空间中进行历遍搜索,匹配速度慢的问题,提出一种金字塔层间匹配算法。首先,根据特征点所处金字塔层不同将特征点划分为不同的集合,其次,选择待配准图像金字塔中某一层集合,在基准图像金字塔中寻找相似层,并确定待配准图像金字塔与基准图像金字塔层之间的相似关系,最后,在相似层之间寻找匹配点。待配准图像中的选择层集合由金字塔底层到顶层,寻找相似层所用时间依次缩短。与原算法相比,该算法具有相同的旋转稳定性。将该算法与原算法分别应用实际图像配准中,结果表明:可见光图像配准中,匹配速度提高了3.2倍,正确匹配率提高了10.3％,红外图像配准中,匹配速度提高1.4倍,正确匹配率达到100％。     

基于PP-YOLO深度学习模型的赣南脐橙目标检测方法

果实检测在研究脐橙采摘机械化发展中有着重要作用，然而不良天气条件将对目标果实的检测和识别产生不利影响。针对雾天和雨天情形下脐橙果实图像模糊、噪声复杂，检测速度较慢和准确率较低的问题，通过采用单阶段目标检测网络PP-YOLO来研究不良天气条件下赣南脐橙果实的识别。通过主干网络ResNet提取特征并结合FPN（特征金字塔网络）进行特征融合实现多尺度检测，且基本实现端到端检测。实验结果表明，所提出的PP-YOLO检测模型可实现雾天和雨天情况下赣南脐橙检测任务，mAP分别为89.06%和91.01%，识别效率分别可达到75.30 fps和75.44 fps，可以尝试在脐橙采摘机器人的研制中加以应用。