基于多尺度特征选择与融合的目标检测方法

针对多尺度目标检测中特征图特征混淆和特征丰富程度不足的问题,提出一种基于多尺度特征选择与融合的目标检测算法。设计了一个特征选择模块来分离出不相关的特征,并结合特征金字塔网络形成特征选择网络结构,降低特征图中不同尺度目标的局部特征对当前尺度特征的干扰;提出一种浅层特征融合方法,将浅层特征逐级融合到较深层级特征中,解决特征图的特征不够丰富问题。结合特征选择架构和浅层特征融合架构,在PASCAL-VOC2007数据集上进行测试,结果mAP达到了80.1%。相较于基础的单阶段目标检测(single shot detection, SSD),所提算法的网络性能可提高2.9%,且在一些小目标和遮挡目标的检测效果上有明显的提升。通过对比和消融实验,证明了所提方法的有效性。     

基于多尺度特征融合与注意力机制的人群计数算法

针对特征提取过程中缺乏对人群区域的针对性,不同大小人头目标不能同时检测以及特征融合时多尺度特征信息丢失问题,提出多尺度注意力模块,增强特征对高密度人群区域的关注。采用多尺度空洞卷积,结合提出的多通道特征融合模块,提取更完善的多尺度特征,提高对不同尺寸人头计数能力;利用密度图回归模块,融合多尺度特征,减少了多尺度信息的损耗。实验结果表明,本算法的计数结果更精确稳定。     

基于局部-全局双分支网络的密集人群计数方法

基于卷积神经网络的人群计数方法促使人群计数精度取得了显著提高. 然而,密集人群中的人头尺度变化与复杂环境干扰仍是影响网络计数精度的主要因素. 本文提出了一种基于局部-全局双分支网络对密集人群计数. 局部分支主要由尺度感知特征提取模块实现,以建模密集人群中人头的尺度变化. 全局分支主要由位置感知注意力模块实现,以增强网络对人群与背景之间的判别力. 提取到的局部特征与全局特征会送入特征融合分支处理,回归人群密度图. 本文方法在3个常用的人群计数数据集与一个遥感目标计数数据集上进行了实验. 定量与定性结果表明了本文方法的有效性.      

多层特征图堆叠网络及其目标检测方法

随着深度卷积神经网络的快速发展,基于深度学习的目标检测方法由于具有良好的特征表达能力及优良的检测精度,成为当前目标检测算法的主流.为了解决目标检测中小目标漏检问题,往往使用多尺度处理方法.现有的多尺度目标检测方法可以分为基于图像金字塔的方法和基于特征金字塔的方法.相比于基于图像金字塔的方法,基于特征金字塔的方法速度更快,更能充分利用不同卷积层的特征信息.现有的基于特征金字塔的方法采用对应元素相加的方式融合不同尺度的特征图,在特征融合过程中易丢失低层细节特征信息.针对该问题,本文基于特征金字塔网络(featurepyramidnetwork,FPN),提出一种多层特征图堆叠网络(multi-featureconcatenationnetwork,MFCN)及其目标检测方法.该网络以FPN为基础,设计多层特征图堆叠结构,通过不同特征层之间的特征图堆叠融合高层语义特征和低层细节特征,并且在每个层上进行目标检测,保证每层可包含该层及其之上所有层的特征信息,可有效克服低层细节信息丢失.同时,为了能够充分利用ResNet101中的高层特征,在其后添加新的卷积层,并联合其低层特征图,提取多尺度特征....     

基于视觉显著性的彩色图像分割

为了提高图像显著性检测的准确性,从数学模型上探索显著性的多特征空间.利用多尺度特征提取算法获得低层视觉特征,对特征矩阵用低秩矩阵恢复理论提取显著图,并在自底向上模型基础上融合了高层视觉特征,由高层视觉特征构成一幅权重的显著图.提高了显著度和显著目标的检测性能.通过自适应阈值算法对视觉显著目标进行分割.实验结果表明,该模型比传统的模型提取的显著目标更完整、更准确.     

编码-解码多尺度卷积神经网络人群计数方法

针对基于多列卷积神经网络的人群计数方法存在的多尺度特征信息丢失、融合不佳以及密度图质量不高等问题,提出了一种编码-解码结构的多尺度卷积神经网络人群计数方法。编码器采用多列卷积捕获多尺度特征,通过空洞空间金字塔池化扩大感受野并减少参数量,保留尺度特征和图像的上下文信息;解码器对编码器输出进行上采样,实现高层语义信息和编码器前端低层特征信息有效融合,从而提升了密度图的输出质量。为增强网络对计数的敏感性,在以往像素空间损失的基础上考虑了计数误差,提出了一种新型损失函数。采用Shanghai Tech、Mall以及自建数据集进行了对比实验,结果表明:与之前最优方法相比,所提方法在Shanghai Tech数据集Part_A部分的平均绝对误差和均方误差分别降低了8.3%和21.3%,Part_B部分分别降低了12.9%和12.0%,Mall数据集分别降低了15.1%和23.8%,自建数据集分别降低了13.5%和7.1%;在不同人群场景下,所提方法的人群计数准确性和鲁棒性均优于其他对比方法的。     

超分辨率对抗网络的电路板瑕疵检测

电路板瑕疵检测是图像检测领域一个具有挑战性的问题.针对电路板瑕疵只占整个图像区域的很小比例而导致难以检测的问题,提出超分辨率生成式对抗网络的电路板瑕疵小目标检测方法,电路板图像通过对抗网络提高分辨率后用深层网络的多尺度进行目标检测.首先,将电路板数据集图片通过超分辨率生成式对抗网络提高分辨率,放大至4倍尺寸;在Darknet-53网络中通过卷积、采样和融合提取不同尺度的特征图;使用先验框对特征图进行多尺度预测,输出瑕疵的边界框和分类.实验表明,超分辨率生成式对抗网络电路板瑕疵小目标检测方法的平均精确率可提高至99.38％.     

基于扩张卷积特征自适应融合的复杂驾驶场景目标检测

针对复杂驾驶场景下的目标检测问题,提出一种基于扩张卷积特征自适应融合的目标检测算法.采用单阶段目标检测网络RetinaNet作为基本框架,其包含卷积特征提取、多尺度特征融合以及目标分类与回归子网.为提高网络对多尺度特征的提取能力,设计了基于不同扩张率组合的残差卷积分支模块,以获取不同感受野下的目标特征图;然后,将不同尺度下的特征通过网络自适应学习的参数融合后输出,用于后续的目标预测;最后在大规模且多样化的复杂驾驶场景数据集BDD100K上进行实验.结果 表明,利用扩张残差卷积分支模块与特征自适应融合算法能够分别将网络的平均精度均值由0.330提升至0.338与0.344,并在采用扩张卷积特征自适应融合的情况下达到了0.349.所提算法能够有效提升目标检测算法在复杂驾驶场景下的检测性能.     

基于改进YOLOv3的交通标志检测

针对交通标志检测小目标数量多、定位困难及检测精度低等问题,本文提出一种基于改进YOLOv3的交通标志检测算法.首先,在网络结构中引入空间金字塔池化模块对3个尺度的预测特征图进行分块池化操作,提取出相同维度的输出,解决多尺度预测中可能出现的信息丢失和尺度不统一问题;然后,加入FI模块对3个尺度特征图进行信息融合,将浅层大特征图中包含的小目标信息添加到深层小特征图中,从而提高小目标检测精度.针对交通标志数据集特点,使用基于GIoU改进的TIoU作为边界框损失函数替换MSE函数,使得边界框回归更加准确;最后,通过k-means++算法对TT100K交通标志数据集进行聚类分析,重新生成尺寸更小的候选框.实验结果表明,本文算法与原始YOLOv3算法相比mAP提升11.1%,且检测每张图片耗时仅增加6.6 ms,仍符合实时检测要求.与其他先进算法相比,本文算法具有更好的检测精度和检测速度.     

基于全局注意力的多级特征融合目标检测算法

针对小目标物体检测精度差的问题,同时不以牺牲速度为代价,本文提出了一种基于全局注意力的多级特征融合目标检测算法。算法首先由卷积神经网络生成多尺度的特征图,然后采用多级特征融合的方法,将浅层和深层特征图的语义信息相结合,提高特征图的表达能力,接着引入全局注意力模块,对特征图上下文信息进行建模,并捕获通道之间的依赖关系来选择性地增强重要的通道特征。此外,在多任务损失函数的基础上增加一项额外的惩罚项来平衡正负样本。最后经过分类回归、迭代训练和过滤重复边框得到最终检测模型。对所提算法在PASCAL VOC数据集上进行了训练和测试,结果表明该算法能有效地提升小目标物体检测效果,并较好地平衡了检测精度与速度之间的关系。     

局部二值平均熵模式与深度残差网络的人群密度估计

针对人群密度估计算法中场景的人群遮挡、尺度光照变化、噪声和低分辨率等问题,提出了一种结合局部二值熵值纹理特征(ELBP)与深度残差网络的人群密度估计算法。该算法首先在原始RGB人群图像上提取LBP特征;然后通过计算邻域像素点的平均信息熵模式构建ELBP纹理特征;随后基于ELBP纹理特征构建了一个深度为18层的深度残差网络;最后形成了对人群密度估计的end-to-end模式。为验证算法的可行性和有效性,在开源的人群密度估计数据集上进行实验。首先邀请10位专家对开源的数据集进行有效的人群聚集标注作为真实输出标签;随后采用研究提出的算法对人群密度完成估计,并与真实结果进行比较。另外,在三种不同的特征和三种不同的机器学习模型上进行了横向比较。实验结果表明,提出的ELBP纹理特征能够很好地应对噪声和低分辨率问题;深度残差网络则能够解决人群遮挡、尺度光照变化的问题。与传统算法相比,提出的算法能够提升人群密度估计的性能。     

基于改进RFBNet算法的遥感图像目标检测

针对遥感图像中的小目标存在信息少、易受背景干扰、特征表达较弱等缺陷, 导致目前通用目标检测算法在对这类小目标进行检测时效果不理想的问题, 为提高对遥感图像中小目标的检测能力, 提出一种基于RFBNet的改进算法. 该算法以RFBNet为框架, 首先利用自校正卷积取代特征提取网络中的常规卷积, 以扩展感受野丰富输出, 进而强化对弱特征的提取能力; 然后设计多尺度特征融合模块, 丰富浅层特征图的抽象信息; 最后设计稠密预测模块, 提前在较浅层整合上下文信息, 使最后阶段的每层输出都含有丰富且联系紧密的多尺度特征信息. 将该算法在数据集UCAS_AOD和NWPU VHR-10上进行实验, 平均检测精度分别达83.4%和94.8%. 实验结果表明, 该算法有效提高了遥感图像中目标检测的精度, 且针对遥感图像中的小尺度目标检测问题改善明显.     

基于多尺度特征逐层融合深度神经网络的无参考图像质量评价方法

现有的针对真实失真的无参考图像质量评价算法提取的特征对自然场景图像质量的表征能力较差,限制了其评估准确性和泛化能力。针对该问题,文中提出了一个基于多尺度特征逐层融合的深度神经网络(MsFF-Net)。首先,利用预训练的深度神经网络ResNet-50提取图像多尺度特征;然后,提出了一种特征融合模块,通过逐层递进融合相邻尺度特征,获得更准确表征图像质量的多尺度融合特征;接着,从多尺度融合特征提取低维特征,得到多粒度的图像质量感知特征;最后,利用由最高层特征自适应生成的全连接神经网络,对低维特征进行回归,得到自然场景图像的质量预测。仿真结果表明,MsFF-Net在真实失真数据库上的性能优于目前的大多数方法,而且在合成失真数据库上也取得了出色的评价性能。     

一种基于多相关滤波器组合的目标跟踪方法

针对复杂跟踪环境条件下目标的跟踪失败问题,提出一种基于多相关滤波器组合的目标跟踪方法.首先2个分别采用颜色属性(Color Name,CN)特征和方向梯度直方图(Histogram of Oriented Gradient,HOG)特征的核相关滤波器(Kernelized Correlation Filter,KCF)通过自适应融合手段进行响应图信息融合,确定目标的预测位置;然后通过以目标区域为基础进行多尺度采样,提取CN-HOG拼接特征构建尺度相关滤波器,得到目标的最佳尺度;最后设计了模型的自适应更新策略,通过判断目标是否发生遮挡来决定是否在当前帧进行模型更新.在50组视频序列上对所提算法与6种当前主流的相关滤波跟踪算法进行了实验.实验结果表明,在复杂的跟踪环境条件下,所提算法取得了最好的跟踪精度和成功率,能够有效处理目标遮挡和尺度变化等问题,且具有较快的跟踪速度.     

基于双层视觉及多尺度注意力融合的图像去雾

针对现有去雾算法缺乏对雾霾图像不同区域噪音浓度的关注以及远近景特征的区分问题,本文提出了一种新的生成对抗网络模型.模型中通过两个UNet3+网络实现全尺度的跳跃连接和深度监督,使用多尺度融合的方法结合不同尺度特征图中的高低级语义;而深度监督的加入可以更好地学习图像中的远近层次表示.同时在生成器结构中加入融合改进自注意力机制的多尺度金字塔特征融合模块,以便更好地保留特征图的多尺度结构信息,并且提高了对不同雾霾浓度区域的关注度.实验结果显示,在NTIRE 2020、NTIRE 2021、O-Haze数据集和Dense-Haze数据集上, 本文所提出的算法网络相比BPPNET等其他先进算法可以得到更好的视觉效果,在Dense-Haze数据集上,峰值信噪比和结构相似性指数分别达到24.82和0.769.     

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则,传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性,并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题,提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法.首先,用空洞卷积融合不同尺度的空间上下文信息;其次,用通道上下文信息融合模块提取特征图各通...     

基于空洞卷积和特征融合的单阶段目标检测算法

针对SSD多尺度目标检测过程中存在的目标漏检和错检问题,提出了一种融入多维空洞卷积和多尺度特征融合的目标检测算法。在卷积神经网络输出的多尺度特征中,浅层具有更多的细节信息,深层具有更多的语义信息,根据这一特点,对浅层网络采用了3种多维空洞卷积的浅层特征增强模块,获得具有语义信息的特征图,将增强后的特征图进行下采样,融合不同层的特征;同时在深层网络引入通道注意力模块,对通道进行权重分配,抑制无用信息,提高目标的检测性能。研究结果表明：该算法在PASCAL VOC数据集上检测精度为79.7%,比SSD算法提高了2.4%;在KITTI数据集上检测精度为68.5%,比SSD算法提高了5.1%,检测速度达到了实时性的要求,有效地改善了目标的漏检和错检。     

结合语义分割和特征融合的行人检测方法

针对传统行人检测方法在复杂场景下存在遮挡行人和小尺寸行人检测效果差的问题,提出一种结合语义分割和特征融合的行人检测方法.该方法的网络结构以区域全卷积神经网络为基础框架,根据行人检测任务进行改进.使用深度残差网络提取出多尺度的特征映射图;通过全卷积语义分割网络,得到对应的语义分割图;利用特征融合模块构造出融合特征图;将融...     

基于骨架的自适应尺度图卷积动作识别

基于骨架的动作识别任务中,一般将骨骼序列表示为预定义的时空拓扑图.然而,由于样本的多样性,固定尺度的拓扑图往往不是最优结构,针对样本特性构建自适应尺度的骨骼拓扑图能够更好地捕捉时空特征;另外,不同尺度的骨骼图能够表达不同粒度的人体结构特征,因此对多个不同尺度的拓扑图进行特征提取与融合是有必要的.针对这些问题,提出了一种自适应尺度的图卷积动作识别模型.该模型包含自适应尺度图卷积模块和多尺度融合模块两部分.自适应尺度图卷积模块基于先验与空间注意力机制,构建关键点的活跃度判决器,将活跃点细化为小尺度结构、非活跃点聚合为大尺度结构,在加速节点间特征传递的同时最小化特征损耗;多尺度融合模块基于通道注意力机制,动态融合不同尺度的特征,进一步提升网络的灵活性;最后,综合关键点、骨骼、运动信息实现多路特征聚合的动作判别,丰富模型的特征表达.结果表明:该算法在NTU-RGBD数据集的CS和CV子集上分别取得了89.7%和96.1%的分类准确率,显著提高了动作识别的准确性.     

基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法

随着深度学习的快速发展,利用目标检测算法对航拍绝缘子图像进行缺陷检测成为绝缘子巡检的主要方式.针对传统目标检测算法对小目标的检测精度较低、特征图的表征能力较弱和提取的关键信息较少的问题,提出以YOLOv5l为基础网络的改进的基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法 AMF-YOLOv5l(Attention Mechanism and Multi-Scale Feature Fusion Based on YOLOv5l).首先,通过增加一个小目标检测头,提高模型对小目标的检测性能;然后,构造DSPP(Dilated Spatial Pyramid Pooling)模块,充分融合多尺度特征,增强特征图的表征能力;最后,引入CA(Coordinate Attention)注意力机制,使网络更加专注于关键信息.在航拍绝缘子数据集APID(Aerial Photographic Insulator Dataset)以及两个公共数据集PASCAL VOC和MS COCO上分别验证该方法的可行性.实验结果表明,在APID数据集中该方法的AP(Average Precision)比YOL...