多尺度定位信息增强的图像全景分割方法

经典UPSNet已经取得了较好的全景分割效果,但是使用了一种单向信息流动的特征金字塔网络,存在实例分支的目标实例定位不够准确的问题,并且语义分支的语义分割能力还需进一步提升.为此,通过考虑两个任务的差异性以及共性,重新设计特征金字塔网络结构以提取出更适合全景分割的特征图,从而提高实例分支的AP评价指标.在语义分支中引入克罗内克卷积,与可变形卷积进行融合使得特征图的感受野更大并且捕获了局部信息,使语义分支的mIoU评价指标得到了提高.此模型在Cityscapes数据集上进行实验,验证了所设计的每个模块及整个模型的有效性.     

基于深度学习的图像全景分割改进算法模型

图像语义分割和实例分割是计算机视觉领域基础挑战性工作,图像全景分割统一解决两者的任务,其核心为图像中每一个像素分配相应的类别标签以及为类别中每一个实例分配ID。经典UPSNet已经取得了较好的全景分割效果,但是使用了一种单向信息流动的特征金字塔网络,将存在实例分支的目标实例定位不够准确的问题,并且语义分支的语义分割能力还需进一步提升。本文通过考虑两个任务的差异性以及共性,重新设计特征金字塔网络结构以提取出更适合全景分割的特征图,从而提高了实例分支的AP评价指标。在语义分支中引入了克罗内克卷积,与可变形卷积进行融合使得特征图的感受野更大并且捕获了局部信息,使语义分支的mIoU评价指标得到了提高。此模型在Cityscapes数据集上进行实验,验证了所设计的每个模块及整个模型的有效性。     

多尺度特征融合的图像语义分割

针对多尺度下的目标分割问题,提出了一种多尺度特征融合的图像语义分割方法.该方法改进了空洞空间金字塔池化(ASPP)模块,采用6种不同采样率空洞卷积并行架构增强了对输入图像信息的提取,该模块可以获取多尺度的卷积特征,从而进一步增强图像分割能力.通过在PASCAL VOC 2012数据集上进行训练和验证,达到了82.0％的...     

基于空洞卷积的人体实例分割算法

针对人体实例分割任务中存在着姿态多样和背景复杂的问题,提出了一种高精度的实例分割算法.利用Mask R-CNN算法特征融合过程中的细节信息,改善人体分割任务中边缘分割不精确的问题,提高人体分割精度.改进了特征金字塔的特征融合过程,将原有自顶向下的路径改为自底向上,以保留浅层特征图中更多的空间位置信息,并且在特征融合过程...     

低对比度全景球面图像目标分割方法研究

受到光照、设备等外界条件的影响,得到的全景球面图像对比度通常较低,当前目标分割方法无法解决外界环境的干扰问题,导致分割结果精度低,分割效果不佳。为此,提出一种新的低对比度全景球面图像目标分割方法,通过PCNN模型对低对比度全景球面图像进行对比度增强处理,依据人眼视觉特征,通过对数变换映射函数把全景球面图像的亮度调整至一个合适的视觉范围内。介绍了均值偏移法的理论基础,通过对特征空间中样本点的聚类,获取模式点。通过均值偏移法将空间上相邻和色彩相同的像素划分至一类,找到不同颜色的聚类点,从而实现低对比度全景球面图像目标分割。实验结果表明,采用所提方法对低对比度全景球面图像进行分割,不仅分割效果好,而且分割精度高。     

基于多尺度复合卷积和图像分割融合的车道线检测算法

在车道线检测任务中,由于车道线的特点和获取更大范围感受野的需求,空洞卷积被广泛使用.然而,为了获取大范围信息,空洞卷积会造成卷积点附近信息的丢失.针对以上问题,提出了一种基于多尺度复合卷积和图像分割融合的车道线检测算法.首先将不同尺寸的空洞卷积、全卷积和标准卷积结合以弥补空洞卷积造成的信息丢失;然后通过语义分割和实例分割融合的图像分割融合模块来增强实例分割网络对全局特征的关注;最后,设计一个加权交叉熵损失函数对网络进行训练和优化.实验结果表明,算法在CULane数据集中的整体F1measure取得74.9%,整体性能优于比较算法,在多种挑战性环境中均有所提升.     

基于特征增强的水工结构裂缝语义分割方法

基于计算机视觉的混凝土裂缝自动检测方法逐渐成为大坝、廊道和引水隧洞等水工结构场景检测任务的主流选择。然而,目前大多数方法在裂缝特征提取过程中均存在不同程度的损耗,缺乏针对性的补偿措施,导致最终检测效果不佳。该文提出了一种基于特征增强的水工结构裂缝语义分割方法,主要用于解决混凝土水工结构裂缝高精度语义分割问题。该方法通过对裂缝数据进行统计学分析,获取裂缝像素与非裂缝像素关系及其对应分布情况;采用ResNet-152特征提取网络提取裂缝图像抽象语义信息,并根据统计分析结果对高维特征进行区域聚集,构建自注意力模块,增强模型对裂缝的定位性能;结合裂缝信息分布情况,对网络损失函数进行优化,增加裂缝特征对总体损失值的贡献率,提升模型对裂缝的识别精度。该文采用智能化设备获取大坝和廊道2种水工结构场景的图像数据,图像数据经图像预处理和标注整理后获得的裂缝图像和标签共3 000张;将由训练获得的分割模型在测试集上进行测试,裂缝像素准确率、召回率、交并比和总像素准确率分别达92.48%、86.52%、80.82%和99.79%。该文提出的分割方法在水工结构裂缝检测方面具有一定应用研究价值和推广意义。     

基于DeeplabV3+网络的轻量化语义分割算法

针对传统语义分割模型参数量大、计算速度慢且效率不高等问题,改进了一种基于DeeplabV3+网络的轻量化语义分割模型——Faster-DeeplabV3+。Faster-DeeplabV3+模型采用轻量级MobilenetV2代替Xception作为主干特征提取网络,大幅减少参数量,提高计算速度;引入深度可分离卷积(deep separable convolution,DSC)与空洞空间金字塔(atrous spatia pyramid pooling,ASPP)中的膨胀卷积设计成新的深度可分离膨胀卷积(depthwise separable dilated convolution,DSD-Conv),即组成深度可分离空洞空间金字塔模块(DP-ASPP),扩大感受野的同时减少原本卷积参数量,提高运算速度;加入改进的双注意力机制模块分别对编码区生成的低级特征图和高级特征图进行处理,增强网络对不同维度特征信息提取的敏感性和准确性;融合使用交叉熵和Dice Loss两种损失函数,为模型提供更全面、更多样的优化。改进模型在PASCAL VOC 2012数据集上进行测试,实验结果表明平均交并比由76.57%提升至79.07%,分割准确度由91.2%提升至94.3%。改进模型的网络参数量(params)减少了3.86*106,浮点计算量(GFLOPs)减少了117.98G 。因此,Faster-DeeplabV3+算法在大幅降低参数量、提高运算速度的同时保持较高语义分割效果     

边缘增强的变感受野自注意力撕囊评估算法

为了解决前囊的透光性、器械遮挡和较大的场景差异造成的分割困难,实现撕囊操作的定量评估、缩短医生的学习曲线、提供更规范的治疗,通过边缘增强的方法使得结合了自注意力的变感受野网络关注边缘特征,更加准确地分割出撕囊形成的前囊孔洞并对其进行定量评估。首先利用变感受野的空洞卷积网络获取多尺度的语义依赖,接着通过自注意力机制建立边缘和目标内部的依赖关系,最后利用分割结果计算出用于手术评估的圆度、居中度和半径指标。自建了白内障撕囊数据集,并利用球面化算法对其进行了增广和误操作模拟,提出的分割算法在该数据集上进行了测试,实验结果表明所提出的算法明显优于传统分割算法,精确度、交并比分别达到了96.51%、93.25%。可见,该算法能够实现更精准的前囊孔洞分割和术后评估。     

融合注意力空洞卷积和Transformer的矿石图像分割

在金矿研磨过程中,矿石粒度大小对后期黄金冶炼起着至关重要的作用,是一个不可忽略的关键参数。为解决图像分割中多数矿石表面不规则、棱角多,粘连等问题,通过结合注意力与多尺度空洞卷积的Vit Transformer模型研究了矿石图像分割。首先使用ResNet34作为下采样主干,增强对金矿石的特征提取能力;其次采用Transformer模块解决长距离依赖问题,融合复合通道注意力空洞模块提升网络对金矿石边缘特征的提取能力,提高了网络的抗干扰能力并扩大感受野。实验结果表明：本文算法准确率达到95.84%,Dice系数达到94.69%,交并比(IoU)达到90.39%,错误率低至7.83%。与其他算法对比,本文方法精度、Dice系数、IoU更高,可以较好地完成矿石图像分割任务。     

基于改进 DETR 的绝缘子缺陷检测算法

目的 绝缘子缺陷的定期检测与维修对保障输电线路的安全有至关重要的作用,为了解决绝缘子缺陷检测方法存在检测精度不高、泛用性不强等问题,提出了一种基于改进 DETR( Detection Transformer) 的绝缘子缺陷检测算法。 方法 设计改进编码器,使用 4 个 Transformer stage 来捕捉图像中不同尺度和关系的特征信息。 同时,还利用了 ResNet50 的中间输出特征来补充分层 Transformer 的输出特征,从而提升目标检测算法的性能。 设计改进解码器,采用了三层串联的结构,以确保解码器能够在不同阶段接收并学习不同尺度的特征图,同时特征融合增强模块和查询更新模块使解码器能够更有效地学习图像的特征信息且降低匹配具有相似语义特征区域的难度,进一步提高网络检测的准确率。 结果 通过对输电线路绝缘子缺陷航拍图像进行了仿真实验研究,在不同阈值下改进方法识别精度分别达到了 99. 5%、80. 4%,较原算法分别提升了 3. 4%、6. 1%,对部分遮挡目标有较好的检测效果,同时与其他算法相比具有更优的检测精度和泛化能力。 结论 改进 DETR 具有更高的检测性能,实现对绝缘子缺陷的准确检测,为下一步对于其他输电线路目标,如防震锤、间隔棒等检测提供了保证。     

基于多维度特征提取网络的肝脏图像分割

随着计算机技术的发展,基于深度学习的医学图像自动分割已经成为人工智能辅助医疗的重要研究方向.为弥补现有神经网络结构对信息提取不足而产生的边缘细节丢失问题,构建了一种基于多维度特征提取网络(RDD-UNet)模型,该模型是基于残差UNet和混合损失函数的三维分割网络,以向肝脏肿瘤分割方法提供高精度的脏器分割结果.首先,该网络从原始CT数据的3个轴向提取信息,以长短跳跃连接的组合形式融合多尺度语义特征,保证了层内和层间信息的充分利用.其次,网络中设计了不平衡深度可分离空洞卷积模块,在提升三维网络计算效率的同时,扩大了体素级别的特征感受范围.最后,针对小尺寸分割目标数据不平衡问题提出了混合损失函数,并与深度监督结构相结合,提升了边缘细节的分割效果.该网络模型从体素、轴向和网络层级3个维度上充分提取特征信息,提高了肝脏分割的准确率,在公共数据集LiTS 2017上的Dice分数达到0.965 2,与其他方法相比达到了较高的精度水平.     

使用候选框进行全卷积网络修正的目标分割算法

由于反卷积和上池化操作的存在,传统全卷积网络在解码阶段常常会丢失目标位置信息,降低图像的分割精度.针对这种情况,提出基于候选框网络对全卷积网络的输出进行缺陷位置微调的液晶面板缺陷分割算法.算法基于ResNet-101网络搭建全卷积主干网络,此构建2个分支,候选框生成网络和反卷积网络.在反卷积网络的输出层中使用多通道分类...     

一种多尺度轻量级脑胶质瘤图像分割网络

手动分割核磁共振成像（MRI）图像中的脑肿瘤区域费时、费力,容易受个人主观性的影响,能够可靠、高效的半自动或自动分割脑肿瘤,对于医学辅助诊断尤为重要。近年来,基于卷积神经网络的脑肿瘤图像自动分割方法虽然取得了长足进步,但现有方法仍未能有效地融合肿瘤图像大尺度轮廓和小尺度纹理细节等方面特征,忽略了训练时丰富的全局上下文信息。针对这些问题,文中提出了一种多尺度轻量级脑肿瘤图像分割网络MSL-Net。首先,利用改进的分层解耦卷积替换U-Net网络中的基础卷积,在高效探索多尺度多视图空间信息的同时扩大了感受野;然后,在跳跃连接处引入双向加权空洞特征金字塔结构以融合多尺度特征,并使用结合了广义Dice损失函数和Focal损失函数的混合损失函数,以提升肿瘤和非肿瘤区像素数量不平衡情况下的分割精度并加快收敛速度。在BraTS 2019数据集上的实验结果表明：文中所提出的MSL-Net网络在整体肿瘤区、核心肿瘤区和增强肿瘤区的Dice相似系数分别为0.900 3、0.830 6和0.777 0,参数量和计算量（每秒浮点运算次数）分别为3.9×10⁵和3.16×10¹⁰;与目前先进的方法相比,文中方法在实现轻量化的同时获得高的分割精度。     

多尺度空洞卷积金字塔网络建筑物提取

为改善现有深度学习方法获取图像特征尺度单一、提取精度较低等问题,提出多尺度空洞卷积金字塔网络建筑物提取方法。多尺度空洞卷积金字塔网络以U-Net为基础模型,编码-解码阶段采用空洞卷积替换普通卷积扩大感受野,使得每个卷积层输出包含比普通卷积更大范围的特征信息,以利于获取遥感影像中建筑物特征的全局信息,金字塔池化模块结合U-Net跳跃连接结构整合多尺度的特征,以获取高分辨率全局整体信息及低分辨率局部细节信息。在WHU数据集上进行提取实验,交并比达到了91.876%,相比其他语义分割网络交并比提升4.547%～10.826%,在Inria数据集上进行泛化实验,泛化精度高于其他网络。结果表明所提出的空洞卷积金字塔网络提取精度高,泛化能力强,且在不同尺度建筑物提取上具有良好的适应性。     

EMMA注意力与多尺度融合下的图像修复

针对图像缺失区域与其周围的纹理、结构密切相关而无法准确推断缺失区域内容的问题, 提出一种单阶段图像修复模型. 通过卷积层和FastStage模块对特征进行压缩、重建和增强, 结合自注意力和多层感知机来捕捉特征之间的上下文关系. 在模型中引入EMMA机制. 以增强生成器对特征的注意力和重要性感知, 避免模型参数的更新出现抖动和振荡现象,从而提高生成器的性能和生成结果的质量. 通过判别器对修复后的图像与原始图像的一致性进行评估. 针对CelebA、Places2以及Paris StreetView数据集进行的端到端实验结果表明, 相较于现有的经典方法, 该模型的修复结果更符合视觉语义, 能够精细地修复图像的细节纹理和局部特征.     

基于空洞卷积和特征融合的单阶段目标检测算法

针对SSD多尺度目标检测过程中存在的目标漏检和错检问题,提出了一种融入多维空洞卷积和多尺度特征融合的目标检测算法。在卷积神经网络输出的多尺度特征中,浅层具有更多的细节信息,深层具有更多的语义信息,根据这一特点,对浅层网络采用了3种多维空洞卷积的浅层特征增强模块,获得具有语义信息的特征图,将增强后的特征图进行下采样,融合不同层的特征;同时在深层网络引入通道注意力模块,对通道进行权重分配,抑制无用信息,提高目标的检测性能。研究结果表明：该算法在PASCAL VOC数据集上检测精度为79.7%,比SSD算法提高了2.4%;在KITTI数据集上检测精度为68.5%,比SSD算法提高了5.1%,检测速度达到了实时性的要求,有效地改善了目标的漏检和错检。