基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于彩色-深度图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。提出了一个基于RGB-D(彩色-深度)图像的场景语义分割网络;该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其他state-of-the-art的语义分割网络结构相比,所提出的场景语义分割网络性能突出。     

一种新型Mobile Unet网络的肺结节图像分割方法

针对医学图像分辨率小、边缘模糊、感兴趣区域(ROI)边界不明显造成的分割不准确性问题,提出一种新型Mobile Unet网络的肺结节图像分割方法.该方法首先使用MobileNet中bneck模块替换Unet网络的下采样部分,并对输入图像进行特征提取;然后,将下采样提取的特征按照Unet网络连接方式融合到上采样部分;最后...     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

多尺度编码-解码结构的单幅图像去雨网络

针对图像去雨问题提出多尺度编码-解码结构的单幅图像去雨网络(MSEDNet).首先在编码阶段对雨图像进行二次下采样;然后每个下采样层分别通过特征细化模块提取特征信息;最后将特征图逐步上采样,并且与上一个阶段的特征图聚合得到最终的去雨图像.采用不同分辨率的特征提取网络,能更好地提取雨纹的特征.特征细化网络首先经过多尺度扩张卷积聚合雨纹特征,然后通道注意力给聚合模块通道分配不同的权重以细化自身,最后使用ResNet和DenseNet的双路特征提取器实现雨纹信息提取.仿真和真实雨数据集结果表明:所提网络能够有效地去除雨纹,得到高质量的无雨图像.     

基于边缘特征融合和跨连接的车道线语义分割神经网络

无人驾驶中的车道线检测任务需要同时确定车道线的位置、颜色和线型,而现有方法通常仅识别车道线的位置,不识别车道线的类型.为了端到端地解决这一问题,设计了一种语义分割神经网络,将一幅图像中不同车道线分割为不同区域,用每个区域的类别标签表示其对应的车道线类型.首先,在主流的编码器-解码器框架下,构建了一个结构较为简单的基础网络.考虑到边缘特征是车道线检测中的重点,为基础网络的编码器并联了一个边缘特征提取子网络,通过逐层融合边缘特征图和原始特征图增强车道线的特征.边缘特征提取子网络的结构与基础网络的编码器相同,其输入是对车道线图像进行Sobel滤波的结果.此外,编码器和解码器对称位置的卷积层输出的特征图尺寸相同,但具有不同的语义层级.为了更好地利用这一特性,建立从编码器到解码器对称位置的跨连接,在解码器逐层上采样的过程中融合编码器对应尺寸的特征图.在TSD-Lane车道线检测数据集上的实验表明,相比于基础网络,基于边缘特征融合和跨连接的神经网络的分割性能得到了较为显著的提高.该网络具有较好的车道线分割性能,能够在确定车道线位置的同时,区分黄线或白线、虚线或实线.在计算资源充足的前提下,该网络能够达到实时的检测速度.     

基于多尺度模态融合的RGB-T目标跟踪网络

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度,并对可见光与热红外模态在不同尺度上分别进行模态融合,然后将得到的融合特征通过注意力机制增强特征表示,最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明,该网络跟踪精度和成功率较高,可以应对复杂的跟踪场景,相比于其他网络具有更高的跟踪性能。     

改进Attention-UNet的多尺度肝脏CT图像分割

针对肝脏CT图像分割任务中U-Net自下而上的特征融合方式忽略低级特征的问题，提出基于Attention-UNet的多尺度肝脏CT图像分割方法（MFFA-Net）。在Attention-UNet结构的基础上，通过加入多尺度特征提取的方法，以减少网络特征信息的丢失。在LiTS数据集上进行了大量实验。结果表明在不同评价指标下，提出的特征信息提取和融合的方法可以有效提高分割精度。     

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则, 传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性, 并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题, 提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法. 首先, 用空洞卷积融合不同尺度的空间上下文信息; 其次, 用通道上下文信息融合模块提取特征图各通道间的权重信息; 最后, 将特征图中的多尺度和多维度信息进行融合, 以保留更多的空间上下文信息. 实验结果表明, 该方法在皮肤病变数据集上对皮肤病变区域进行分割的分割效果较好.     

多尺度特征融合的图像语义分割

针对多尺度下的目标分割问题,提出了一种多尺度特征融合的图像语义分割方法.该方法改进了空洞空间金字塔池化(ASPP)模块,采用6种不同采样率空洞卷积并行架构增强了对输入图像信息的提取,该模块可以获取多尺度的卷积特征,从而进一步增强图像分割能力.通过在PASCAL VOC 2012数据集上进行训练和验证,达到了82.0%的平均像素准确率和71.9%的平均交并比.实验结果表明:通过改进空间维度上的ASPP模块,该方法可以达到良好的图像语义分割效果.     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

特征增强U形网络的图像语义分割

复杂场景语义分割任务是对场景图像逐像素进行分类并标记.图像中目标种类多,尺度多样的特点给分割任务增加了难度,提出了特征增强U形卷积神经网络(feature enhanced U shape networks,FEUNet)是一种改进的编码器加解码器的结构,编码阶段引入局部特征增强模块(local feature enhanced,LFE)提取局部感知特征来改善非显著目标的分割效果;考虑到神经网络深层和浅层之间特征表达的差异,在解码阶段利用全局池化方法(global pooling)设计全局特征增强模块(global feature enhanced,GFE),实现选择性地从深层特征图提取上下文信息作为对浅层特征图的指导,改善深层和浅层特征图的融合,保证同类像素预测的一致性.采用CamVid和Cityscapes数据集进行试验,模型mIOU测评值分别达到64.5％和73.2％,对比其他主流语义分割算法,该方法在分割性能和模型体积上具有一定竞争力.     

基于图像色彩特征融合的绝缘子污秽等级检测

针对绝缘子污秽状态非接触检测问题,提出基于可见光图像RGB(red green blue)和HSI(hue saturation intensity)空间信息特征级融合的污秽等级检测方法.利用最佳熵阈值分割法(OET)提取绝缘子盘面区域,分别在RGB和HSI色彩空间进行特征计算,根据Fisher准则进行特征选择,得到可以有效表征污秽状态的特征量,利用核主元分析(KPCA)对两个色彩空间特征的组合进行降维融合,得到三维融合特征向量,结合概率神经网络(PNN)实现污秽等级识别.实验分析表明,基于核主元分析的图像信息特征级融合能够全面地反映绝缘子污秽状态,与单独利用RGB或HSI特征进行识别相比,其准确率有显著提高,可以实现绝缘子污秽等级的有效识别,为绝缘子污闪防治提供了新的方法.     

基于深度学习的图像全景分割改进算法模型

图像语义分割和实例分割是计算机视觉领域基础挑战性工作,图像全景分割统一解决两者的任务,其核心为图像中每一个像素分配相应的类别标签以及为类别中每一个实例分配ID。经典UPSNet已经取得了较好的全景分割效果,但是使用了一种单向信息流动的特征金字塔网络,将存在实例分支的目标实例定位不够准确的问题,并且语义分支的语义分割能力还需进一步提升。本文通过考虑两个任务的差异性以及共性,重新设计特征金字塔网络结构以提取出更适合全景分割的特征图,从而提高了实例分支的AP评价指标。在语义分支中引入了克罗内克卷积,与可变形卷积进行融合使得特征图的感受野更大并且捕获了局部信息,使语义分支的mIoU评价指标得到了提高。此模型在Cityscapes数据集上进行实验,验证了所设计的每个模块及整个模型的有效性。     

基于轻量化网络的眼部特征分割方法

针对高分辨率眼部图像的瞳孔、虹膜特征快速识别与检测问题,提出了一种轻量化语义分割网络DIA-UNet （double input attention UNet）.它采用对称双编码结构同步获取眼部灰度图及其轮廓图特征,并通过双注意力机制实现了解码端的特征筛选,将深层融合特征作为语义分割输出.在CASIA-Iris-Interval和高分辨率瞳孔数据集上测试结果表明,与其他轻量化语义分割网络相比,本文提出的DIA-UNet在保证虹膜、瞳孔分割准确率的同时网络参数个数仅有0.076 Million,处理速度高达123.5 FPS.      

RGB and LBP-texture deep nonlinearly fusion features for fabric retrieval

Fabric retrieval is very challenging since problems like viewpoint variations, illumination changes, blots, and poor image qualities are usually encountered in fabric images. In this work, a novel deep feature nonlinear fusion network(DFNFN) is proposed to nonlinearly fuse features learned from RGB and texture images for improving fabric retrieval. Texture images are obtained by using local binary pattern texture(LBP-Texture) features to describe RGB fabric images. The DFNFN firstly applies two feature learning branches to deal with RGB images and the corresponding LBP-Texture images simultaneously. Each branch contains the same convolutional neural network(CNN) architecture but independently learning parameters. Then, a nonlinear fusion module(NFM) is designed to concatenate the features produced by the two branches and nonlinearly fuse the concatenated features via a convolutional layer followed with a rectified linear unit(ReLU). The NFM is flexible since it can be embedded in different depths of the DFNFN to find the best fusion position. Consequently, DFNFN can optimally fuse features learned from RGB and LBP-Texture images to boost the retrieval accuracy. Extensive experiments on the Fabric 1.0 dataset show that the proposed method is superior to many state-of-the-art methods.     

基于多流融合网络的3D骨架人体行为识别

当前大多基于卷积神经网络的3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN)。在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息。最后,在NTU RGB+D 60数据集上进行消融实验,分别在NTU RGB+D 60数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8个行为识别模型进行对比实验。消融实验结果表明：MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高。对比实验结果表明：MS-CNN模型在2个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型)。     

基于改进YOLOv3的交通标志检测

针对交通标志检测小目标数量多、定位困难及检测精度低等问题,本文提出一种基于改进YOLOv3的交通标志检测算法.首先,在网络结构中引入空间金字塔池化模块对3个尺度的预测特征图进行分块池化操作,提取出相同维度的输出,解决多尺度预测中可能出现的信息丢失和尺度不统一问题;然后,加入FI模块对3个尺度特征图进行信息融合,将浅层大特征图中包含的小目标信息添加到深层小特征图中,从而提高小目标检测精度.针对交通标志数据集特点,使用基于GIoU改进的TIoU作为边界框损失函数替换MSE函数,使得边界框回归更加准确;最后,通过k-means++算法对TT100K交通标志数据集进行聚类分析,重新生成尺寸更小的候选框.实验结果表明,本文算法与原始YOLOv3算法相比mAP提升11.1%,且检测每张图片耗时仅增加6.6 ms,仍符合实时检测要求.与其他先进算法相比,本文算法具有更好的检测精度和检测速度.     

基于改进U-Net的零件缺陷分割标注

提出一种以U-Net为基础，依据零件缺陷的特点对网络进行一系列改进的模型，以提升网络对零件缺陷的分割精度.首先在U-Net结构中的编码阶段，使用改进的残差网络Res2Net提高该阶段的特征提取能力；然后在网络编码器与解码器的中间部位增加空洞卷积，在不改变特征图尺寸的情况下增加感受野，降低误检率与漏检率；最后在U-Net的输出阶段与Mini U-Net进行结合，对原本的输出结果进行二次补丁，提高对微小缺陷的检测精度.实验结果表明，对MVTec数据集进行分割的F1-Score分数达到87.21%，时间为0.017 s，达到了良好的检测效果.     

基于改进U-Net 神经网络的图像去噪算法

摘要：针对目前常见的U-Net网络结构以及现有的图像去噪算法在去除图像噪声时，处理后得到的图像较为模糊且图像的边缘纹理过于光滑缺乏真实性的问题，提出了一种改进的U-Net网络结构去噪算法。它由去噪模块以及边缘信息提取模块组成,首先,利用 U-Net＋＋中的跳跃连接应用到原始的U型去噪子网中,密集连接的U型去噪网络可以減少编码器与解码器特征映射之间的语义差距,还原出更清晰的图像。其次,基于VGG-16网络结构的边缘信息提取模块对去噪网络处理后的图像进行特征提取,同时反向优化U型去噪模块，还原出更真实的图像。实验表明，在常见的 Set5、Set12、Kodak24和CBSD68 数据集上测试所提出的算法，在图像的客观评价指标上均优于目前具有代表性的去噪算法，同时图像的边缘细节和纹理特征更清晰真实,视觉效果上更好。