少样本条件下的复杂叶片图像语义分割

针对少样本条件下复杂叶片分割精确度不高的问题,提出一种基于数据增强的图像语义分割方法.使用翻转、平移方法对训练集中的图像进行增强扩充,利用VGG19代替原SegNet语义分割模型的VGG16主干网络进行模型训练.实验结果表明,在包含180幅复杂背景叶片的图像数据集上,使用该方法的评价指数MPA和MIOU达到了98.02...     

一种轻量化非结构化道路语义分割神经网络

非结构化道路由于没有明显车道线且道路特征多、地域差异大，现有的结构化道路分割方法无法满足非结构化道路分割在实际应用中的实时性与准确性要求．为了解决上述难点，本文基于DeepLabv3+网络提出一种G-lite-DeepLabv3+网络结构，使用Mobilenetv2网络替换解码器中的Xception特征提取网络，并通过在Mobilenetv2网络与空洞空间金字塔池化模块中使用分组卷积替换普通卷积，且有选择地取舍批规范层来减少参数量，在不影响精度的同时提升分割效率．同时针对非结构化道路在图像里分布位置相对较固定的特点，引入注意力机制对高级语义特征进行处理，提升网络对有用特征的敏感度与准确性．选用与我国非结构化道路路况相似的印度道路驾驶IDD进行训练，并与其他经典语义分割网络进行实验对比，结果表明，相比于其他网络，本文提出的G-lite-DeepLabv3+准确率与实时性均表现较好、误分割与边缘清晰度均好于对照网络；与经典算法进行对比，平均交并比mIoU提升1.3%，平均像素精度提升6.2%，帧率提升22.1%.     

基于自监督学习方法的半监督视频目标分割研究

本文主要研究自监督学习方法在视频目标分割中的应用。首先通过挖掘大规模无标注视频数据中的时间-空间关系,让神经网络作为特征编码器学习视频帧之间的相似性和连续性;然后通过记忆力机制训练网络,使其对当前帧和多个参考帧之间的关系进行建模;利用特征编码器学习到的特征对视频帧中的分割目标进行重建,进行下游的视频目标分割任务;最后,利用在线自适应模块对视频分割结果的错误进行修正。实验结果表明,本文的自监督方法在视频分割任务上的表现可以更加接近有监督方法的分割结果,采用记忆力机制和在线自适应模块可以大大提高视频目标分割的准确性。另外本文探究了数据有效性,当采用少量数据进行网络的自监督训练时,模型仍能取得较好的效果,意味着这个任务本身不需要大规模数据集中富含的复杂语义信息进行建模。     

基于边缘特征融合和跨连接的车道线语义分割神经网络

无人驾驶中的车道线检测任务需要同时确定车道线的位置、颜色和线型,而现有方法通常仅识别车道线的位置,不识别车道线的类型.为了端到端地解决这一问题,设计了一种语义分割神经网络,将一幅图像中不同车道线分割为不同区域,用每个区域的类别标签表示其对应的车道线类型.首先,在主流的编码器-解码器框架下,构建了一个结构较为简单的基础网络.考虑到边缘特征是车道线检测中的重点,为基础网络的编码器并联了一个边缘特征提取子网络,通过逐层融合边缘特征图和原始特征图增强车道线的特征.边缘特征提取子网络的结构与基础网络的编码器相同,其输入是对车道线图像进行Sobel滤波的结果.此外,编码器和解码器对称位置的卷积层输出的特征图尺寸相同,但具有不同的语义层级.为了更好地利用这一特性,建立从编码器到解码器对称位置的跨连接,在解码器逐层上采样的过程中融合编码器对应尺寸的特征图.在TSD-Lane车道线检测数据集上的实验表明,相比于基础网络,基于边缘特征融合和跨连接的神经网络的分割性能得到了较为显著的提高.该网络具有较好的车道线分割性能,能够在确定车道线位置的同时,区分黄线或白线、虚线或实线.在计算资源充足的前提下,该网络能够达到实时的检测速度.     

基于VGG16预编码的遥感图像建筑物语义分割

深度卷积神经网络在遥感图像语义分割研究上开创了新的领域。利用改进的U-net模型对建筑物区域进行像素级提取,可获取其轮廓和尺寸信息。利用强可迁移性的VGG16网络作为U-net模型的编码器,并利用基于空洞卷积的级联并行模块提取多尺度的高层语义信息,同时使用转置卷积实现上采样,逐步还原分割细节。实验采用了加权组合的Jaccard损失和二元交叉熵损失作为总损失函数。实验结果表明了改进的U-net模型对遥感图像中建筑物的分割提取具有更高的精度,均像素精度(MPA)、均交并比(MIoU)和F_1分数分别为92. 16%、78. 55%和84. 81%。改进模型的F1分数比Deep Labv3+模型高4. 8%,比标准U-net模型高8. 3%。     

增强语义分割的网络模型PS-UNet

文章提出了一种提升上下文依赖关系的增强语义分割网络模型PS-UNet实现医学图像分割. PS-UNet将残差块、PCA模块和SPP模块融合到U-Net网络模型中，可获取更多的特征信息，从而提升分割效果.该模型既可以对器官轮廓粗分割又可以对视网膜血管和细胞精细分割.在公开的数据集上分别对肺部、视网膜血管和细胞分割进行了测试.实验结果表明，与当前先进网络模型相比，PS-UNet在所有实验中，性能均有所提升，其中肺部分割中准确率和灵敏度相对于U-Net网络模型分别提高了2.03%和2.24%,Dice相似系数达到了97.16%.     

基于双任务一致性的半监督深度学习医学图像分割方法

【目的】医学图像分割是医学图像分析中的一个重要内容。现有的大部分图像分割算法都是基于监督学习,而实际应用中医学图像标签难以获取,大量标注需依赖领域专家,费时费力。因此,提出一种双任务一致性的半监督医学图像分割模型。【方法】该模型采用一个编码器,两个解码器的网络结构,其中编码器和一个解码器实现图像分割,与另一个解码器实现图像重建。无标签数据通过一致性分割与重建任务得到的两个不同图像背景计算损失并优化网络参数。同时在网络的编码器部分加入注意力模块以更好地获取分割区域的空间位置信息,并使用锐化操作增加无标签数据重建输出的置信度。【结果】在肝脏和细胞数据集上IOU分别为0.953 6和0.821 0,相较于U Net提高了1.5%和4.82%;在眼底血管数据集上,SP值为0.983 0,与第二名相比提升了0.18%。【结论】本文模型与有监督方法和半监督方法相比,在医学图像分割的有效性和泛化性上有一定的性能提升,能有效解决数据集数量少、小病灶分割难度大的问题。     

基于轻量级Fast-Unet网络的航拍图像电力线快速精确分割

为了满足光学航拍图像中电力线检测的实时性和高精度,提出了一种轻量级Fast-Unet网络电力线检测方法.它以Unet语义分割网络为基础,添加金字塔池化结构增强特征上下文信息的融合.设计深度可分离残差卷积运算,增加了网络深度且进一步减少了网络参数量.使用多损失函数训练Fast-Unet网络,缓解图像中前景与背景类别分布极...     

基于TMS320C6416的视频运动对象分割

以DSP器件TMS320C6416为核心构建硬件平台,实现了视频图像采集系统的设计.提出了一种适合硬件实现的运动目标分割算法,完成视频图像中运动对象的分割.为提高视频图像数据处理的实时性,还采用了Ping-Pong数据缓存结构和CCS内联函数实现C代码的优化等技术手段.实验结果表明:该系统能适用于背景相对变化不大的运动目标的检测与分割,而且实时性较好.     

特征增强U形网络的图像语义分割

复杂场景语义分割任务是对场景图像逐像素进行分类并标记.图像中目标种类多,尺度多样的特点给分割任务增加了难度,提出了特征增强U形卷积神经网络(feature enhanced U shape networks,FEUNet)是一种改进的编码器加解码器的结构,编码阶段引入局部特征增强模块(local feature enhanced,LFE)提取局部感知特征来改善非显著目标的分割效果;考虑到神经网络深层和浅层之间特征表达的差异,在解码阶段利用全局池化方法(global pooling)设计全局特征增强模块(global feature enhanced,GFE),实现选择性地从深层特征图提取上下文信息作为对浅层特征图的指导,改善深层和浅层特征图的融合,保证同类像素预测的一致性.采用CamVid和Cityscapes数据集进行试验,模型mIOU测评值分别达到64.5％和73.2％,对比其他主流语义分割算法,该方法在分割性能和模型体积上具有一定竞争力.     

融合深度学习和视觉文本的视频描述方法

为解决当前视频描述任务中,生成描述视频的文本整体质量不高的问题,提出一种融合深度网络和视觉文本的视频描述模型.首先在编码阶段,将注意力机制引入3D残差模块,通过一维通道注意力与二维空间注意力增强视频特征映射,降低无关目标与噪声的影响;其次,解码阶段利用双层长短期记忆(long short-term memory,LSTM)深度网络的时序性特征,输出表述视频高层语义的文本描述;最后,为有效利用视觉文本信息丰富视频生成的语义描述,利用基于神经网络的主题模型提取出视频中的主题作为视觉文本融合进模型中.实验结果表明,本文方法在不同性能指标方面具有较好的准确性,能够更加准确地利用自然语言描述视频高层语义信息.     

基于深度CRF模型的图像语义分割方法

从图像中提取多种特征向量堆叠为一个高维特征向量用于图像语义分割,会导致部分特征向量的分类能力减弱或丢失。针对此问题,提出了一种结合深度卷积神经网络AlexNet和条件随机场的图像语义分割方法。利用预训练好的AlexNet模型提取图像特征,再通过条件随机场对多特征及上下文信息的有效利用来实现图像的语义分割。与利用传统经典特征的方法进行对比,实验结果表明:在利用AlexNet模型提取特征进行图像语义分割时,Conv5层为最有效的特征提取层,在Stanford background和Weizmann horse数据集下的识别准确率分别为81.0%和91.7%,均高于其他2种对比方法,说明AlexNet可以提取更有效的特征,得到更高的语义分割精度。     

采用双支路和Transformer的视杯视盘分割方法

视网膜血管复杂且背景与视杯视盘区域相似,是造成视杯视盘分割精度不高的原因。为了更加准确地分割视杯视盘,设计了一种具有双支路特征融合的分割网络。网络主支使用Transformer对特征进行提取,弥补了卷积运算在建立远程关系方面存在的不足。采用多个模块来融合浅层空间特征与高级语义特征：尺度感知-特征融合模块(SCA-FFM)用于从高层次特征中收集视盘和视杯的语义和位置信息;识别模块(IM)利用注意力机制减少低层次特征中存在的错误信息和噪声,增强空间细节特征的提取;使用图卷积域-特征融合模块(GCD-FFM)将高级语义特征和低级特征进行融合,使特征图同时具有全局和局部信息。对比实验表明,本文方法表现出更好的分割效果,且具备良好的泛化能力。     

一种多目标检测跟踪算法研究

针对多目标跟踪领域中现有研究方法存在的实时性差、易漂移等问题,基于YOLOv3算法和KCF算法,提出了一种多目标检测跟踪算法.首先,利用训练好的YOLOv3网络获取视频中目标的位置,并对各个目标进行ID分配;其次,将多个目标并行输入到基于核相关滤波的跟踪模块进行目标跟踪;然后,判断是否满足启动修正策略的条件,若满足则用...     

骨髓红粒细胞自动识别的深度学习模型

为了实现骨髓血细胞的自动识别, 构建了骨髓红系细胞和粒系细胞数据集, 基于深度学习语义分割技术提出了 CellNet 网络模型。 该模型通过加入残差模块增加了网络的深度, 利用卷积残差块使网络模型更容易训练, 并结合 U鄄Net 的裁剪操作为分割提供更精细的特征。 实验结果表明, 该模型对骨髓红系细胞和粒系细胞识别正确率分别达到 93. 65% 、95. 25% , 为骨髓血细胞自动识别技术提供了一种方法。     

基于深度学习的图像全景分割改进算法模型

图像语义分割和实例分割是计算机视觉领域基础挑战性工作,图像全景分割统一解决两者的任务,其核心为图像中每一个像素分配相应的类别标签以及为类别中每一个实例分配ID。经典UPSNet已经取得了较好的全景分割效果,但是使用了一种单向信息流动的特征金字塔网络,将存在实例分支的目标实例定位不够准确的问题,并且语义分支的语义分割能力还需进一步提升。本文通过考虑两个任务的差异性以及共性,重新设计特征金字塔网络结构以提取出更适合全景分割的特征图,从而提高了实例分支的AP评价指标。在语义分支中引入了克罗内克卷积,与可变形卷积进行融合使得特征图的感受野更大并且捕获了局部信息,使语义分支的mIoU评价指标得到了提高。此模型在Cityscapes数据集上进行实验,验证了所设计的每个模块及整个模型的有效性。     

面向光伏电站识别的深度实例分割方法

针对遥感图像上光伏电站边界精细提取的难点,在传统分割网络上添加逐像素的类别信息约束,提出了一种融合逐像素置信度模块的两分支深度实例分割网络。该网络通过四个损失结构和两个分支结构来实现,纵向上保证了网络每一层的语义信息,横向上保证了目标检测分支和分割分支的信息共享,提升了网络对于光伏电站边界的识别能力。采用国产GF-1数据进行新疆光伏电站提取实验,结果表明基于该方法进行光伏电站检测的准确率在召回率为89.5%的情况下达到83.4%,该方法可以为新疆光伏电站动态监测提供支撑。     

融合边缘检测的 3D 点云语义分割方法研究

针对点云分割中分割目标不明确,边缘不清晰,全局特征与边缘特征未能有效融合等问题,提出 了一种融合边缘检测的 3D 点云语义分割算法。 首先,通过 3D 点云语义分割网络对点云数据进行初步提取 区域内的全局语义特征;然后,采用引入了注意力机制的语义边缘检测网络,能够更好地对点云数据中的物 体进行特征提取增强,抑制非边缘信息的产生,得到了具有丰富的语义信息的边缘特征;最后,通过融合模块 将属于同一物体的语义特征融合起来进行分割细化处理,使得分割目标更精确;此外,使用了双重语义损失 函数,使网络产生具有更好边界的语义分割结果。 通过搭建实验平台和使用 S3DIS 标准数据集进行测试,改 进后的算法在数据集上的平均交互比为 70. 21%,在精度上较 KPConv 语义分割算法有所提高。 实验结果表 明:该算法能够有效改善物体边界分割不清晰、边缘信息模糊等问题,总体分割性能良好。     

MR中融合语义特征传播模型的前景对象感知定位算法

移动主体获得准确的定位信息是构建稳定的混合现实(mixed reality,MR)系统的关键,然而MR中的前景对象对传统定位算法的精度影响较大.现阶段基于深度学习的定位算法可以通过识别前景对象来提升精度,但深度学习模型耗时过高,导致算法实时性下降.针对该问题,提出了一种MR中融合语义特征传播模型的前景对象感知定位算法.该算法依托语义分割网络与一种快速旋转的二进制独立稳定描述子特征(oriented fast and rotated binary robust independent elementary feature,ORB)提取算法构建了语义特征传播模型,实现高速语义特征提取;融合该模型和几何特征检测方法实现算法中的前景对象感知层,并依赖该感知层剔除MR中前景对象的特征点,构建了背景特征点集,实现高精度、高实时性的定位.实验结果表明:在慕尼黑工业大学(Technical University of Munich,TUM)公共数据集的高动态前景对象场景中,相比动态语义视觉同步定位与建图(dynamic semantic visual simultaneous localization...