基于深度学习的图像语义分割研究进展

图像语义分割是对图像中的每个像素点进行分类,将图像中的前景和背景区分并且识别出每个前景的类别。随着深度学习技术的发展,传统图像语义分割方法在分割精度和分割速度上已经彻底被超越。针对深度学习图像语义分割方法研究现状进行综述,对近年来国内外基于深度学习图像语义分割方法主要思想、优缺点进行了分析和总结。提出了该领域目前存在的问题,对将来的发展进行总结和展望。     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

图像分割方法综述

图像分割是指将一幅图像分解为若干互不交迭子图像的集合，是图像处理与机器视觉的基本问题之一。本文重点对近年来图像分割领域的主流方法进行归纳总结。每基于一定理论和算法的图像分割方法都有各自不同的优势和缺点，在实际应用当中应根据不同使用目的和使用标准采取不同的方法以达到最佳效果。     

基于混合神经网络的脑部MRI图像语义分割算法

针对传统医学图像对缺乏标注的数据进行自动分割时存在分割精度不高、边缘模糊等问题,提出了一种利用混合神经网络对脑部核磁共振成像(magnetic resonance imaging,MRI)的图像进行语义分割的算法。利用仿射网络对脑部MRI图像进行线性几何变换,基于卷积神经网络进行3D医学图像仿射变换,加入稠密模块减轻梯度消失和加强特征传递问题; 通过空间转换网络对脑部MRI进行空间转换,基于图谱的分割法获得脑部图像的分割结果。采用MICCAI的公共数据集BraTs2019进行实验验证,结果表明,算法可由脑部肿瘤MRI图像获得较好的分割精度和分割效率,为脑部MRI图像语义分割的研究提供一种新的实验方案。     

基于OpenCV的图像分割

图像分割是图像处理中的一个经典难题,也是图像处理和计算机视觉领域中的基本技术。虽然已有上百种分割方法,但至今没有一种通用的分割方法。OpenCV是近年来推出的开源、免费的计算机视觉库,利用其所包含的函数可以很方便地实现数字图像和视频处理。本文主要介绍了用OpenCV实现的图像分割的三种算法:分水岭分割算法、金字塔分割算法和均值漂移分割算法。     

基于视觉SLAM的物体实例识别与语义地图构建

针对目前面向语义同步定位与地图构建(SLAM)研究大多需要已知三维对象模型作为先验知识,或者只对有限的几种物体的类别进行语义分割,而没有区分对象的个体的问题,结合目前先进的基于深度学习的实例分割算法和视觉SLAM算法提出了一种面向实例个体的物体识别和语义地图构建方法,使得机器人不仅获得了面向导航的环境几何信息,而且掌握了面向物体个体的属性和位置信息.该方法利用由视觉SLAM算法获得的图像帧间几何一致性约束来促进连续图像帧中物体匹配与识别结果,提高物体实例识别的精度,同时结合实例识别结果完成语义建图的任务.最后实现了基于视觉SLAM算法的物体实例识别与语义地图构建系统,并在ICL-NUIM数据集上进行实验,实验结果表明该系统能够基本完整地识别场景中的各种物体并生成环境的语义地图,验证了本方法的有效性.     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

基于图像分割以及原目标检测的视觉跟踪

基于图像分割以及原目标检测的视觉跟踪是一种极具潜力的跟踪方法,该方法首先对视频中的图像序列用多种分割方法进行图像分割;然后基于概率潜在语义分析(PLSA)算法对分割区域进行类别估计;再从这些区域中筛选出各自的候选区域,对其进行选择性结合,提取出原目标,从而获得原目标的空间信息.最后基于原目标的空间信息,用贝叶斯算法对目标进行跟踪,并采用EM算法来优化跟踪算法.实验证明,该方法优于其他的跟踪方法,能鲁棒地处理遮挡,分散和光照变化等问题.     

基于深度学习的眼角膜图像自动化分析研究

为使本科生了解生物医学影像处理技术,掌握深度学习方法,结合吉林大学大学生创新创业训练计划,设计了"基于深度学习的眼角膜图像自动化分析研究"实验项目.在研发治疗角膜新生血管(CNV:Corneal Neovascularization)等疾病的药物过程中,人们需要观察并获取小鼠眼角膜血管在药物影响下的生长情况及数据.为此设计了基于深度学习的眼角膜图像自动化分析程序,以合作医院提供的经凝胶处理的小鼠眼角膜图像为项目研究对象,通过Matlab工具以及神经网络等深度学习算法完成对眼角膜特征的提取和分割.采用SegNet语义分割网络和基于SVM(Support Vector Machine)的图像分割两种方法实现小鼠眼角膜图像的自动提取,分析了两种方法下眼角膜提取的精度与可靠性.结果 表明,使用SegNet语义分割网络得到的结果精度较高,其准确率可以达到97.75％.     

基于聚类的超像素分割算法研究

超像素分割是一种重要的图像预处理工具,有关这方面的研究是近年来计算机视觉领域的研究热点。该文对近年来基于聚类方法的超像素分割算法综合分析,并重点就2000年以来三种重要的基于聚类方法的超像素分割算法进行了实验对比,从分割效果和运行效率等方面进行了分析和比较。实验效果显示:DBSCAN超像素生成算法在执行效率和边缘贴合度上都优于其他两种算法,这对于计算机视觉和图像处理领域需要进行快速准确图像分割的应用场景具有重要的参考作用。     

基于语义分割深度学习的地基云图分割方法

随着深度学习技术的迅速发展，更复杂更先进的语义分割深度学习模型在地基云图检测分割任务中得到广泛研究和应用。首先开创性地对新发布的地基云图数据集进行整理概括；然后阐述了基于深度学习语义分割模型在地基云图分割方面的研究进展，详细地介绍了典型的语义分割网络模型；接着选取了部分优秀性能的语义分割模型在标准的数据集上训练和验证，系统性评估其在地基云图分割的性能，验证了语义分割模型在地基云图分割领域的适用性;最后提出对基于语义分割的自适应地基云图像素级分割研究的总结和展望。     

基于深度学习的图像全景分割改进算法模型

图像语义分割和实例分割是计算机视觉领域基础挑战性工作,图像全景分割统一解决两者的任务,其核心为图像中每一个像素分配相应的类别标签以及为类别中每一个实例分配ID。经典UPSNet已经取得了较好的全景分割效果,但是使用了一种单向信息流动的特征金字塔网络,将存在实例分支的目标实例定位不够准确的问题,并且语义分支的语义分割能力还需进一步提升。本文通过考虑两个任务的差异性以及共性,重新设计特征金字塔网络结构以提取出更适合全景分割的特征图,从而提高了实例分支的AP评价指标。在语义分支中引入了克罗内克卷积,与可变形卷积进行融合使得特征图的感受野更大并且捕获了局部信息,使语义分支的mIoU评价指标得到了提高。此模型在Cityscapes数据集上进行实验,验证了所设计的每个模块及整个模型的有效性。     

基于SegNet的非结构道路可行驶区域语义分割

为了增强自动驾驶车辆对非结构化道路中可行驶区域的场景理解能力,基于SegNet深度学习网络结构,提出了一种针对非结构道路的可行驶区域语义分割方法。在传统的卷积神经网络基础上,构建编码-解码深度卷积神经网络,用于自动习得图片中非结构化道路的特征,通过在数据集上进行训练和学习,得到图像语义分割模型,可直接用该模型预测非结构道路中的可行驶区域,实现自动驾驶车辆在非结构道路中行驶时的环境感知。实验结果表明,研究方法分割效果和精确度提升明显,Dice相似度和Jaccard相似系数均可达80%以上。     

基于语义分割的光伏组件积灰检测与分析

为了解决恶略环境条件下难以对光伏电池板表面积灰定性定量分析的问题，提出了一种基于深度学习算法的光伏电池板表面积灰智能检测方法。首先，构建数据集，通过实地调研采样以及在实验室模拟等方法并利用图像处理技术构建完备的数据集；然后，利用深度学习语义分割技术对数据进行训练并对其优化；最后，采用图像处理技术对输出图像进行处理，以解决对积灰的定性定量分析。实验结果表明所提方法的有效性，可以应用于光伏电池板表面积灰的智能检测。     

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题，提出一种基于特征融合注意力的小样本语义分割算法。首先，利用共享主干网络编码支持图片和查询图片，从而获取图片的深度特征；然后，利用注意力机制获取支持特征和查询特征的强关联语义信息，从而构造任务注意力特征图；最后，提出一种多特征注意力融合模块，它能够自适应融合多种特征的深层语义信息并进行特征解码，从而获取目标物体的分割掩码。在PASCAL-5ⁱ和COCO-20ⁱ公开数据集进行了实验，结果表明，所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准，尤其是在更具有挑战性的COCO-20ⁱ数据集上，所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。     

一种基于深度学习的实时视频图像背景替换方法

针对视频会话业务的实时性需求,提出一种轻量级深度学习网络模型实现视频图像的实时背景替换功能.网络模型包含语义分割和背景替换两个模块.语义分割模块整体架构采用编解码结构,编码端使用编码器模块、空洞卷积金字塔池化模块、注意力模块以及增益模块提取特征;解码端使用解码器模块、调整模块以及编码器模块恢复图像,再传入背景替换模块完成背景替换.该网络模型在本文设定的数据集训练后分割精确度达到94.1%,分割速度达到42.5帧/s,在实时性和准确性上达到较好的平衡,具有很好的实用效果.     

基于深度CRF模型的图像语义分割方法

从图像中提取多种特征向量堆叠为一个高维特征向量用于图像语义分割,会导致部分特征向量的分类能力减弱或丢失。针对此问题,提出了一种结合深度卷积神经网络AlexNet和条件随机场的图像语义分割方法。利用预训练好的AlexNet模型提取图像特征,再通过条件随机场对多特征及上下文信息的有效利用来实现图像的语义分割。与利用传统经典特征的方法进行对比,实验结果表明:在利用AlexNet模型提取特征进行图像语义分割时,Conv5层为最有效的特征提取层,在Stanford background和Weizmann horse数据集下的识别准确率分别为81.0%和91.7%,均高于其他2种对比方法,说明AlexNet可以提取更有效的特征,得到更高的语义分割精度。