基于Mask R-CNN的荧光编码微球图像检测方法

为降低荧光编码微球技术的应用成本,提出了一种基于Mask R-CNN目标检测算法的荧光编码微球图像检测方法.首先基于TensorFlow和Keras深度学习框架搭建Mask R-CNN网络模型,整体网络由特征提取网络,候选区域生成网络和分支处理网络3部分构成;通过有标注定性图像样本集训练网络模型,并使用合成图像实现训练集数据增强;将待检测定性图像样本输入训练完成的网络模型获得定性图像的语义掩膜.实验结果表明,对于单色和双色微球定性实验图像,平均检测准确度分别达94.17%和95.96%,可实现荧光编码微球定性图像的边界框检测、分类以及语义掩膜生成.     

基于深度学习的地铁隧道衬砌病害检测模型优化

地铁盾构隧道衬砌病害检测面临的最主要问题是如何获取高质量的病害图片以及如何快速、准确实现病害检测.基于CCD线阵相机设计制造了地铁隧道病害检测车,并针对上海运营地铁1、2、4、7、8、10、12等线路采集了大量的衬砌图像,通过手工标注建立高质量隧道病害样本库.基于卷积神经网络Faster R-CNN(Faster Region-based Convolutional Neural Network),构建了病害自动检测深度学习框架.考虑到裂缝及渗漏水病害的特殊性,采用数据统计分析及K-means聚类算法分析其几何特征,结合病害特征优化VGG-16网络模型中的anchor box相关参数.结果表明,修正后的模型病害检测准确度有明显的提升(约7%),同时模型的训练时间减少.经验证,上述方法同样可提高裂缝或渗漏水单一病害识别模型的准确度.     

基于Mask R-CNN的防波堤复杂护面块体检测和分割方法

针对斜坡式防波堤护面层块体个数统计效率和精确率低的问题,提出了基于Mask R-CNN深度学习网络的斜坡式防波堤扭王字块体的识别和分割方法。该方法利用Mask R-CNN深度学习网络学习实验室采集图像的特征信息,通过调整交并比(IOU)阈值得到评价指标最好的模型,并将该模型应用于现场防波堤图像护面块体的识别和分割。测试结果表明,IOU取0.5时,目标分割的平均精确率为91.83%,平均召回率为92.94%;将训练得到的网络用于识别无人机航拍现场的防波堤图像,扭王字块识别率可达90.7%,且拍摄角度和高度对识别精度影响不大。Mask R-CNN深度学习网络可实现密集、复杂护面块体的准确识别,具有良好的移植性和通用性。     

融合Swin Transformer的虫害图像实例分割优化方法研究

【目的】为了实现对虫害的精准监测，提出了一种融合Swin Transformer的图像实例分割优化方法，以期有效解决复杂真实场景下多幼虫个体图像识别分割困难的问题。【方法】选用Swin Transformer模型，改进Mask R-CNN实例分割模型的主干网部分，对黄野螟幼虫虫害图像进行识别分割。针对不同结构参数的Swin Transformer模型与ResNet模型，调整各层的输入输出维度，将其分别设置为Mask R-CNN的主干网进行对比实验，从定量与定性两个角度分析不同主干网的Mask R-CNN模型对黄野螟幼虫的识别分割精度与效果，确定最佳模型结构。【结果】(1)该方法在虫害识别框选方面的测度(F1)分数可达89.7%,平均精度(A_P)可达88.0%;在虫害识别分割方面的F1分数可达84.3%,A_P可达82.2%。相较于Mask R-CNN,在目标框选与目标分割方面分别提升8.75%与8.40%。(2)对于小目标虫害识别分割任务，该方法在虫害识别框选方面的F1分数可达88.4%,A_P可达86.3%;在虫害识别分割...     

基于具有空间注意力机制的Mask R-CNN的口腔白斑分割

口腔白斑(OLK)是一种癌前病变,由于其与口腔内健康组织有视觉相似性,导致难以准确区分,目前,对OLK的诊断主要来自专业医生的经验,但这种方式效率低,诊断受主观影响大。该文提出具有空间注意力机制(spatial attention)的Mask R-CNN方法(Mask R-CNN-S)用于口腔白斑分割。Mask R-CNN特征提取能力受限于多任务的设计,在口腔白斑上分割效果并不理想。而Mask R-CNN-S是基于Mask R-CNN网络,并引入了卷积块状注意力模块(CBAM)中的空间注意力模块,考虑了空间上的重要性信息,帮助Mask R-CNN关注更重要的区域。此外,受限于数据量较少,该文利用在其他相关大数据集里训练出来的预训练模型,同时采用冻结浅层参数,更新深层参数的策略。试验结果表明,该文所提方法实现了相比于传统Mask R-CNN更好的性能。     

基于深度学习的盾构隧道衬砌病害识别方法

隧道衬砌病害的检测是隧道维护和保障运营安全的重要环节.以基于CCD线阵相机移动式地铁衬砌病害检测系统的采集图片为研究对象,利用计算机科学最前沿的深度学习方法,提出了一种完全区别于传统手段的隧道病害识别方法,通过提取并建立隧道病害样本库,搭建深度学习框架,利用深度卷积神经网络(Convolutional Neural Network,CNN)训练样本,建立隧道衬砌特征图像分类系统.针对既有的CNN模型GoogLeNet,采用优化的卷积核,并改进了其inception模块与网络结构,获得了准确率超过95%的网络模型.通过实例对目前流行的深度学习框架(Caffe与Torch)以及图像对比度增强处理方法(如直方图均衡化处理(Histogram Equalization,HE))进行了测试.测试结果表明,深度学习方法用于隧道衬砌图像处理,具有准确率高,速度快,可扩展性好等特点,特别是对背景复杂条件下的图像处理更具鲁棒性.     

基于环视相机的无人驾驶汽车实例分割方法

针对环视鱼眼图像中目标几何畸变大导致建模难的问题,提出一种基于可变形卷积网络的实例分割方法,主要是在Mask R-CNN框架的基础上引入可变形卷积和可变形RoI Pooling(候选区域池化)来提升网络对几何畸变的建模能力.针对深度神经网络训练数据缺乏、易过拟合的问题,提出了基于多任务学习的训练方法.首先将现有的大规模普通图像数据集转换为鱼眼数据集来弥补训练数据不足的问题,然后采用多任务学习的训练方法将转换的图像和真实图像放在同一个框架中训练以提高网络的泛化能力.用该方法在真实的环视鱼眼图像上做测试,结果表明:相对于原始Mask R-CNN的方法平均精度提升了3.1%,证明了该方法在真实交通环境中的有效性.     

基于改进Mask R-CNN的番茄茎秆分类方法

为实现对与背景近色、不规则细长型目标——番茄茎秆的分类,提出了一种基于改进Mask R-CNN的番茄茎秆分类算法. 采集日间和夜间番茄植株图像,使用labelme分别制作日间和夜间番茄茎秆分类数据集. 结合迁移学习方法,使用两种数据集分别训练Mask R-CNN模型. 对Mask分支进行了改进,在生成掩膜的同时生成其最小外接矩,并提出了用于评估掩膜边框精确率的评价指标Re及用于综合评估模型性能的像素级评价指标. 试验结果显示：夜间及日间茎秆分类模型的像素F1值、像素全类平均正确率分别为48.82%、50.03%和57.76%、56.06%. Mask分支改进后掩膜边框精确率得到了显著提高,平均每幅图像检测耗时0.31 s,满足实际应用对算法实时性的需求,可为植株修剪等工作的智能化提供方法支持．     

基于深度学习的政务表格单元格结构检测

当前政务领域中涵盖大量复杂异构表格,其结构检测困难,识别准确率较低并且单元格边缘拟合效果较差.针对该问题,在掩膜区域卷积神经网络（Mask R-CNN）的基础上,以政务表格单元格结构为对象,提出一种改进的政务表格单元格结构检测方法 .首先,在Mask R-CNN算法的主干网络及特征金字塔中加入通道注意力机制,增强有效特征通道权重;然后,对分割产生的掩膜结果使用基于规则和形态学方法进行优化以提升单元格分割边缘拟合度.实验结果表明：改进后的表格单元格结构检测模型在此数据集G-Tab及公开表格数据集ICDAR2013上的精确率和召回率都有明显提升,能够验证改进模型的有效性.     

基于改进Mask R-CNN的露天矿边坡裂隙智能检测算法

为了预防因露天矿边坡表面恶化而产生节理、裂隙或断裂等破坏边坡完整性所引发的安全事故,同时解决传统图像处理算法以及经典的深度学习模型直接应用于露天矿边坡裂隙检测效果不甚理想的问题,提出了一种基于改进的Mask R-CNN的露天矿边坡裂隙智能检测算法,运用了Mask R-CNN在目标检测、语义分割以及目标定位方面的集成性特点,改进了其在掩膜分支的边缘不清晰以及误检等缺点,构建了一种针对露天矿边坡裂隙图像的检测分割框架。该方法在掩膜分割分支引入了空洞卷积神经网络以及分类分割迭代上采样操作,能够解决边坡裂隙分割边缘粗糙的问题,实验结果表明,与传统的裂隙分割算法相比,该算法具有更高的识别精度以及更好的分割效果。     

融合深度特征的多示例学习陶俑图像分类

针对陶俑文物的图像理解问题,陶俑分类可为其提供有价值的信息,该文提出了一种融合深度特征的多示例学习(MIL)方法用于陶俑图像分类。首先,对陶俑图像进行分割,提取出分割区域的手工特征(包括尺度不变特征变换和形态特征)和卷积神经网络特征;接着,采用联合字典学习获取多示例学习的多概念点,并使用多核将深度学习特征与传统手工特征融合到多示例学习框架;最后,利用直推式支持向量机进行分类。在陶俑图像集和MIL数据集上的实验结果表明,该文方法是有效的,且相较其他深度和非深度MIL算法具有更高的分类准确度。     

基于空间自注意力机制和深度特征重建的脑MR图像分割方法

准确分割核磁共振(magnetic resonance, MR)图像中的脑组织是临床诊断、手术计划和辅助治疗的关键步骤.深度学习在各种图像分割任务中表现出巨大潜力，现有模型没有一种有效方法汇总远距离像素间的关系.在网络解码阶段不能很好地融合不同层级的特征，导致无法准确定位.为克服上述问题，本文提出一种基于空间自注意力机制和深度特征重建的脑MR图像分割方法，构建了一个可以融合3维信息的2D模型，可快速准确对3D结构图像进行密集预测.在MRBrainS13数据集和IBSR数据集上进行充分地实验研究，结果表明本文方法在3D多模态和单模态脑MR图像分割方面优于目前的2D模型，运算和推理时间相比3D模型小很多，性能却十分接近.     

基于Mask R-CNN的满文文档版面分析

提出一种基于Mask R-CNN深度学习框架的满文文档版面分析方法,将满文文档版面分析问题转化为基于深度学习的图像实例分割问题。使用ResNet101网络和FPN网络构成的卷积神经网络自动提取满文文档图像特征,特征图经过RPN网络和RoI Align层生成新的特征图。新特征图经过全连接层完成感兴趣区域的类别和边框预测,并经过全卷积神经网络对感兴趣区域的像素进行分类得到mask预测,最终实现满文文档图像的实例分割。通过《新满汉大辞典》的文档图像构建了满文文档图像数据集,算法在该满文文档图像数据集上进行了实验。实验结果表明,本算法在满文文档版面分析中取得了较好的检测和分割效果。     

基于Mask R-CNN的物体识别和定位

为了让机器人能识别物体类别、探测物体形状、判断物体距离,提出一种基于Mask R-CNN模型的双目视觉的物体识别和定位方法。该方法利用Mask R-CNN处理双目图像,对每张图像进行物体识别和形状分割,然后利用神经网络特征对双目图像中的相同目标进行匹配。以物体形状为依据,使用最近点搜索算法估计视差并计算距离。实验结果表明,该方法能够以准实时的速度进行物体的识别和定位,与传统的依赖计算全局视差图的方法相比,在速度和精度上都有提高。     

粗细粒度超像素行人目标分割算法

针对车载视觉行人目标分割由于复杂场景对行人目标的分割结果产生干扰而出现信息冗余以及错误分割的问题,提出一种粗细粒度超像素行人目标分割算法。该算法以Mask R-CNN作为粗粒度一次分割,将所得结果经Slic超像素细粒度二次分割,融合两次输出结果来提高现有图像目标的分割精度,为行人目标识别和跟踪提供有益先验感知信息。经仿真验证,该算法能够对复杂背景情况下的图像进行有效分割,MS COCO标准公开集测试结果与原有Mask R-CNN检测算法相比,mAP提高0.71%,为图像识别和计算机视觉系统完成精准的预处理,具有较强的工程应用价值。     

Mask RCNN在雾化背景下的船舶流量检测

基于掩码区域卷积神经网络（Mask region-convolutional neural network，Mask RCNN）模型检测海域卫星航拍图片中的船舶流量检测，实现雾化与模糊背景下的自动检测船舶数量与船只定位.基于搭建的Mask RCNN网络模型进行训练，依据输出的船只位置，与准确位置对比，不断调整模型参数提升准确度，再用训练好的模型参数对测试集中的图片进行检测.训练后进行测试的结果为:重叠度（intersection over union，IOU）取0.5时，边界框位置准确度达85.4%，船只数量检测准确度高达89.9%.上述结果表明，Mask RCNN网络模型可实现高精度的船舶流量监测.      

基于改进Mask R-CNN的高密度砂岩颗粒的分割识别

针对高密度颗粒密度大,数量多,形态不一,且颜色相近的情况,通过传统方法对砂岩颗粒分割难度存在检测不准和漏检的不足。想要在少量样本中获取更好的效果,变得更加困难。基于上述问题本文提出一种基于改进Mask R-CNN的DGC-Mask R-CNN检测模型,针对少量样本、高密度砂岩颗粒的分割与识别。研究中首先收集了128张超高分辨率的图片,每张图片有近200个砂岩颗粒实例,共26200个实例对象。为了使模型拥有更好的泛化能力,防止少量样本下的过拟合,使用Albu进行图像增强。用自监督预训练模型Barlow Twins来对砂岩颗粒的特征进行初步提取。在DGC-Mask R-CNN中,构建ResNet50模型作为骨干特征提取网络,在ResNet50的BottleNeck的C3,C4,C5特征卷积层中改进传统卷积方式,使用可变形卷积神经网络DCN,并添加GCB注意力机制。在上采样器的多个级联上采样模块中,结合改进的上采样算法CARAFE。实验结果表明,改进后的DGC-Mask R-CNN,使得检测与分割识别的平均精度 达到88.9%和88.8%,与传统的Mask R-CNN、Cascade-Mask R-CNN、Mask Scoring R-CNN、HybridTaskCascade相比检测精度更高。在均值平均精度 方面,与其它模型相比提升较为明显。将模型分割后得到的结果,进行砂岩颗粒的统计以及长短轴的计算,可实现对该部分砂岩颗粒的溯源,计算地壳运动导致的砂岩迁移的距离,进而评估地下油藏。     

融于图像多特征的路面裂缝智能化识别

路面裂缝形状不规则复杂程度高。传统路面裂缝识别技术需要对路面图像进行复杂预处理工作进行识别,不能自动化对路面裂缝图像进行分类。为提高对路面裂缝识别精度和效率,本文将基于深度学习方法提出一种自动识别路面裂缝并能减少图像预处理工作量的方法。首先,将原始图像切割为小样本图像,根据图像多特征进行分类,各选取相同类型样本2000张图像构建数据集;其次,利用双线性内插法对裁剪后图像进行上采样,凸显图像特征便于神经网络学习;最后,使用深度学习神经网络对训练样本进行特征提取训练模型。实验结果表明：ResNet101模型评估指标均优于其他深度学习模型和机器学习模型,模型测试精度达0.898,kappa系数为0.815。     

基于全卷积神经网络迁移学习的乳腺肿块图像分割

针对乳腺X线摄片中肿块通常会被周围致密组织所掩盖,对比度低,且其形状不规则,肿块图像分割困难的问题,设计了一种基于全卷积神经网络迁移学习的乳腺肿块图像分割方法.该方法首先对乳腺肿块图像进行数据增强,然后利用迁移学习,对设计的全卷积神经网络模型载入参数并训练分割模型,最后在训练好的模型上对待分割图像进行处理.分割结果采用区域面积重叠率、Dice相似系数、Hausdorff距离等指标进行评价分析,在公开数据集的483幅图像上的实验结果表明:提出的方法的分割效果明显优于传统分割算法.     

参数化水平集活动轮廓模型的快速图像分割算法

为了提高图像分割的速度,提出一种参数化水平集活动轮廓模型的快速图像分割算法.该算法中的水平集函数由参数向量确定,而非带符号距离函数,降低了水平集函数的维度.将参数化的水平集函数嵌入到经典的LGDF(local Gaussian distribution fitting)模型中进行图像分割,不需要重新初始化和额外的正则项,同时可选择较大迭代步长.实验结果表明:所提方法能够有效地分割超声、CT和核磁等医学图像,与带有正则项的分割算法LGDF和最近提出的快速分割算法MSLCV相比,在保证分割精度的同时,计算速度得到了明显提高.