基于Mask R-CNN的防波堤复杂护面块体检测和分割方法

针对斜坡式防波堤护面层块体个数统计效率和精确率低的问题,提出了基于Mask R-CNN深度学习网络的斜坡式防波堤扭王字块体的识别和分割方法。该方法利用Mask R-CNN深度学习网络学习实验室采集图像的特征信息,通过调整交并比(IOU)阈值得到评价指标最好的模型,并将该模型应用于现场防波堤图像护面块体的识别和分割。测试结果表明,IOU取0.5时,目标分割的平均精确率为91.83%,平均召回率为92.94%;将训练得到的网络用于识别无人机航拍现场的防波堤图像,扭王字块识别率可达90.7%,且拍摄角度和高度对识别精度影响不大。Mask R-CNN深度学习网络可实现密集、复杂护面块体的准确识别,具有良好的移植性和通用性。     

粗细粒度超像素行人目标分割算法

针对车载视觉行人目标分割由于复杂场景对行人目标的分割结果产生干扰而出现信息冗余以及错误分割的问题,提出一种粗细粒度超像素行人目标分割算法。该算法以Mask R-CNN作为粗粒度一次分割,将所得结果经Slic超像素细粒度二次分割,融合两次输出结果来提高现有图像目标的分割精度,为行人目标识别和跟踪提供有益先验感知信息。经仿真验证,该算法能够对复杂背景情况下的图像进行有效分割,MS COCO标准公开集测试结果与原有Mask R-CNN检测算法相比,mAP提高0.71%,为图像识别和计算机视觉系统完成精准的预处理,具有较强的工程应用价值。     

基于改进Mask R-CNN的露天矿边坡裂隙智能检测算法

为了预防因露天矿边坡表面恶化而产生节理、裂隙或断裂等破坏边坡完整性所引发的安全事故,同时解决传统图像处理算法以及经典的深度学习模型直接应用于露天矿边坡裂隙检测效果不甚理想的问题,提出了一种基于改进的Mask R-CNN的露天矿边坡裂隙智能检测算法,运用了Mask R-CNN在目标检测、语义分割以及目标定位方面的集成性特点,改进了其在掩膜分支的边缘不清晰以及误检等缺点,构建了一种针对露天矿边坡裂隙图像的检测分割框架。该方法在掩膜分割分支引入了空洞卷积神经网络以及分类分割迭代上采样操作,能够解决边坡裂隙分割边缘粗糙的问题,实验结果表明,与传统的裂隙分割算法相比,该算法具有更高的识别精度以及更好的分割效果。     

基于改进Mask R-CNN的高密度砂岩颗粒的分割识别

针对高密度颗粒密度大,数量多,形态不一,且颜色相近的情况,通过传统方法对砂岩颗粒分割难度存在检测不准和漏检的不足。想要在少量样本中获取更好的效果,变得更加困难。基于上述问题本文提出一种基于改进Mask R-CNN的DGC-Mask R-CNN检测模型,针对少量样本、高密度砂岩颗粒的分割与识别。研究中首先收集了128张超高分辨率的图片,每张图片有近200个砂岩颗粒实例,共26200个实例对象。为了使模型拥有更好的泛化能力,防止少量样本下的过拟合,使用Albu进行图像增强。用自监督预训练模型Barlow Twins来对砂岩颗粒的特征进行初步提取。在DGC-Mask R-CNN中,构建ResNet50模型作为骨干特征提取网络,在ResNet50的BottleNeck的C3,C4,C5特征卷积层中改进传统卷积方式,使用可变形卷积神经网络DCN,并添加GCB注意力机制。在上采样器的多个级联上采样模块中,结合改进的上采样算法CARAFE。实验结果表明,改进后的DGC-Mask R-CNN,使得检测与分割识别的平均精度 达到88.9%和88.8%,与传统的Mask R-CNN、Cascade-Mask R-CNN、Mask Scoring R-CNN、HybridTaskCascade相比检测精度更高。在均值平均精度 方面,与其它模型相比提升较为明显。将模型分割后得到的结果,进行砂岩颗粒的统计以及长短轴的计算,可实现对该部分砂岩颗粒的溯源,计算地壳运动导致的砂岩迁移的距离,进而评估地下油藏。     

基于Mask R-CNN的物体识别和定位

为了让机器人能识别物体类别、探测物体形状、判断物体距离,提出一种基于Mask R-CNN模型的双目视觉的物体识别和定位方法。该方法利用Mask R-CNN处理双目图像,对每张图像进行物体识别和形状分割,然后利用神经网络特征对双目图像中的相同目标进行匹配。以物体形状为依据,使用最近点搜索算法估计视差并计算距离。实验结果表明,该方法能够以准实时的速度进行物体的识别和定位,与传统的依赖计算全局视差图的方法相比,在速度和精度上都有提高。     

一种CNN-Transformer网络在皮肤镜图像分割上的应用

【目的】针对皮肤病变图像存在皮损形状不规则、边界模糊以及毛发伪影等问题，提出了一种将CNN和Transformer相结合的图像分割算法。【方法】首先对皮肤病变图像进行去毛发预处理，减少毛发噪声对结果的影响，然后构建CNN和Transformer结合的分割模型，采用Resnet作为特征提取主干网络，将提取到的特征图序列作为Transformer的输入，在Transformer中加入了新的结构边界注意门以提取足够的局部细节来处理模糊边界，最后采用DenseASPP模块增强特征表示和处理多尺度信息，并且提出一种改进了的损失函数，以便在计算损失函数的同时使得模型能关注边界区域部分。【结果】提出的算法在ISIC2017数据集上的Dice指数值以及Jaccard指数值分别为0.854 534和0.767 901，在ISIC2018数据集上的Dice指数值以及Jaccard指数值分别为0.908 548和0.843 689，与其他算法相比提出的算法对图像的分割效果相对较好。【结论】实验结果证明了所提算法在皮肤病变图像上进行的图像分割是有效的。     

基于视觉加强注意力模型的植物病虫害检测

【目的】植物病虫害准确检测是病虫害精准化防治的关键，笔者构建准确高效的植物病虫害监测模型，为病虫害的早期诊断与预警提供重要依据。【方法】针对现有植物病虫害检测模型泛化能力弱、小目标漏检率高等问题，提出一种基于视觉加强注意力改进的植物病虫害检测模型——YOLOv 5-VE(vision enhancement)。为方便检测实验样本中的小目标采用Mosaic 9数据增强方法；设计出基于视觉注意力的特征加强模块CBAM(convolutional block attention module);为确定不同目标重叠在一起和被遮挡的定位损失引入边界框定位损失函数DIoU。【结果】YOLOv 5-VE模型在实验数据集上的识别精度和检测平均准确率达到65.87%和73.49%,比原模型提高了1.07%和8.25%,在型号为1 080 Ti的GPU上检测速度可达35帧/s。【结论】该方法可以在背景复杂的野外场景快速有效地检测和识别种类多样的病害和虫害，可以提高检测的鲁棒性能，提升模型对病虫害目标的特征提取能力，降低野外复杂场景对检测带来的干扰，表现出良好的应用潜力，可广泛运用于大规模的植物病虫害检测。     

基于多元空洞特征金字塔的电气设备图像实例分割方法

电气设备图像自动分割识别是电力设备无人巡检系统的核心技术。根据变电站电气设备3 996幅人工巡检图像库,建立并标记了含1 730幅图像的巡检数据集。针对Mask R-CNN网络对图像边缘信息处理不佳、小目标识别率低等问题,提出多元特征金字塔结构,引入带空洞空间卷积的池化金字塔模块,提出多元空洞特征金字塔网络,有效克服尺度变化带来的漏检现象。在自建数据集上的识别与实例分割对比测试显示,文中网络能准确识别避雷器、电流互感器等6类典型的电气设备,识别精度和分割精度较经典网络分别提高4%和6%,能有效识别小尺度目标。     

基于改进Mask R-CNN的番茄茎秆分类方法

为实现对与背景近色、不规则细长型目标——番茄茎秆的分类,提出了一种基于改进Mask R-CNN的番茄茎秆分类算法. 采集日间和夜间番茄植株图像,使用labelme分别制作日间和夜间番茄茎秆分类数据集. 结合迁移学习方法,使用两种数据集分别训练Mask R-CNN模型. 对Mask分支进行了改进,在生成掩膜的同时生成其最小外接矩,并提出了用于评估掩膜边框精确率的评价指标Re及用于综合评估模型性能的像素级评价指标. 试验结果显示：夜间及日间茎秆分类模型的像素F1值、像素全类平均正确率分别为48.82%、50.03%和57.76%、56.06%. Mask分支改进后掩膜边框精确率得到了显著提高,平均每幅图像检测耗时0.31 s,满足实际应用对算法实时性的需求,可为植株修剪等工作的智能化提供方法支持．     

一种紫色土图像的分割与提取方法

【目的】研究紫色土的图像分割与提取，为将来实现机器视觉识别紫色土打下基础。【方法】利用在RGB颜色空间的像素值分布特点，计算多变量条件概率，通过建立优化模型提取颜色特征值的边界，结合分段函数构建分割测度；然后，使用构建的分割测度建立基于密度峰值思想的优化模型，按照两次迭代差异最小化原则，优化局部分割阈值，从多个局部分割阈值中利用类内方差最小化模型获得优化的分割阈值，实现紫色土的图像分割；最后，以像素四邻域连通标记递归算法标记包含空洞的紫色土区域图像的连通区域以消除分割结果中的背景离散区域。同理，标记背景连通区域以填充紫色土区域图像空洞实现图像中紫色土区域的提取。【结果】计算综合评价指标F1、调整的兰德系数ARI和归一化互信息NMI来评价分割提取的结果。试验表明，提出的方法平均分割准确率达96.01%,97.16%和82.02%；与对比方法比较，提出的算法可以更加准确完整地分割与提取紫色土区域图像，最终实现紫色土图像土壤区域的完整分割。【结论】提出的算法是有效的。     

深度学习在基于叶片的油茶品种识别中的研究

【目的】采用深度学习方法开展基于叶片的油茶品种识别研究，开发油茶品系图像识别技术，为油茶品种鉴别提供科学依据。【方法】选择自然光照条件下生长的11个油茶品种叶片作为研究对象，采集完整、无明显病虫害的叶片，以白色硬纸板为背景，利用智能手机对叶片的正、背面进行图像采集，通过可用性筛选去除无效图像，构建图像数量为2 791张的油茶叶片品种数据集，采用深度学习网络(GoogLeNet、ResNet)对11个油茶品种的叶片图像进行识别研究。【结果】GoogLeNet和ResNet网络均能满足基于叶片的油茶品种识别要求，总体识别准确率、召回率的调和平均值(F₁)分别达94.0%和80.7%;其中GoogLeNet网络识别效果更好，平均准确率、召回率、多分类模型指标宏观F₁(Macro F₁)和微观F₁(Micro F₁)分别为94.1%、94.0%、94.0%和96.9%,其对油茶品种编号1和编号8的识别召回率高达100%。【结论】深度学习网络(GoogLeNet、ResNet)能够实现基...     

基于深度学习的盾构隧道渗漏水病害混合样本集构建与精细分割

渗漏水病害是盾构隧道运营期间最为常见的一种表观病害，对隧道结构安全与周边地层稳定具有不利影响.基于深度学习的图像病害识别方法，构建了包含检测装置与人工巡检两种方式采集图像的混合样本集.以平均准确度为评估指标，训练得到Mask R-CNN深度学习模型的分割准确度达到0.447,优于原样本集(0.386)与扩容样本集(0.403).考虑隧道渗漏水病害形态复杂的特点以及不同病害间较大的特征差异，进一步采用条件卷积动态生成的分割模型参数代替Mask R-CNN模型中静态的模型参数，提高了模型的分割速度与精度.以每秒运算图像数量(Frames Per Second, FPS)为评估指标，模型分割速度由7FPS提升至10FPS,且分割结果与病害真实轮廓更为接近，从而有利于对渗漏水病害的严重程度进行量化分析.     

基于相机拍照的油茶果形状特征提取研究

【目的】为实现油茶果实尺寸及大小分布的快速获取,提出一种基于相机拍摄的油茶果形状特征参数批量化提取方法。【方法】首先将采摘油茶果摆放于含刻度尺的背景板,利用相机快速获取油茶果图像并进行校正;然后利用Mask R-CNN模型对图像油茶果进行快速检测计数,根据生成的掩码采用椭圆拟合法统计油茶果特征参数(长轴长、短轴长、面积、周长)的像元个数;最后结合背景板刻度尺计算的像元大小,获取油茶果特征参数,同时利用实测值进行精度验证。【结果】Mask R-CNN模型的平均识别准确率和召回率分别为99.55%和91.19%,测度值为95.22%,满足用于统计油茶果形状特征参数的要求。对油茶果面积的估测精度最高,决定系数(R²)、平均绝对误差(MAE)、均方根误差(RMSE)分别为0.999 0、10.75 mm²、14.88 mm²;其次为周长和长轴长,短轴长的估测精度最低,其R²、MAE、RMSE分别为0.864 7、3.15 mm、3.74 mm。【结论】该方法实现了油茶果采摘后的快速准确计数以及形状特征参数的批量化提取,可为大量果实特征参数的快速准确检测提供参考,为指导油茶果实分级和快速测产提供科学依据。     

基于深度学习的油页岩CT图像有机质识别分割方法研究

【目的】油页岩中有机质的密度远低于其他岩石基质，因此，在CT图像中有机质的灰度值往往接近于孔隙裂隙的灰度值，从而在图像中表现为灰度值差异不明显，有机质和岩石的边界模糊等问题。【方法】为了精准识别分割出油页岩CT图像中的有机质，对深度学习领域的图像分割方法进行研究，并自主搭建了描述有机质分割的OM-Unet语义分割网络架构。通过在传统Unet模型中引入混合空洞卷积模块、由粗到精的部署策略和轻量化自适应特征融合模块，利用卷积神经网络识别分割油页岩CT图像中的有机质，并结合MIoU等评价指标对其分割效果进行评估。【结果】OM-Unet模型的MIoU为80.66%,相较于三相分割方法、Unet、CBAM-Unet、DeepLabV3、HDC-Unet和LAFF-Unet模型分别增加了8.01%、17.68%、9.5%、2.54%、2.83%和9.13%.OM-Unet模型的MPA为89.16%,相较于三相分割方法、Unet、CBAM-Unet、DeepLabV3、HDC-Unet和LAFF-Unet模型分别增加了12.85%、20.62%、15.82%、8.81%、9.55%和15.34%.【...     

基于深度学习的政务表格单元格结构检测

当前政务领域中涵盖大量复杂异构表格,其结构检测困难,识别准确率较低并且单元格边缘拟合效果较差.针对该问题,在掩膜区域卷积神经网络（Mask R-CNN）的基础上,以政务表格单元格结构为对象,提出一种改进的政务表格单元格结构检测方法 .首先,在Mask R-CNN算法的主干网络及特征金字塔中加入通道注意力机制,增强有效特征通道权重;然后,对分割产生的掩膜结果使用基于规则和形态学方法进行优化以提升单元格分割边缘拟合度.实验结果表明：改进后的表格单元格结构检测模型在此数据集G-Tab及公开表格数据集ICDAR2013上的精确率和召回率都有明显提升,能够验证改进模型的有效性.     

基于改进Mask R-CNN模型的电力场景目标检测方法

为了解决电力施工现场中安全帽佩戴情况以及危险区域行人入侵检测问题,提出一种基于改进Mask R-CNN模型的目标检测方法。首先依据迁移学习策略对Mask R-CNN主干网络进行参数初始化,以提取图像基本特征;然后引入特征金字塔结构进行自下而上的特征图提取,完成多尺度特征融合;接着,通过多尺度变换方法对区域推荐网络进行调整,获取锚点进行回归计算完成检测实验;最终对结果进行分析评价,多目标平均准确率达到了95.22%。将改进后的Mask R-CNN模型用于监控视频分析,针对监控视频像素过低问题,加入拉普拉斯算法锐化边缘,精准率提高到90.9%,验证了拉普拉斯算法对低质量监控视频检测的有效性。     

基于Gan-St-YOLOv5的复杂环境下的手势识别

在智能工业生产中的复杂环境下进行手势识别人机交互，手势特征受到局部遮挡、强光照、远距离小目标的影响，导致目标检测识别过程中识别出的手势特征减少，甚至分类错误.在复杂环境下提高手势识别精准度成为人机交互任务中亟需解决的问题.本文提出一种具有创新性的Gan-St-YOLOv5模型，在YOLOv5的基础上生成对抗网络(generative adversarial network, GAN)和Swin Transformer模块，融入SENet通道注意力机制，使用Confluence检测框选取算法，增强模型检测的准确度.为了验证模型的优越性，与YOLOv5模型进行对比，得出Gan-St-YOLOv5在完全可见测试集上mAP＿0.5高达96.1%,在强光照测试集上mAP＿0.5高达92.3%,在部分遮挡测试集上mAP＿0.5高达86.6%,在远距离小目标测试集上准确度高达96.4%,均优于YOLOv5目标检测算法，以较小的效率损失取得了较高精度.     

山核桃透翅蛾幼虫空间分布型及抽样技术

【目的】确定山核桃透翅蛾(Sphecodoptera sheni)幼虫在薄壳山核桃(Carya illinoinensis)树上的空间分布型及抽样技术。【方法】采用频次分布法、6种聚集度指标(C、I、K、C_A、M^*/M、I_δ)、Taylor幂法则和Iwao回归方程对山核桃透翅蛾幼虫在薄壳山核桃大树上的空间分布型和抽样技术进行研究,计算Blackith聚集均数λ,分析山核桃透翅蛾幼虫种群的聚集原因。【结果】山核桃透翅蛾幼虫在薄壳山核桃上呈聚集分布,分布的基本成分为个体群,聚集度随种群密度升高而增大。山核桃透翅蛾幼虫种群聚集是由环境条件和自身特性共同引起的。【结论】建立山核桃透翅蛾幼虫种群的理论抽样表和序贯抽样公式,可为该虫害的抽样调查和防治提供理论依据。     

基于Swin Transformer和CNN的汉字书法教学系统

针对日益增长的汉字书法学习需求,将滑动窗口自注意力(Swin Transformer, ST)模型和卷积神经网络(Convolutional Neural Network, CNN)模型相结合,提出手写体汉字识别ST-CNN模型,进而开发了汉字书法教学系统。实测结果表明,ST-CNN模型识别准确率约为91.6%,较传统的ST模型提升了约0.5个百分点,较传统的CNN模型与ST模型,在收敛速度上分别提升了约10和30个百分点,开发的汉字书法教学系统性能良好。     

基于多任务学习的口腔白斑与扁平苔藓的分割与识别

口腔白斑属于癌前病变或潜在的恶性疾患范畴,诊断意义尤为重要;口腔扁平苔藓是一种常见的口腔黏膜慢性炎性疾病。两种疾病的症状相似度高导致利用传统目标识别算法难以准确识别。为此,该文提出了一种基于多任务学习卷积神经网络的口腔斑纹类疾病的目标检测、分割与识别算法。该算法通过改进的Mask R-CNN网络提取口腔斑纹类疾病图像的高维特征,以检测出相关病变的具体位置和精准区域,并识别出病损的种类。算法的改进之处在于图像检测与识别的分支网络利用分割子网络的高维特征以关注病变区域的特征,提高了口腔白斑与扁平苔藓识别的准确性。实验表明,该文所提方法相对于现有传统识别方法和常见多任务学习方法具有更高的准确性和敏感性。