基于Mask R-CNN的多目标跟踪算法

针对目前多目标跟踪算法在面对目标频繁遮挡时跟踪效果较差的问题, 提出采用Mask R-CNN作为检测器, 根据检测结果利用Kalman滤波器预测下帧图像中跟踪目标的位置, 用改进匈牙利算法进行数据关联, 并利用轨迹修正方案应对轨迹中断问题. 将该算法在MOT16数据集的各测试集上进行实验, 实验结果表明, 该算法目标跟踪准确率为55.1%, 且针对目标被遮挡问题效果较好.     

基于改进Mask R-CNN的高密度砂岩颗粒的分割识别

针对高密度颗粒密度大,数量多,形态不一,且颜色相近的情况,通过传统方法对砂岩颗粒分割难度存在检测不准和漏检的不足。想要在少量样本中获取更好的效果,变得更加困难。基于上述问题本文提出一种基于改进Mask R-CNN的DGC-Mask R-CNN检测模型,针对少量样本、高密度砂岩颗粒的分割与识别。研究中首先收集了128张超高分辨率的图片,每张图片有近200个砂岩颗粒实例,共26200个实例对象。为了使模型拥有更好的泛化能力,防止少量样本下的过拟合,使用Albu进行图像增强。用自监督预训练模型Barlow Twins来对砂岩颗粒的特征进行初步提取。在DGC-Mask R-CNN中,构建ResNet50模型作为骨干特征提取网络,在ResNet50的BottleNeck的C3,C4,C5特征卷积层中改进传统卷积方式,使用可变形卷积神经网络DCN,并添加GCB注意力机制。在上采样器的多个级联上采样模块中,结合改进的上采样算法CARAFE。实验结果表明,改进后的DGC-Mask R-CNN,使得检测与分割识别的平均精度 达到88.9%和88.8%,与传统的Mask R-CNN、Cascade-Mask R-CNN、Mask Scoring R-CNN、HybridTaskCascade相比检测精度更高。在均值平均精度 方面,与其它模型相比提升较为明显。将模型分割后得到的结果,进行砂岩颗粒的统计以及长短轴的计算,可实现对该部分砂岩颗粒的溯源,计算地壳运动导致的砂岩迁移的距离,进而评估地下油藏。     

一种改进Mask R-CNN的运动目标定位方法

针对在复杂场景下传统算法对运动目标分类精度不高且无法直接输出关键点空间坐标这一问题,本文提出了一种基于改进Mask R-CNN的运动目标定位方法。该方法在TensorFlow 框架下采用自制数据集预训练提取多尺度的卷积,将采集到的网络视频流通过RoIAlign算法处理获得像素级的特征并匹配SIFT特征点建立空间坐标系统,在空间约束下结合Kalman filtering补偿运动轨迹,通过投影变换矩阵将像素坐标转换为世界坐标。实验表明该方法提高了模型在干扰背景下的鲁棒性,平均误差在8cm以内,实现了在复杂场景下可以获得实时高精度的定位信息。     

基于Mask R-CNN的满文文档版面分析

提出一种基于Mask R-CNN深度学习框架的满文文档版面分析方法,将满文文档版面分析问题转化为基于深度学习的图像实例分割问题。使用ResNet101网络和FPN网络构成的卷积神经网络自动提取满文文档图像特征,特征图经过RPN网络和RoI Align层生成新的特征图。新特征图经过全连接层完成感兴趣区域的类别和边框预测,并经过全卷积神经网络对感兴趣区域的像素进行分类得到mask预测,最终实现满文文档图像的实例分割。通过《新满汉大辞典》的文档图像构建了满文文档图像数据集,算法在该满文文档图像数据集上进行了实验。实验结果表明,本算法在满文文档版面分析中取得了较好的检测和分割效果。     

基于改进Mask R-CNN的番茄茎秆分类方法

为实现对与背景近色、不规则细长型目标——番茄茎秆的分类,提出了一种基于改进Mask R-CNN的番茄茎秆分类算法. 采集日间和夜间番茄植株图像,使用labelme分别制作日间和夜间番茄茎秆分类数据集. 结合迁移学习方法,使用两种数据集分别训练Mask R-CNN模型. 对Mask分支进行了改进,在生成掩膜的同时生成其最小外接矩,并提出了用于评估掩膜边框精确率的评价指标Re及用于综合评估模型性能的像素级评价指标. 试验结果显示：夜间及日间茎秆分类模型的像素F1值、像素全类平均正确率分别为48.82%、50.03%和57.76%、56.06%. Mask分支改进后掩膜边框精确率得到了显著提高,平均每幅图像检测耗时0.31 s,满足实际应用对算法实时性的需求,可为植株修剪等工作的智能化提供方法支持．     

基于轮廓的物体识别与定位方法

给出一种通过物体轮廓匹配来识别物体和对物体姿态进行定位的方法。该方法基于提取物体的轮廓信息,然后通过与库存物体的轮廓信息进行匹配来认识物体的类型,最后与库存物体模型的外轮廓进行逐点匹配,获取累计偏差和,通过二分法逐渐逼近最佳相对转角,使累计偏差和变小,从而使当前物体与库存物体模型的相对转角达到较高的精度。本方法可用于生产装配线上的零件识别,具有适应性好,定位准确的特点。     

基于Mask R-CNN的防波堤复杂护面块体检测和分割方法

针对斜坡式防波堤护面层块体个数统计效率和精确率低的问题,提出了基于Mask R-CNN深度学习网络的斜坡式防波堤扭王字块体的识别和分割方法。该方法利用Mask R-CNN深度学习网络学习实验室采集图像的特征信息,通过调整交并比(IOU)阈值得到评价指标最好的模型,并将该模型应用于现场防波堤图像护面块体的识别和分割。测试结果表明,IOU取0.5时,目标分割的平均精确率为91.83%,平均召回率为92.94%;将训练得到的网络用于识别无人机航拍现场的防波堤图像,扭王字块识别率可达90.7%,且拍摄角度和高度对识别精度影响不大。Mask R-CNN深度学习网络可实现密集、复杂护面块体的准确识别,具有良好的移植性和通用性。     

基于改进Faster R-CNN的水面漂浮物识别与定位

为了解决智能无人船水面漂浮物识别和定位精度不高的问题,提出了一种基于Faster R-CNN(Faster Regions with Convolutional Neural Network)的改进识别与定位算法(CA-Faster R-CNN).该方法采用Faster R-CNN算法对水面漂浮物进行初次识别和定位,对...     

改进Mask R-CNN的车辆检测算法

为提升在不同复杂场景下的车辆检测性能,提出一种基于改进Mask R-CNN的车辆检测算法。在算法的主干网络ResNet50中引入PSA极自注意力机制提升主干网络特征提取能力;在特征金字塔顶层网络中添加一个带有ECA注意力机制的分支与原分支进行特征融合,缓解顶层特征由于通道降维造成的信息损失。重新设计了卷积检测头使得边框回归更为准确。同时,使用余弦退火算法和Soft-NMS算法来优化训练过程和后处理结果。实验结果表明,改进的Mask R-CNN车辆检测算法相比原Mask R-CNN算法在复杂场景下具有更高的检测精度,在CNRPark-EXT测试集中平均精确度提高3.8%,在更具挑战性的MiniPark测试集中平均精确度提高7.9%。     

基于双目视觉的物体识别定位与抓取

为解决目标识别精度低、定位与抓取配合困难问题,通过对算法的改进研究了物体的识别定位与抓取,包括识别目标物体、对于目标物体形心的位置三维重建、对于目标物体的姿态估计、对于手眼标定后的抓取4个方面。在目标识别中,首先通过快速鲁棒特征(speeded up robust features,SURF)算法结合Grabcut算法提取出目标。在位置求解中,利用模板匹配求取目标物体形心的世界坐标。在姿态估计中,算法的流程为:利用匹配点对求取左图中物体母线斜率,再随机取斜率等于左图母线斜率的两点,通过两点的世界坐标求出目标物体的姿态。在抓取中,采用的眼在手上,先建立工件坐标系,再进行坐标转换,通过机器人参数求得逆解。研究结果表明:误差均在较小范围内且机器人可在有效工作范围实现抓取。可见算法可靠以及整体实验的正确性。     

基于具有空间注意力机制的Mask R-CNN的口腔白斑分割

口腔白斑(OLK)是一种癌前病变,由于其与口腔内健康组织有视觉相似性,导致难以准确区分,目前,对OLK的诊断主要来自专业医生的经验,但这种方式效率低,诊断受主观影响大。该文提出具有空间注意力机制(spatial attention)的Mask R-CNN方法(Mask R-CNN-S)用于口腔白斑分割。Mask R-CNN特征提取能力受限于多任务的设计,在口腔白斑上分割效果并不理想。而Mask R-CNN-S是基于Mask R-CNN网络,并引入了卷积块状注意力模块(CBAM)中的空间注意力模块,考虑了空间上的重要性信息,帮助Mask R-CNN关注更重要的区域。此外,受限于数据量较少,该文利用在其他相关大数据集里训练出来的预训练模型,同时采用冻结浅层参数,更新深层参数的策略。试验结果表明,该文所提方法实现了相比于传统Mask R-CNN更好的性能。     

基于改进Mask R-CNN的露天矿边坡裂隙智能检测算法

为了预防因露天矿边坡表面恶化而产生节理、裂隙或断裂等破坏边坡完整性所引发的安全事故,同时解决传统图像处理算法以及经典的深度学习模型直接应用于露天矿边坡裂隙检测效果不甚理想的问题,提出了一种基于改进的Mask R-CNN的露天矿边坡裂隙智能检测算法,运用了Mask R-CNN在目标检测、语义分割以及目标定位方面的集成性特点,改进了其在掩膜分支的边缘不清晰以及误检等缺点,构建了一种针对露天矿边坡裂隙图像的检测分割框架。该方法在掩膜分割分支引入了空洞卷积神经网络以及分类分割迭代上采样操作,能够解决边坡裂隙分割边缘粗糙的问题,实验结果表明,与传统的裂隙分割算法相比,该算法具有更高的识别精度以及更好的分割效果。     

基于Mask R-CNN的荧光编码微球图像检测方法

为降低荧光编码微球技术的应用成本,提出了一种基于Mask R-CNN目标检测算法的荧光编码微球图像检测方法.首先基于TensorFlow和Keras深度学习框架搭建Mask R-CNN网络模型,整体网络由特征提取网络,候选区域生成网络和分支处理网络3部分构成;通过有标注定性图像样本集训练网络模型,并使用合成图像实现训练集数据增强;将待检测定性图像样本输入训练完成的网络模型获得定性图像的语义掩膜.实验结果表明,对于单色和双色微球定性实验图像,平均检测准确度分别达94.17%和95.96%,可实现荧光编码微球定性图像的边界框检测、分类以及语义掩膜生成.     

基于改进Mask R-CNN模型的电力场景目标检测方法

为了解决电力施工现场中安全帽佩戴情况以及危险区域行人入侵检测问题,提出一种基于改进Mask R-CNN模型的目标检测方法。首先依据迁移学习策略对Mask R-CNN主干网络进行参数初始化,以提取图像基本特征;然后引入特征金字塔结构进行自下而上的特征图提取,完成多尺度特征融合;接着,通过多尺度变换方法对区域推荐网络进行调整,获取锚点进行回归计算完成检测实验;最终对结果进行分析评价,多目标平均准确率达到了95.22%。将改进后的Mask R-CNN模型用于监控视频分析,针对监控视频像素过低问题,加入拉普拉斯算法锐化边缘,精准率提高到90.9%,验证了拉普拉斯算法对低质量监控视频检测的有效性。     

基于改进Mask R-CNN的可见光图像中舰船目标检测方法

针对基于卷积神经网络的目标识别方法中经典的矩形检测框在检测舰船目标时会框出很多无关区域,易出现漏检、误检等问题,提出基于改进Mask R-CNN （mask region-based convolution neural networks）的舰船目标检测方法,在Mask R-CNN网络的基础上通过增加判别模块、类别预测分支和语义分割分支对视觉系统采集的可见光图像中的舰船目标进行目标定位和类别预测,同时获得舰船目标的边缘轮廓并实现对军舰目标的语义分割,为海上无人作战系统提供更精确的信息.实验结果表明,该方法在保持较高检出率和运行效率的同时误检率较低,舰船目标的平均检测精度较高,具有良好的舰船目标检测性能.      

基于Faster R-CNN的车牌识别算法

针对传统车牌检测方法定位不准确、检测结果易受环境影响的问题,提出一种基于Faster R-CNN和Inception ResNet_v2的车牌检测算法:通过迁移学习的方式实现精确的车牌定位,用像素点统计法处理车牌图像,实现单个字符的有效提取;mLeNet5卷积神经网络模型用于对单字符进行识别.结果表明,算法对有遮挡及角度倾斜的车牌字符能实现高效、高精确度的识别.     

基于Faster R-CNN算法的船舶识别检测

目前,检测卫星图像中船舶的常用方法如合成孔径雷达(synthetic-aperture radar,SAR)对多目标仍难以达到精确检测,而更快速的区域卷积神经网络(faster region-based convolutional neural network,Faster R-CNN)算法是一种深度学习算法,用于物体检测和分类时,可以实现高精度实时监测。文章应用Faster R-CNN算法对卫星图像中的船舶进行识别和检测,并与传统尺度不变特征转换(scale-invariant feature transform,SIFT)算法、快速区域卷积神经网络(fast region-based convolutional neural network,Fast R-CNN)算法进行对比。研究结果表明,Faster R-CNN算法比传统SIFT算法和Fast R-CNN算法有更好的收敛速度和识别精度,该算法在船舶识别方面具有较大潜力。     

基于改进Faster R-CNN的车辆类型识别算法

提出一种基于改进Faster R-CNN(region-convolutional neural networks)的车辆识别算法,用于处理不同类别车辆的识别问题.为了解决部分外形相似类别的车辆之间的误检问题,该方法使用空洞卷积来提高感受野,结合空洞空间金字塔池化(atrous spatial pyramid pooling,简称ASPP)来增强多尺度信息的获取,以此来增强网络对外形相似车辆之间差异的敏感性,提升算法的准确率.实验结果表明,改进的Faster R-CNN模型mAP值达到93.45%,具有较高的精确度、较小的误检率和更好的鲁棒性.     

基于Faster R-CNN的机器人目标检测及空间定位

基于深度学习的方法,运用Faster R-CNN目标检测架构和ResNet50卷积神经网络,针对配电线路维护机器人系统作业目标的特点对网络进行了训练.在此基础上结合双目视觉测距原理测得作业目标在相机坐标系中的坐标,通过手眼标定将该坐标转换到机器人基座坐标系中,从而完成作业目标的空间定位.实验结果表明:该方法能很好地适应作业场景背景复杂、光照变化以及目标部分遮挡等情况,所提出的手眼标定算法能够满足配电线路维护机器人对目标空间测量定位的要求.