基于具有空间注意力机制的Mask R-CNN的口腔白斑分割

口腔白斑(OLK)是一种癌前病变,由于其与口腔内健康组织有视觉相似性,导致难以准确区分,目前,对OLK的诊断主要来自专业医生的经验,但这种方式效率低,诊断受主观影响大。该文提出具有空间注意力机制(spatial attention)的Mask R-CNN方法(Mask R-CNN-S)用于口腔白斑分割。Mask R-CNN特征提取能力受限于多任务的设计,在口腔白斑上分割效果并不理想。而Mask R-CNN-S是基于Mask R-CNN网络,并引入了卷积块状注意力模块(CBAM)中的空间注意力模块,考虑了空间上的重要性信息,帮助Mask R-CNN关注更重要的区域。此外,受限于数据量较少,该文利用在其他相关大数据集里训练出来的预训练模型,同时采用冻结浅层参数,更新深层参数的策略。试验结果表明,该文所提方法实现了相比于传统Mask R-CNN更好的性能。     

基于Mask R-CNN的荧光编码微球图像检测方法

为降低荧光编码微球技术的应用成本,提出了一种基于Mask R-CNN目标检测算法的荧光编码微球图像检测方法.首先基于TensorFlow和Keras深度学习框架搭建Mask R-CNN网络模型,整体网络由特征提取网络,候选区域生成网络和分支处理网络3部分构成;通过有标注定性图像样本集训练网络模型,并使用合成图像实现训练集数据增强;将待检测定性图像样本输入训练完成的网络模型获得定性图像的语义掩膜.实验结果表明,对于单色和双色微球定性实验图像,平均检测准确度分别达94.17%和95.96%,可实现荧光编码微球定性图像的边界框检测、分类以及语义掩膜生成.     

基于Mask R-CNN的满文文档版面分析

提出一种基于Mask R-CNN深度学习框架的满文文档版面分析方法,将满文文档版面分析问题转化为基于深度学习的图像实例分割问题。使用ResNet101网络和FPN网络构成的卷积神经网络自动提取满文文档图像特征,特征图经过RPN网络和RoI Align层生成新的特征图。新特征图经过全连接层完成感兴趣区域的类别和边框预测,并经过全卷积神经网络对感兴趣区域的像素进行分类得到mask预测,最终实现满文文档图像的实例分割。通过《新满汉大辞典》的文档图像构建了满文文档图像数据集,算法在该满文文档图像数据集上进行了实验。实验结果表明,本算法在满文文档版面分析中取得了较好的检测和分割效果。     

基于深度学习的盾构隧道渗漏水病害混合样本集构建与精细分割

渗漏水病害是盾构隧道运营期间最为常见的一种表观病害，对隧道结构安全与周边地层稳定具有不利影响.基于深度学习的图像病害识别方法，构建了包含检测装置与人工巡检两种方式采集图像的混合样本集.以平均准确度为评估指标，训练得到Mask R-CNN深度学习模型的分割准确度达到0.447,优于原样本集(0.386)与扩容样本集(0.403).考虑隧道渗漏水病害形态复杂的特点以及不同病害间较大的特征差异，进一步采用条件卷积动态生成的分割模型参数代替Mask R-CNN模型中静态的模型参数，提高了模型的分割速度与精度.以每秒运算图像数量(Frames Per Second, FPS)为评估指标，模型分割速度由7FPS提升至10FPS,且分割结果与病害真实轮廓更为接近，从而有利于对渗漏水病害的严重程度进行量化分析.     

基于卷积神经网络的图书页面检索方法

针对现有图书页面检索方法检索精度低的问题,利用任务无关数据集训练卷积神经网络,提出了一种基于卷积神经网络的图书页面检索方法.首先将待检图书页面图像进行图像分割和畸变校正,降低背景的干扰和几何畸变的影响;然后将校正后的图像输入卷积神经网络提取图像特征;最后使用夹角余弦距离来度量待检图像和候选图像的相似度.实验结果表明:本方法在测试数据集上的Top-5命中率为97.31%,而直接使用任务无关数据集训练的卷积神经网络的Top-5命中率仅为58.47%.本方法避免了耗费大量的时间和精力去收集大规模图书页面图像数据库,而且利用卷积神经网络强大的图像特征描述能力,取得了优异的图书页面检索精度.     

基于深度学习的政务表格单元格结构检测

当前政务领域中涵盖大量复杂异构表格,其结构检测困难,识别准确率较低并且单元格边缘拟合效果较差.针对该问题,在掩膜区域卷积神经网络（Mask R-CNN）的基础上,以政务表格单元格结构为对象,提出一种改进的政务表格单元格结构检测方法 .首先,在Mask R-CNN算法的主干网络及特征金字塔中加入通道注意力机制,增强有效特征通道权重;然后,对分割产生的掩膜结果使用基于规则和形态学方法进行优化以提升单元格分割边缘拟合度.实验结果表明：改进后的表格单元格结构检测模型在此数据集G-Tab及公开表格数据集ICDAR2013上的精确率和召回率都有明显提升,能够验证改进模型的有效性.     

基于改进Faster R-CNN+ZF模型的铁路桥梁裂缝分类方法

针对传统图像处理算法不能对存在过饱和像素和随机高强度噪声影响的铁路桥梁裂缝图像有效分类的问题,设计了一种基于改进Faster R-CNN+ZF模型的铁路桥梁裂缝自动分类方法.首先将原始图像集进行数据增强后,参照Pascal Voc数据集格式自制训练所需数据集;然后在Faster R-CNN网络模型前添加一层Prewitt算子锐化卷积层提升模型特征提取能力;最后重置ZF模型中相关卷积核的尺度、优化模型超参数和学习率,使模型的鲁棒性和高实时性得到有效保障.该方法在实际采集的49 124幅铁路桥梁裂缝图像数据集中进行测试.结果表明:新的算法能实现所有铁路桥梁裂缝类型的分类,有效裂缝识别率达93.7%以上,明显优于投影法和支持向量机法,具有很强的工程应用价值.     

基于深度学习的图像抠图技术

图像抠图(image matting)技术是图像编辑技术的基础, 广泛应用于影视后期制作和日常生活. 基于深度学习的图像抠图网络, 通过输入的原图和三元图来估计每个像素的 $\alpha$ 值. 在原下、上采样的图像抠图技术基础上, 针对抠图数据集图像差异较大容易造成网络收敛较慢的问题, 在每个卷积层后加入了批量标准化(batch normalization, BN)层, 对输入数据进行归一化操作, 加快模型收敛速度, 同时参数更新方向更符合数据集整体特性; 针对抠图任务需要更关注物体边缘部分的特点, 使用可变形卷积(deformable convolution)层替换普通卷积层. 可变形卷积层会根据不同输入数据自适应学习卷积核形状, 有效扩大感受野范围, 在细节部分有更好的预测效果.     

基于Mask R-CNN的防波堤复杂护面块体检测和分割方法

针对斜坡式防波堤护面层块体个数统计效率和精确率低的问题,提出了基于Mask R-CNN深度学习网络的斜坡式防波堤扭王字块体的识别和分割方法。该方法利用Mask R-CNN深度学习网络学习实验室采集图像的特征信息,通过调整交并比(IOU)阈值得到评价指标最好的模型,并将该模型应用于现场防波堤图像护面块体的识别和分割。测试结果表明,IOU取0.5时,目标分割的平均精确率为91.83%,平均召回率为92.94%;将训练得到的网络用于识别无人机航拍现场的防波堤图像,扭王字块识别率可达90.7%,且拍摄角度和高度对识别精度影响不大。Mask R-CNN深度学习网络可实现密集、复杂护面块体的准确识别,具有良好的移植性和通用性。     

一种改进Mask R-CNN的运动目标定位方法

针对在复杂场景下传统算法对运动目标分类精度不高且无法直接输出关键点空间坐标这一问题,本文提出了一种基于改进Mask R-CNN的运动目标定位方法。该方法在TensorFlow 框架下采用自制数据集预训练提取多尺度的卷积,将采集到的网络视频流通过RoIAlign算法处理获得像素级的特征并匹配SIFT特征点建立空间坐标系统,在空间约束下结合Kalman filtering补偿运动轨迹,通过投影变换矩阵将像素坐标转换为世界坐标。实验表明该方法提高了模型在干扰背景下的鲁棒性,平均误差在8cm以内,实现了在复杂场景下可以获得实时高精度的定位信息。     

基于卷积神经网络和几何优化的统计染色体核型分析方法

染色体核型分析是细胞遗传学研究的主要技术之一,在现代医学治疗和诊断中有重要的作用.通常在染色体核型分析的过程中,首先需要在染色体中期图像中分割出单条染色体,然后再对染色体逐一进行分析、比较、排序和分类.由于传统的基于几何及基于统计的分割和分类的辅助工具精度低,辅助作用有限,因此在实际工作中仍然需要医生花费大量的时间和精力进行人工核型分析.为此提出一种基于卷积神经网络和几何优化的染色体核型分析新方法,利用Mask R-CNN(Region-Convolutional Neural Networks)从染色体中期图像中分割出染色体,并训练一个新型多输入的卷积神经网络对分割后的单条染色体进行分类;还提出一种全新的基于局部特征的染色体分割数据合成方法对分割数据集进行扩充.此外,为了保证分类训练数据的一致性,提出一种基于中线的染色体伸直几何优化算法.实验结果表明提出的方法在自动核型分析中表现优秀.     

基于情感轮和多任务卷积神经网络的图像情感分布学习

图像情感分布学习可以对多种情绪同时进行建模,但现有的模型缺乏有效的方法直接考虑情绪之间的相关性.针对这一问题,该文提出一种基于情感轮和多任务卷积神经网络(EW-MTCNN)的图像情感分布学习模型,通过先验知识模块将心理学情感知识直接引入到深度神经网络中.基于Mikel's情感轮定义成对情绪之间的相关性,EW-MTCNN模型采用多任务卷积神经网络学习情绪之间的相关性信息,同时优化情感分布预测和情绪分类任务.EW-MTCNN模型由3个模块组成,3个模块分别是图像特征提取层、情感轮先验知识层和多任务损失层.在情感分布数据集(Emotion6)和单标签数据集(Artphoto)上进行对比实验的结果表明:EW-MTCNN模型在情感分布预测与情绪分类任务上比其他情感分布学习方法具有更优的性能.     

基于多元空洞特征金字塔的电气设备图像实例分割方法

电气设备图像自动分割识别是电力设备无人巡检系统的核心技术。根据变电站电气设备3 996幅人工巡检图像库,建立并标记了含1 730幅图像的巡检数据集。针对Mask R-CNN网络对图像边缘信息处理不佳、小目标识别率低等问题,提出多元特征金字塔结构,引入带空洞空间卷积的池化金字塔模块,提出多元空洞特征金字塔网络,有效克服尺度变化带来的漏检现象。在自建数据集上的识别与实例分割对比测试显示,文中网络能准确识别避雷器、电流互感器等6类典型的电气设备,识别精度和分割精度较经典网络分别提高4%和6%,能有效识别小尺度目标。     

基于改进Mask R-CNN的番茄茎秆分类方法

为实现对与背景近色、不规则细长型目标——番茄茎秆的分类,提出了一种基于改进Mask R-CNN的番茄茎秆分类算法. 采集日间和夜间番茄植株图像,使用labelme分别制作日间和夜间番茄茎秆分类数据集. 结合迁移学习方法,使用两种数据集分别训练Mask R-CNN模型. 对Mask分支进行了改进,在生成掩膜的同时生成其最小外接矩,并提出了用于评估掩膜边框精确率的评价指标Re及用于综合评估模型性能的像素级评价指标. 试验结果显示：夜间及日间茎秆分类模型的像素F1值、像素全类平均正确率分别为48.82%、50.03%和57.76%、56.06%. Mask分支改进后掩膜边框精确率得到了显著提高,平均每幅图像检测耗时0.31 s,满足实际应用对算法实时性的需求,可为植株修剪等工作的智能化提供方法支持．     

基于卷积神经网络的灾难场景图像分类

为了对灾难场景图像进行快速分析和识别,提出了一种基于多分辨率卷积神经网络和残差注意力机制(attention module)相结合的图像分类模型.首先,对灾难场景数据集进行预处理,在相同类型的条件下将其随机划分为训练集和测试集.基于改进的卷积神经网络(convolutional neural network,CNN),提取训练集的图像特征.使用训练集图片的特征进行训练,并且在测试集图片上实现分类测试.选取DenseNet、Xception和MobileNetV2三种模型,以灾难场景数据集(Disaster_Data_Scenes)为数据集进行实验验证.结果表明:改进的Xception和MobileNetV2网络在灾难场景数据集上进行的图像分类实验测试,比原网络精度分别提升了4.56％和3.04％.其中改进的DenseNet网络比原网络模型精度分别提升9.13％、17.88％和10.27％.可见改进的卷积神经网络模型的分类精度得到有效提高.     

基于障碍物和车位检测的单阶段多任务YOLO-Parking算法研究

文章提出一种基于YOLOv4的端到端多任务网络模型用于自动泊车系统中的感知任务,以环视图像(around view monitor, AVM)作为网络输入,基于卷积网络提取图像特征信息,通过YOLO和DMPR-PS(directional marking-point regression-parking slot)检测头实现停车位与障碍物并行检测。在PS 2.0公开数据集上进行验证的结果表明,所提出的多任务检测方法能够同时检测停车位和障碍物,障碍物识别平均精度均值达到89.72%,车位识别查准率达到93.53%,网络检测速率为34.0帧/s,在满足自动泊车感知任务需求的同时提升了系统的检测效率。该文研究成果对自动泊车感知技术的发展具有一定的意义。     

基于改进Mask R-CNN的高密度砂岩颗粒的分割识别

针对高密度颗粒密度大,数量多,形态不一,且颜色相近的情况,通过传统方法对砂岩颗粒分割难度存在检测不准和漏检的不足。想要在少量样本中获取更好的效果,变得更加困难。基于上述问题本文提出一种基于改进Mask R-CNN的DGC-Mask R-CNN检测模型,针对少量样本、高密度砂岩颗粒的分割与识别。研究中首先收集了128张超高分辨率的图片,每张图片有近200个砂岩颗粒实例,共26200个实例对象。为了使模型拥有更好的泛化能力,防止少量样本下的过拟合,使用Albu进行图像增强。用自监督预训练模型Barlow Twins来对砂岩颗粒的特征进行初步提取。在DGC-Mask R-CNN中,构建ResNet50模型作为骨干特征提取网络,在ResNet50的BottleNeck的C3,C4,C5特征卷积层中改进传统卷积方式,使用可变形卷积神经网络DCN,并添加GCB注意力机制。在上采样器的多个级联上采样模块中,结合改进的上采样算法CARAFE。实验结果表明,改进后的DGC-Mask R-CNN,使得检测与分割识别的平均精度 达到88.9%和88.8%,与传统的Mask R-CNN、Cascade-Mask R-CNN、Mask Scoring R-CNN、HybridTaskCascade相比检测精度更高。在均值平均精度 方面,与其它模型相比提升较为明显。将模型分割后得到的结果,进行砂岩颗粒的统计以及长短轴的计算,可实现对该部分砂岩颗粒的溯源,计算地壳运动导致的砂岩迁移的距离,进而评估地下油藏。     

基于改进Faster R-CNN的无人机视频车辆自动检测

为了从广域视角准确提取道路交通信息,提出了一种用于无人机视频车辆自动识别的改进Faster R-CNN模型.该模型以基于ZF网络的Faster R-CNN为原型,优化调整学习策略、训练图像尺寸、学习率等模型参数,调整RPN网络卷积核并引入SoftNMS算法,增加1～3个特征提取卷积层和激活层.基于无人机交通视频构建了训练图像集,对现有Faster R-CNN模型及改进模型进行训练和测试.结果显示,与采用Step学习策略的模型相比,采用学习策略Inv的模型车辆识别平均准确率提高了0.4%～9.4%.引入SoftNMS算法的模型比引入前的模型平均准确率提高了0.1%～7.9%.提出的改进模型平均准确率为94.6%,较基于ZF的Faster R-CNN模型、基于VGGM的Faster R-CNN模型和基于VGG16的Faster R-CNN模型分别提高了13.1%、13.1%和4.1%,且训练时间减少约3%,对多种场景的视频车辆检测具有较好的适用性.     

基于区域卷积网络的行驶车辆检测算法

为解决多种天气与多种场景下主干道路行驶车辆检测存在的实时性、泛化能力差、漏检、定位不准确等问题,研究了基于TensorFlow深度学习框架的区域卷积神经网络(Faster R-CNN)算法,通过引入VGG16神经网络模型,优化ROI Pooling Layer,并采用联合训练方法,得到改进的算法模型。采用UA_CAR数据集进行模型训练,实现行驶中的车辆检测,测试结果与优化前Faster R-CNN比较,MAP提高了7.3个百分点,准确率提高了7.4个百分点,检测用时0.085 s,提高了对多种环境与场景的适应性。     

基于生成对抗网络的宫颈细胞图像数据增强

为了在数据集过小时更好的训练卷积神经网络,本文提出一种方法通过训练GAN(生成对抗网络)生成新的样本进行图像数据增强。扩充后的数据集应用于训练图像分类模型,得到了不错的效果。针对Herlev宫颈细胞数据集的二分类问题,本文首先使用原始训练集训练GAN,生成了大量高质量的高分辨率细胞图像,将每类训练集扩充到24 000例。然后使用扩充后的训练集进行分类网络训练,在Resnet迁移学习的验证集准确率高达97%,高于仿射变换扩充的数据集的训练结果93%,可见本文方法可以有效地实现图像的数据增强。本文方法也可用于其他领域的图像数据增强。