基于Faster R-CNN及数据增广的满文文档印章检测

针对传统方法过分依赖颜色等特征,导致对古籍文档复印件检测效果不佳的问题,基于深度学习技术建立了一种新的满文文档图像印章检测方法。通过图像变换和合成技术建立满文古籍文档图像数据增广算法解决训练数据不足的问题,在所构建的增广数据集上建立Faster R-CNN深度学习模型挖掘深层图像特征,实现满文文档图像印章检测方法。对采集的真实满文文档复印件图像进行实验,印章检测精度可以达到99.6%,表明本文的方法可以有效的检测古籍文档复印件图像中的印章,对满文文档的研究有重要意义。     

基于Mask R-CNN的荧光编码微球图像检测方法

为降低荧光编码微球技术的应用成本,提出了一种基于Mask R-CNN目标检测算法的荧光编码微球图像检测方法.首先基于TensorFlow和Keras深度学习框架搭建Mask R-CNN网络模型,整体网络由特征提取网络,候选区域生成网络和分支处理网络3部分构成;通过有标注定性图像样本集训练网络模型,并使用合成图像实现训练集数据增强;将待检测定性图像样本输入训练完成的网络模型获得定性图像的语义掩膜.实验结果表明,对于单色和双色微球定性实验图像,平均检测准确度分别达94.17%和95.96%,可实现荧光编码微球定性图像的边界框检测、分类以及语义掩膜生成.     

基于机器人视觉系统的物体检测技术探究

机器人视觉系统的物体检测,是指依托人工智能深度学习技术、卷积神经网络模型,对某一图像内的目标特征点、边缘稳定的极值点等作出检测,预测图像像素点在立体空间中的具体位置、物体尺度特征。而原有的AlexNet分类检测模型、RCNN位置框定模型、Fast RCNN卷积训练模型,对空间物体的视觉图像检测来说,存在着结构复杂、检测时间长等缺点。基于此,在卷积主干网络、区域网络背景下,可利用Faster RCNN算法模型、特征点描述检测子,对框定区域的物体图像信息、公开数据集进行筛选、模型训练等检测,以增强固定视觉网络下物体检测的实时性,提高检测质量。     

基于M-DCGAN的缺陷检测数据集增广方法

针对智能制造中表面缺陷检测数据集不足问题，提出基于M-DCGAN的数据集增广方法。首先，向判别器添加上采样模块，搭建类U-Net结构并提升判别器与生成器的网络深度；设计基于Canny边缘检测的缺陷位置二值化掩膜提取方法；定义图像掩膜依赖的损失函数，建立缺陷目标位置关注引导机制；插入谱归一化层和Dropout层以提高训练稳定性，保持生成图像数据多样性。带钢缺陷数据集实验结果表明，该模型生成图片质量高于DCGAN、WGAN-GP和InfoGAN。采用本文M-DCGAN算法增广训练数据，能够显著提升并超过传统增广算法在YOLOv5、SSD、Faster R-CNN、YOLOv3等八种经典方法中的缺陷检测精度，验证了本文算法的有效性。     

建筑物指数与对抗网络结合的检测样本增广

在基于深度学习的遥感图像大范围目标检测中,部分地物获取难度较大,训练结果不佳。因此,本文利用形态学建筑物指数与生成式对抗网络进行样本增广,减少因检测样本不足导致的模型过拟合问题。通过提取纹理结构信息相关的形态学建筑物指数,将其与原始样本进行叠加,对建筑物的纹理与空间特征进行强化。同时利用已有样本训练生成式对抗网络以增广部分目标类别,并将其与形态学建筑物指数增强后的样本进行合成,以扩充原始样本集。相比于翻转,裁剪,色调变化的增广策略,使用该方法的检测精度在Yolov5,EfficientDet等模型上的检测精度均有2%-5%的提升。通过实验证明,利用建筑物指数与生成式对抗网络相结合的样本增广方法对于诸如发电站等特殊感兴趣类别的小样本遥感图像目标检测精度具有明显提升效果。     

基于生成对抗网络的V形焊缝图像修复算法

V形焊缝在激光视觉焊缝跟踪系统中,由于焊接过程中焊接工件附近的恶劣拍摄环境导致跟踪定位失效,为了减少图像修复网络训练过程中的模型偏移问题,提出了一种基于生成对抗网络(GAN)的图像修复算法.将神经网络与空间变换网络(STN)模块相结合,在图像合成修复过程中提高了原有焊接图像中特征信息的不变性,解决了模型在训练过程中的偏...     

基于卷积神经网络的人脸图像隐私保护

针对现有基于深度生成网络模型的人脸图像隐私保护方法无法提供可证明隐私保证、合成图像与原始图像保持语义一致性的问题,提出一种基于卷积神经网络的人脸图像隐私保护方法。该方法首先基于卷积自动编码器和差分隐私实现人脸图像的预训练,对原始人脸图像进行解耦和身份信息的差分隐私保护;然后利用卷积生成对抗网络合成伪图像代替原始图像发布,在保留原始人脸图像的关键特征的基础上,生成与原始图像的关键人脸属性高度匹配的伪图像。该方法可保证合成图像与原始图像语义一致性,并提供可证明的隐私保证。与现有的基于深度生成模型人脸图像隐私方法相比,所提出的方法达到了更好的隐私保护与数据可用性之间的优化权衡。     

基于PPYOLOE的师生互助训练半监督目标检测网络

随着深度学习技术的发展,基于卷积神经网络的目标检测技术成为当前计算机视觉领域的研究热点之一.目前主流的目标检测算法依赖于监督学习方式,需要在大量有标注图像数据上训练网络,然而,无标签的数据易于获取,而有标签的数据收集起来通常很困难,标注也耗时和耗力．为了解决数据标注难以获取的问题,提出了教师学生互助训练的半监督目标检测(PPYOLOE-SSOD)算法．首先,同时训练一个学生模型和逐渐改进的教师模型,使用教师模型筛选高质量伪标签,将伪标签作为未标注图像的回归目标,指导学生模型训练,挖掘未标注图像的知识信息,为了减小参数传递的不稳定性,每次迭代学生模型使用指数移动平均方法更新教师模型参数;此外,引入不同种类的半监督数据增强方法来增强网络的抗干扰能力;最后,针对无标注数据的学习,新增无监督学习分支,使用密集学习方式对模型预测得到的特征进行处理,通过对教师模型预测的分类特征排序,自动选择高质量特征作为教师模型生成的伪标签,从而避免了繁琐的伪标签后处理,提升网络的精度和训练速度．在MSCOCO数据集上,通过使用半监督学习方法,PPYOLOE在1%、5%、10%的标注数据集上分别得到了1.4%、1...     

基于生成对抗网络的气缸套表面缺陷图像生成

针对气缸套缺陷检测中缺陷样本不足限制气缸套缺陷检测性能提升问题,采用基于生成对抗网络的气缸套表面缺陷检测算法.首先,为了保持缺陷图像中原有缺陷位置与特征不变,通过循环生成对抗网络模型学习有缺陷气缸套图像与正常图像的关系;其次,利用学习得到的模型对有缺陷气缸套图像进行风格迁移,即把有缺陷气缸套图像背景替换成无缺陷气缸套图像背景,实现对气缸套缺陷数据集的扩充与增强;最后,通过基于数据增强的RetinaNet网络模型对生成图像的有效性进行验证.试验结果表明,通过生成对抗网络生成的气缸套数据集可以提升缺陷检测性能,进一步证明了生成对抗网络在工业应用的可行性.     

基于生成对抗网络的宫颈细胞图像数据增强

为了在数据集过小时更好的训练卷积神经网络,本文提出一种方法通过训练GAN(生成对抗网络)生成新的样本进行图像数据增强。扩充后的数据集应用于训练图像分类模型,得到了不错的效果。针对Herlev宫颈细胞数据集的二分类问题,本文首先使用原始训练集训练GAN,生成了大量高质量的高分辨率细胞图像,将每类训练集扩充到24 000例。然后使用扩充后的训练集进行分类网络训练,在Resnet迁移学习的验证集准确率高达97%,高于仿射变换扩充的数据集的训练结果93%,可见本文方法可以有效地实现图像的数据增强。本文方法也可用于其他领域的图像数据增强。     

“弄假成真”：基于对抗学习的数据增广方法

 近年来,深度学习在计算机视觉领域取得了巨大的突破,其背后是利用大量标签数据对深度网络进行监督训练,而标注大规模数据集非常昂贵且十分耗时。针对大规模数据集标注问题,苹果公司的Shrivastava团队希望借助现有的计算机仿真技术以及对抗训练的方法,实现仿真图像的无监督学习,从而避免昂贵的图像标注过程。该团队在对抗网络的基础上提出3个创新点：（1）自正则项;（2）局部对抗损失;（3）使用历史生成图片更新判别器,使得生成真实化图片的同时保留输入图像特征。实验结果展示该方法可以生成高度真实化的图片。研究者通过训练凝视估计模型、手部姿态估计模型定量分析生成图片的效果,分析结果表明,使用生成图片训练的模型,在MPⅡGaze数据集上测试效果有很大的提升,达到了当时最好的效果。不过,研究者并未在包含多个物体的复杂场景下进行实验,文中提出的方法在复杂场景下的应用还存在局限性。     

基于Involution算子和交叉注意力机制的合成语音检测方法

随着科学技术的迅速发展,基于深度学习生成的合成语音给语音认证系统和网络空间安全带来了新的挑战。针对现有检测模型准确率较低和语音特征挖掘不够充分的问题,提出了一种基于Involution算子和交叉注意力机制改进的合成语音检测方法。前端将语音数据提取线性频率倒谱系数(LFCC)特征和恒定Q变换(CQT)谱图特征,两个特征分别输入到后端的双分支网络中。后端网络使用ResNet18作为主干网络先进行浅层的特征学习,并将Involution算子嵌入主干网络,扩大特征图像学习区域,增强在空间范围内学习到的频谱图像特征信息。同时在训练分支之后引入cross-attention交叉注意力机制,使LFCC特征和CQT谱图特征构建交互的全局信息,强化模型对特征的深层挖掘。所提模型在ASVspoof 2019 LA测试集上取得了0.84%的等错误率和0.026的最小归一化串联检测代价函数的实验结果,展现了优于主流的检测模型。结果表明,改进的模型能够有效融合不同的频谱特征,提高模型的特征学习能力,从而强化模型的检测能力。     

基于集成迁移学习的细粒度图像分类算法

针对现有的大部分细粒度图像分类算法都忽略了局部定位和局部特征学习是相互关联的问题,提出了一种基于集成迁移学习的细粒度图像分类算法。该算法的分类网络由区域检测分类和多尺度特征组合组成。区域检测分类网络通过类别激活映射(class activation mapping,CAM)方法获得局部区域,以相互强化学习的方式,从定位的局部区域中学习图像的细微特征,组合各局部区域特征作为最终的特征表示进行分类。该细粒度图像分类网络在训练过程中结合提出的集成迁移学习方法,基于迁移学习,通过随机加权平均方法集成局部训练模型,从而获得更好的最终分类模型。使用该算法在数据集CUB-200-2011和Stanford Cars上进行实验,结果表明,与原有大部分算法对比,该算法具有更优的细粒度分类结果。     

基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进超分辨率残差网络(super-resolution residual networks, SRResNet)深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity, SSIM)指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

MeGAN:基于多任务增强生成对抗网络的图像合成

在计算机视觉领域,现有图像合成方法通常采用一对一的映射网络生成人脸表情,存在很大的建模局限性,难以表达丰富多样、复杂多变的人脸表情。为此,该文提出一种基于多任务增强生成对抗网络的图像合成方法。该方法构建多任务学习框架,改善人脸表情生成的多样性;通过设计双域卷积模块,利用具有补偿的频域信息改善空域特征映射;引入多尺度自适应激活函数,对不同特征进行自适应修正,进一步提升网络性能和特征映射效果。实验结果表明,该文方法能够同时生成多种逼真的人脸表情图像,与现有先进的图像合成方法相比,具有更好的定性和定量评估结果。     

基于深度学习的纹理图像语义识别

传统的纹理图像识别方法主要对底层的视觉特征进行检测,从而导致对高层语义特征的识别能力不足.为了解决上述问题,提出一种基于深度学习的纹理图像语义特征识别方法.该方法首先把在ImageNet数据集上预先训练的模型作为骨干网络构建模型,然后对输入的纹理图像进行数据增强和预处理,并输入模型进行训练和验证,最后利用训练获得的最佳...     

航拍图像车辆检测的数据增强

为快速增加车辆航拍图像的训练数据以提高检测模型的精度,从而提高车辆检测的准确度,提出了一种新的数据增强方法,将数据增强技术应用于提高无人机航拍图像中的车辆检测性能,并提出一套通用工作流和一种新的生成数据增强方法。工作流由Pluralistic Image Completion生成器网络和Tiny YOLOv3检测器网络组成,分别用于新训练数据的生成和边框标注,同时也要均衡考虑相关的性能指标。生成数据增强方法包括训练阶段和增强阶段。训练阶段涉及对生成器网络和检测器网络的分别训练。增强阶段使用生成网络生成新样本,并使用检测器评估这些样本进行增强的可行性。评估后确定可行的样本组成增强训练数据集,用于之后的检测器训练。该方法只需要在训练数据集中对车辆对象加上边界框标注,并不需要任何额外的监督;且允许用更多数量的实例来训练检测器,尤其是在训练实例数量有限的情况下,以此提高车辆检测性能;同时,该方法可以与不同的生成器集成,具有一定的通用性。试验结果表明：在与Pluralistic和DeepFill集成时,该方法可使其平均精度分别提高25.2%和25.7%。     

基于深度学习的三维模型重构研究

由单个图像建立其三维模型是计算机视觉领域的一个热门且具有挑战性的问题.现有的传统单视图三维重构算法在处理低分辨率图像时效果不好,在训练中由于三维图形的高维性,使网络也变得高度不稳定,导致模型重构效果差.针对传统三维重构算法存在的缺点,提出一种基于深度学习网络的改进模型,在模型中加入超分辨率、投影、对抗生成网络(gene...     

基于样本扩充的小样本车牌识别

车牌识别技术作为智能交通系统的核心课题之一,一直受到广泛的关注.近年来深度学习技术的迅速发展,更是为其提供了一种良好的解决方案.但实际场景下,研究者有时很难收集到足够的数据以支持模型训练.本文聚焦于小样本车牌识别问题,提出了使用生成对抗网络生成车牌图像,辅助后续模型训练的方法.本文方法先使用CycleWGAN合成大量带标签车牌图像;之后用合成图像对识别模型进行预训练;最后使用原始真实数据微调模型,进一步提高模型的准确率.本文在多个数据集上验证此方法,均获得了明显的效果增益,特别是当真实数据相对有限时,本文方法将准确率从已经较高的基线上又提升了7.5%.另外,在较困难的双动态车牌图像上,本文方法也取得了不俗的效果.最后,引入模型压缩技术,在原方法的基础上设计并实现了LightRCNN,使识别速度提升近1倍.     

应用残差生成对抗网络的路况视频帧预测模型

在路况视频帧的预测领域中,针对当前大部分模型所存在的预测图像分辨率低、图像模糊和局部细节缺失等问题,提出了一种应用残差生成对抗网络的路况视频帧预测模型(RB-GAN)。该模型用于在给定一段路况视频流的情况下更好地预测未来的一帧路况图像,应用多个级联的残差模块初步提取输入视频流的图像特征;利用感知网络强化对视频流中物体运动特征的提取;通过使用双重判别器提高生成对抗网络生成的图像的质量;用Adam方法来优化网络权值的深度学习过程。基于生成对抗网络这种半监督的学习框架,训练后的模型可以预测出一段路况视频流下一时刻的同输入视频流具有时空一致性的帧图像。应用车辆检测领域常用的KITTI数据集对生成对抗网络模型进行训练和测试,实验结果表明:与主要依赖于像素均值的方法相比,RB-GAN模型预测图像的分辨率提高了2～4倍,达到256像素×512像素,在图像锐度标准上提高了1～2个数量级,同时图像也更加符合人眼视觉的主观感受,所预测得到的路况视频帧图像质量更高,更具有实用性价值,可以更好地为诸如检测算法等其他下游算法提供有效的特征信息。