基于多层次概念格的图像场景语义分类方法

现有理论与方法在处理图像场景语义分类时,由于缺少对图像语义关系的深入挖掘,过分依赖视觉词典数量等原因,导致场景分类精度不高.本文提出一种基于多层次概念格的图像场景语义分类方法,将特征集转换成图像视觉形式背景,利用概念格的层次分类模型,通过层次映射关系,分别构建图像与视觉词集属性概念格,在此基础上通过动态调整阈值参数,获取分类精度概念外延阈值,得到具有较高分类精度的场景语义视觉模型.实验结果表明,该模型在精确度指标上有所提高,文中方法切实有效.     

一种新的基于频繁加权概念格的视觉单词生成方法

传统的视觉单词仅通过无监督聚类方法生成,标注的精度和效率较低。加权概念格是一种有效的层次数据分析工具,本文采用加权概念格对视觉单词进行分析与约简,提出了一种新的视觉单词生成方法。首先生成训练图像视觉词包的形式背景,并通过信息熵获取视觉单词的权值;其次针对各语义类别,根据用户所设定的内涵重要性阈值,构造出视觉词包模型频繁加权概念格;然后依据外延数阈值,提取对分类贡献大的描述图像语义的约简视觉单词,进一步提高了标注的精度和效率;最后通过实验验证了该方法是有效的和可行的。     

融合FEB的YOLOX遥感图像目标检测算法

针对遥感图像的复杂背景干扰大、目标尺度变化大以及小目标检测困难等导致检测精度降低的问题,提出一种增强YOLOX主干网络输出特征提取能力的检测算法。通过加入连续膨胀残差卷积和注意力机制,设计一种全新的提取主干网络输出特征增强块(feature enhance block,FEB),让连续膨胀残差卷积串联4个具有不同膨胀率的膨胀残差卷积,扩大算法的感受野,丰富上下文信息,同时减轻背景对检测的影响,有效加强算法对目标尺度变化大及小目标的检测能力,使用SA注意力机制抑制背景对算法检测的干扰,提高算法的检测精度。在RSOD数据集上的实验表明,FEB相较于其他同类型模块具有更好的特征提取能力。     

基于深度残差收缩网络的校园垃圾图像分类

针对现实生活中垃圾分类知识普及不够,许多城市和学校都面临着垃圾分类困难的问题,利用神经网络对分类问题的高效性和准确性,通过一种基于ResNet网络和SENet网络的深度残差收缩网络实现垃圾图像分类。通过对Garbage数据集进行筛选得到实验所需数据集,并对ResNet进行改进,将SENet和软阈值化操作加入ResNet结构中。实验结果表明,该方法通过网络训练和超参数调整,得到了较好的识别率,在校园垃圾分类中获得了较好的识别效果,具有一定可行性。     

一种循环多尺度的图像盲去模糊网络

针对当前单图像盲去模糊算法处理的图像存在纹理模糊、 图像质量欠佳的问题, 提出一种嵌入注意力机制的图像盲去模糊网络. 该网络首先采用多尺度循环架构, 通过不同分辨率的图像在网络内部循环处理实现多尺度, 由粗到精复原图像; 然后在网络内部嵌入残差通道选择模块和跨层长连接对特征进行强化提取, 并设计多尺度结构损失函数进行训练优化; 最后在两个使用广泛的数据集GoPro和Kohler上与经典去模糊网络进行对比, 并在数据集Lai上进行视觉直观对比. 实验结果表明, 该网络在视觉上取得了较好的图像盲去模糊效果, 与其他算法相比在峰值信噪比和结构相似性上有提升, 可改善去模糊图像质量欠佳的问题.     

基于三通道注意力网络的番茄叶部病害识别

对番茄病害进行识别,近年来一直是植物病害预防的研究热点。由于受到复杂背景干扰,番茄叶部病害识别准确率不高,针对这一问题,提出一种基于三通道注意力机制网络的番茄叶部病害识别方法。该网络基于ResNeXt50残差网络,将注意力模块嵌入至残差网络的ResNeXt模块中可以并行提取目标的通道特征和空间特征,获取有效的语义信息。训练阶段通过设计双损失函数和数据增强进一步提升分类准确度,并通过迁移学习网络预训练参数的方式提高网络训练效率。实验结果表明,使用双损失函数和数据增强后,基于三通道注意力网络的番茄病害识别算法在测试集上的平均识别准确率达98.4%,相比于传统机器学习方法和其他神经网络方法的准确率更高,检测速度满足实时性,Kappa系数为0.96,满足叶部病害识别的高精度要求。该方法能够有效地对10种番茄叶部病害进行识别,为植物病害识别提供了一种新的思路。     

浅谈图像集在视觉概念检测中的应用

视觉概念检测技术是一种对图像进行检测、管理及分类的有效方法,而检测算法需要有高质量的图像集作为训练集来测试算法的可行性及精确性。本文介绍了理想的图像集应具备的特性及常用的图像集,为视觉概念检测的研究提供有价值的参考。     

基于层次注意力机制的垃圾用户检测模型

目前基于网络的垃圾用户检测方法只考虑了简单社会关系,缺乏对更多复杂社会语义关系的利用,难以达到最优性能.针对这一挑战,提出一种基于层次注意力机制的垃圾用户检测模型(HAM-SD).模型首先使用异质信息网络对社交媒体进行建模,挖掘丰富的语义与结构信息,接着利用节点级注意力层聚合元路径邻居增强节点表示,同时利用自适应层级聚合模块选择不同层级特征提升表征能力,然后通过语义级注意力层融合不同元路径下的节点表示,最后带入分类检测模块实现垃圾用户检测.在公开数据集上的实验结果表明该模型能够有效检测垃圾用户,并在不平衡数据分布时保持较强的稳定性.     

一种轻量级网络模型的多尺度热红外行人检测方法

现有热红外行人检测算法存在网络参数众多、计算量大和小目标检测效果不佳的问题,针对这些问题,提出了一种轻量级行人目标检测算法。首先,该算法利用轻量级网络Resnext50作为骨干网络,实现检测网络的参数削减以及初始特征提取。其次,在模型中引入特征金字塔模块实现多尺度语义信息融合,并结合多尺度训练策略有效地提高了多尺度目标的检测效果。最后,在数据预处理部分引入图像原色填充策略,该策略有效地防止图像变换尺寸过程中出现的目标失真情况。在自建数据集和公开数据集上实验结果表明,此方法在速度和精度上均取得较好的性能,在自建数据集上mAP达到94.49%,比原SSD高出0.53%,而参数量少了近39%。     

基于multi-FPN的遥感目标检测方法

遥感图像的目标检测一直是计算机视觉领域中重要的任务之一,遥感图像中的目标大多具有尺度多样、排布密集、背景复杂等特点,给特征提取带来了很大的困难,进而影响检测的性能。为了解决此问题,本文提出了一种基于多重特征金字塔网络(multi-FPN)的遥感图像目标检测方法,该方法采用残差网络作为主干网络,在特征金字塔网络(FPN)的基础上加入跨层连接结构,改变上采样金字塔的输出层级,进一步地增强了特征的传播和重用;同时,采用双线性插值法替代原本的最邻近插值法,使得特征上采样效果更好。通过实验表明,该方法检测性能良好,在公开遥感图像数据集NWPU VHR-10上平均检测精度达到91.92%。     

基于多尺寸特征叠加的SAR舰船目标检测方法

针对SAR图像中舰船目标的检测问题,单纯基于深度学习的图像处理技术难以达到检测准确性和实时性要求.SAR图像中目标尺寸较小,且易受噪声、光斑干扰,传统方法难以提取精细特征并克服复杂条件下的背景干扰.针对以上问题,设计基于YOLOv3检测框架的端到端检测模型,借鉴了残差模块结构来避免网络退化问题.同时结合深层与浅层的不同尺寸特征图检测,使用目标基础特征提取网络参数来避免重复训练初始化过程.针对SAR图像中海上舰船成像小目标的特点改进优化了神经网络结构,实现SAR海面广域舰船目标识别分类算法,并对检测模型进行轻量化压缩处理.构建SAR图像舰船目标数据集并进行了多次目标检测识别分类实验,体现了提出的检测方法在复杂场景下有可靠的抗干扰能力和准确的目标检测识别性能.     

结合语义概念和双流特征模型的复杂事件检测

针对已有复杂视频事件检测方法未能有效利用语义概念信息的问题,提出了结合语义概念和双流特征模型的复杂事件检测方法.该方法采用动作检测器和对象概念检测器,得到动态概念和静态概念.提出针对任务的优选概念子集生成方法,并以此构建基于优选概念子集的视频事件检测器.同时构建光流图像和空间流序列的双流特征卷积神经网络模型加LSTM的事件分析表达模型,进而将两流事件分析结果进行融合分类检测.最后将基于语义概念的事件分类分析结果和基于双流模型的事件分类分析结果进行决策融合,最终检测出复杂事件.在典型的复杂事件数据集上将所提算法与相关算法进行了对比试验.结果表明,所提的方法有了实质性的改进,准确率达到了81.1%,相比于最优算法提高了5.7%.     

基于深度学习的纹理图像语义识别

传统的纹理图像识别方法主要对底层的视觉特征进行检测,从而导致对高层语义特征的识别能力不足.为了解决上述问题,提出一种基于深度学习的纹理图像语义特征识别方法.该方法首先把在ImageNet数据集上预先训练的模型作为骨干网络构建模型,然后对输入的纹理图像进行数据增强和预处理,并输入模型进行训练和验证,最后利用训练获得的最佳...     

基于RetinaNet深度学习模型的火焰检测研究

鉴于卷积神经网络能够自动学习和获取图像特征,提出一种基于RetinaNet模型的火焰检测算法.首先RetinaNet在残差网络之上使用特征金字塔网络作为骨干网计算和生成丰富的卷积特征金字塔,然后通过分类子网络和边框预测子网络分别对骨干网的输出进行分类和回归,通过调整训练策略和参数,最后在自建数据集上使用该算法得到的火焰检测模型实现了实时的端到端火焰识别与定位,对复杂目标背景下的小火点检测也保持较高的检测准确率,对火灾初期的检测预警有一定的实用意义.     

基于语义相关区域搜索的图像标注（英文）

探讨了如何有效地利用互联网上大规模的图像和文本信息以数据驱动的方式来实现图像的自动标注,并提出了一种基于语义相关区域搜索的图像自动标注框架.该框架首先利用人工建立的视觉和文本知识库Image-Net来训练一组弱分类器;然后将学习好的弱分类器作用于分割后的图像区域块生成Region-level的语义特征表示用以在大规模的图像数据库中进行相关图像区域的搜索,最后从搜索结果的文本描述中通过聚类挖掘的方式产生最终的图像标注结果.对比于image-level的底层特征表示,基于分类学习的区域模块具有更强的语义表达能力和更好的鲁棒性,更容易抓住图像本身包含的多个目标的多重语义;从而使得该框架兼具了大规模数据驱动和传统基于分类算法的优点.大量web图像和公认的测试数据集上进行的实验结果证明了本文提出框架的有效性.     

一种基于深度学习的实时视频图像背景替换方法

针对视频会话业务的实时性需求,提出一种轻量级深度学习网络模型实现视频图像的实时背景替换功能.网络模型包含语义分割和背景替换两个模块.语义分割模块整体架构采用编解码结构,编码端使用编码器模块、空洞卷积金字塔池化模块、注意力模块以及增益模块提取特征;解码端使用解码器模块、调整模块以及编码器模块恢复图像,再传入背景替换模块完成背景替换.该网络模型在本文设定的数据集训练后分割精确度达到94.1%,分割速度达到42.5帧/s,在实时性和准确性上达到较好的平衡,具有很好的实用效果.     

改进残差神经网络在遥感图像分类中的应用

针对传统卷积神经网络随着深度加深而导致网络退化以及计算量大等问题,提出一种改进残差神经网络的遥感图像场景分类方法。该方法以残差网络ResNet50作为主框架,在残差结构中引入深度可分离卷积和分组卷积,减少了网络的参数量和计算量,加快模型收敛的同时也提升了分类精度。此外在网络中嵌入多尺度SE block模块对通道特征进行重校准,提取出更加重要的特征信息,进一步提升了网络的分类性能。在AID和UCMerced_Land Use两个公开数据集上的分类精度分别为91.92%和93.52%,相比常规残差网络分类精度分别提高了3.38%和10.24%,证明所提方法在遥感图像场景分类任务中的可行性和有效性。     

基于空间变换双线性网络的细粒度鱼类图像分类

有效地识别水下各种鱼类目标具有重要的实际意义和理论价值.鱼类生存环境复杂,由于海洋的极端条件,水下鱼类图像的分辨率低,且图像类间相似度高、类内差异性大,并受光照、角度、姿态等的影响较大,这些因素使得鱼类识别成为一项具有挑战的任务.针对这些难点,提出了一个能够有效进行细粒度鱼类图像分类的深度学习模型.该模型包含空间变换网络和双线性网络两部分,首先利用空间变换网络作为注意力机制,去除图像背景中复杂的干扰信息,选择图像中感兴趣的目标区域,简化后续分类;双线性网络通过融合两个深度网络的特征图提取图像的双线性特征,使得对目标中具有判别性的特定位置有较强的响应,从而识别种类,该模型可以进行端到端的训练.在公开的F4K数据集上,该模型取得了最好的性能,识别正确率为99.36%,较现有最好算法DeepFish提高0.56%,此外,发布了一个包含100类共6 358张图片的新的鱼类图像数据集Fish100,该模型在Fish100数据集上的识别正确率高出BCNN算法0.98%.多个数据集上的实验验证了模型的有效性与先进性.     

基于3D注意力的MobileNet图像分类算法改进

针对MobileNetV2网络在图像分类任务中特征表达不足的问题，提出一种结合注意力机制对MobileNet网络的改进策略。利用一种新颖的高效且无参的注意力模块，同时结合I-block模块来替换MobileNet网络中的倒残差模块，采用RReLU激活函数替代原ReLU激活函数保留更多特征，结合inception结构进行多尺度特征提取与融合，使其可以提供更强的多尺度特征表达并服务于图像分类任务，使用数据扩增技术，生成更多样本。与6种方法进行对比，实验结果表明，采用3D注意力机制的网络在数据集CIFAR-10、CIFAR-100上以最少的网络参数分别取得94.09%和75.35%的最高精度，表明该改进方法可以有效地进行快速图像分类。     

基于两层迁移卷积神经网络的抽象图像情感识别

为弥合抽象图像底层视觉特征与高层情感语义间的鸿沟,同时缓解抽象图像情感识别所固有的小样本缺陷,将两层迁移学习策略引入传统的卷积神经网络,提出一种基于两层迁移卷积神经网络的抽象图像情感识别模型.该模型利用深度特征的层次性,首先通过大规模通用图像数据集来学习提取普适的底层图像特征;然后利用抽象图像风格分类数据集来学习提取抽象图像的专有高层语义特征;最后采用抽象图像情感识别数据集来微调整个网络.MART数据集上的实验结果表明,与传统的抽象图像情感识别方法相比,所提出的模型能够有效地提高识别精度.