细粒度全局感知多聚焦图像融合网络

多聚焦图像融合是图像融合的一个重要分支，在显微成像等方面具有广泛的应用.针对多聚焦融合中存在的纹理细节不清晰、聚焦区域误判等问题，本文从空间及通道信息全局关注的角度出发，结合Swin Transformer中的移动窗口自注意力机制和深度可分离卷积设计了一个全局信息编码-解码网络，采用综合损失函数进行图像重构任务的无监督学习；从特征邻域信息重要性的角度出发，引入了改进的拉普拉斯能量和函数在特征域进行图像聚焦属性的判别，增强图像聚焦区域判别的细粒度效果.与7种经典图像融合算法比较，本文算法在定性和定量分析中均取得了先进的融合性能表现，对原始图像的聚焦区域信息具有更高的保真效果.     

宽型自注意力融合密集型残差网络的图像去雾

当前去雾算法无法很好解决不均匀雾霾图像去雾的问题，为此提出了一种宽型自注意力融合的条件生成对抗网络图像去雾算法.在算法中加入了宽型自注意力机制，使得算法可以为不同雾度区域特征自动分配不同权重；算法特征提取部分采用DenseNet融合自注意力网络架构，DenseNet网络在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，获取更多的上下文信息，更有效利用提取的特征；融合自注意力可以从编码器部分提取的特征中学习复杂的非线性，提高网络准确估计不同雾度的能力.算法采用Patch判别器，增强去雾图像的局部和全局一致性.实验结果证明，算法网络在NTIRE 2020、NTIRE 2021和O-Haze数据集上的定性比较，相比于其他先进算法得到更好的视觉效果；定量比较中，相较于所选择先进算法的最好成绩，峰值信噪比和结构相似性指数分别提高了0.4和0.02.     

结合迁移学习的真实图像去噪算法

为了能有效地去除真实图像的复杂噪声,提出了一种结合迁移学习的真实图像去噪算法。该算法采用了双编码器结构,迁移学习编码单元利用预先训练好的权值有效提取鲁棒特征,残差编码单元对当前数据处理,进一步补充了信息。解码单元通过特征融合模块对丰富的信息进行融合,随后经过残差注意力模块加强对图像细节信息的关注,从而更好地恢复图像。实验结果表明,该算法在DND、SIDD和RNI15真实噪声数据集上有很好的泛化能力,能够在有效去除噪声的同时更好地保留图像纹理和边缘信息,恢复图像视觉效果更好。     

结合对比学习与空间上下文的人脸活体检测

人脸活体检测是面部识别应用的先决条件.现有方法利用多种特征提升检测精度,针对特征优化的研究较少,一些能起有效区分作用的特征未被提取,提出结合空间上下文特征与对比学习的人脸活体检测(SAC),分两个阶段:① 对比学习得到高级语义特征,扩大活脸和攻击脸之间的特征差距.此外,提出两种定义样本的策略以增强特征的可辨性.② 上下文判别器:自我注意学习输入的极端贡献性空间上下文.两阶段用跳跃连接保持特征表示一致性,分别用特征相似度和交叉熵损失训练.在公开数据集SiW、CAISA FASD和Replay Attack上测试,SAC在SiW的3种测试协议下均取得了与先进算法可比较的结果,在CAISA FASD和Replay Attack的跨数据集测试结果分别提升4％、11％,表明SAC能够有效准确判别欺骗人脸.     

改进的DeepLabv3+同图复制篡改检测算法

为解决现有的篡改检测算法难以提取图像篡改边缘特征、篡改区域定位精度较低问题,提出一种改进的DeepLabv3+同图复制篡改检测算法。该算法在DeepLabv3+网络中引入双重注意力机制模块,用于捕捉上下文信息,以提高模型对篡改区域的适应性;采用残差细化模块对预测掩膜进一步优化,以增强模型对篡改边界的敏感性;使用一种新的混合损失函数用于模型训练,以利于模型在像素级和图像级中学习篡改图像与对应真实掩膜之间的映射关系。实验结果表明,改进的DeepLabv3+同图复制篡改检测算法,在COPYMOVE＿NIST和COPYMOVE＿COCO数据集上的3个评价指标均高于FCN、U-Net及DeepLabv3+算法,检测精度分别达到0.929和0.895,能够有效地提取图像篡改边缘特征,解决边缘像素漏检和误检问题。     

基于改进YOLOv4颈部优化网络的安全帽佩戴检测方法

针对安全帽佩戴检测时易受复杂背景干扰，解决YOLOv4网络检测速度慢、内存消耗大、计算复杂度高、对硬件性能要求较高等问题，引入改进YOLOv4算法优化安全帽佩戴检测方法。引入MobileNet网络轻量化YOLOv4、跨越模块特征融合，实现高层语义特征和低层语义特征有效融合。针对图像中小目标分辨率低，信息特征少，多尺度并存，导致在连续卷积过程中易丢失特征信息等问题，采用改进特征金字塔FPN和注意力机制等颈部优化策略聚焦目标信息，弱化安全帽检测时背景信息的干扰。仿真结果表明，基于改进的YOLOv4颈部优化网络安全帽佩戴检测算法在CPU平台下的检测速度为34.28 FPS，是基础YOLOv4网络的16倍，检测精度提升了4.21%，检测速度与检测精度达到平衡。     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

基于M-DCGAN的缺陷检测数据集增广方法

针对智能制造中表面缺陷检测数据集不足问题，提出基于M-DCGAN的数据集增广方法。首先，向判别器添加上采样模块，搭建类U-Net结构并提升判别器与生成器的网络深度；设计基于Canny边缘检测的缺陷位置二值化掩膜提取方法；定义图像掩膜依赖的损失函数，建立缺陷目标位置关注引导机制；插入谱归一化层和Dropout层以提高训练稳定性，保持生成图像数据多样性。带钢缺陷数据集实验结果表明，该模型生成图片质量高于DCGAN、WGAN-GP和InfoGAN。采用本文M-DCGAN算法增广训练数据，能够显著提升并超过传统增广算法在YOLOv5、SSD、Faster R-CNN、YOLOv3等八种经典方法中的缺陷检测精度，验证了本文算法的有效性。     

基于上下文信息的自适应场景分类算法

本文针对场景分类中存在的目标物以及之间的相互关系错综复杂,图像的拍摄角度、光照强度不同,造成的场景内容难以辨识等问题,提出了一种利用上下文关联信息进行自适应判别的分类算法。通过检测图像中目标物及其相互之间的上下文关系,利用该信息对图像的细节纹理特征进行增强,最后利用支持向量机(SVM)进行训练和测试,从而实现场景分类。在三个公共标准图像集上的测试实验结果表明,都具有较好的分类效果。     

基于全局注意力的多级特征融合目标检测算法

针对小目标物体检测精度差的问题,同时不以牺牲速度为代价,本文提出了一种基于全局注意力的多级特征融合目标检测算法。算法首先由卷积神经网络生成多尺度的特征图,然后采用多级特征融合的方法,将浅层和深层特征图的语义信息相结合,提高特征图的表达能力,接着引入全局注意力模块,对特征图上下文信息进行建模,并捕获通道之间的依赖关系来选择性地增强重要的通道特征。此外,在多任务损失函数的基础上增加一项额外的惩罚项来平衡正负样本。最后经过分类回归、迭代训练和过滤重复边框得到最终检测模型。对所提算法在PASCAL VOC数据集上进行了训练和测试,结果表明该算法能有效地提升小目标物体检测效果,并较好地平衡了检测精度与速度之间的关系。     

基于多尺度特征图像分割的车道线提取方法

识别与检测车道线作为自动驾驶感知周围环境的一环，为自主车辆在众多复杂场景中提供交通数据信息参考.为了提取车道线本身含有的交通语义信息，按照实际含义分为不同类别，提出一种多尺度分辨率特征的图像分割方法提取车道线，生成低分辨特征，同时保持高分辨尺度子网.针对卷积神经网络无法充分探索空间信息的局限，引入全自注意力网络结构改进下采样解码部分，将特征图通过嵌入向量映射完成线性采样，再经由全自注意力网络结构提取空间上下文语义信息，最后对图像进行降采样完成最终的下采样过程.利用滑窗多头注意力机制，解决嵌入向量映射层因划分造成边界上下文语义信息的不连续问题.针对改进的模型采用交并比损失函数进行优化，能够在保持精度的情况下正确识别相应类别，交并比和F1系数分别达到49.36%和63.02%.经实际测试，在遮挡、阴影等复杂场景下的车道线识别也能更加准确，具有更好的鲁棒性.     

跨度语义增强的命名实体识别方法

针对命名实体识别方法存在字与字之间语义信息丢失、模型召回率不佳等问题,提出了一种跨度语义信息增强的命名实体识别方法。首先,使用ALBERT预训练语言模型提取文本中包含上下文信息的字符向量,并使用GloVe模型生成字符向量;其次,将两种向量进行拼接作为模型输入向量,对输入向量进行枚举拼接形成跨度信息矩阵;然后,使用多维循环神经网络和注意力网络对跨度信息矩阵进行运算,增强跨度之间的语义联系;最后,将跨度信息增强后的矩阵进行跨度分类以识别命名实体。实验表明：与传统的跨度方法相比该方法能够有效增强跨度之间的语义依赖特征,从而提升命名实体识别的召回率;该方法在ACE2005英文数据集上比传统的方法召回率提高了0.42%,并且取得了最高的F₁值。     

改进的SSD-ResNet算法

单次多边界框检测器(single shot multibox detector, SSD)算法因其性能优良已被应用于许多场景中，但该算法对小目标物体的检测精度偏低，主要原因是高层的语义信息没有被充分利用。为解决该问题，文章将其基础网络替换为残差网络(residual network, ResNet),同时融合深浅层的特征信息来增强浅层特征图的语义信息，此外还引入注意力模块，保留更多的目标特征信息，抑制无关信息，进一步提升对小目标物体的检测效果。在PASCAL VOC2007数据集上进行实验测试，平均精度均值为80.2%,优于其他SSD改进算法。由于增加了特征融合和注意力模块，所提算法检测速度有所下降，但相比于SSD改进算法，检测速度仍有明显的优势。     

基于改进k-means聚类算法的车轮踏面损伤检测研究

为提高列车车轮踏面检测效率,设计了一套基于机器视觉的车轮踏面动态检测系统,分析了k-means聚类算法,通过加权欧式距离对该算法进行改进,利用聚类法具有保持最大相似性的特性,将基于加权欧式距离的k-means聚类算法用于机器视觉的图像处理。先对原始图像作图像增强、图像灰度化等预处理,再以特征聚类思想对图像作阈值分割,使图像中的各部分特征更加突出。图像处理结果显示,基于加权欧式距离k-means聚类算法的车轮踏面损伤视觉检测系统可以有效地检测出踏面损伤。     

水面图像目标检测的强语义特征提取结构

针对船舶航行场景多样、船载视觉传感器获取的实海域水面图像信息复杂、难以提取目标的有效特征等问题,提出了一种用于水面图像目标检测的强语义特征提取结构.首先,在骨干网络中使用可变卷积,使卷积采样点具有平移量,适应目标的几何变换,拥有自适应感受野;然后,在特征金字塔中使用基于语义信息的特征重组,通过全局语义信息自适应聚合特定目标信息,输出强语义特征图,提高后续目标检测精度.实海域水面图像目标检测试验表明:所提出的特征提取结构在提高目标检测任务的精度上优势明显,提升幅度约为10%,并且未大幅增加目标检测算法的推理时间,能满足工程应用的要求.     

实海域实时小尺度目标检测算法

针对实海域可见光图像中海天线附近的远距离小目标特征少、检测精度低的问题,设计了一种基于YOLOv5的实海域实时目标检测算法．首先,通过在网络结构中设置双向特征融合结构,结合高层特征图的强语义信息和低层特征图的定位信息,提高了小目标的检测精度;其次,引入双通道注意力机制,并改进权重分配函数,提高了小目标的检测召回率;然后,通过新增极小目标检测层,增加对小目标物体的检测精度;最后,通过实海域数据集对算法进行验证,证明了算法对小尺度目标检测精度提升明显,同时保持了良好的实时性．     

融合上下文信息和注意力的遥感小目标检测

针对Faster-RCNN算法在遥感图像当中对小目标的漏检、检测精度不高等问题作出改进.用特征提取能力更强的ResNet50网络替换VGG16;同时为了加强对遥感小目标信息的提取,引入特征金字塔,添加多尺度扩张卷积模块来增强特征金字塔的上下文特征,扩充小目标信息,使用通道注意力机制来减少特征融合过程中带来的信息混淆,提高模型对遥感小目标的检测效果.实验表明,所改进的方法在HRRSD遥感数据集达到86.7%的检测精度,较改进前提升了5.2%,同时检测效果也优于当前的一些主流检测模型,证明了改进后模型的有效性.     

强化文本关联语义和多特征提取的重复缺陷报告检测模型

针对重复缺陷报告检测研究中存在语义长距离依赖以及缺陷报告特征的单一性问题,提出一种强化文本关联语义和多特征提取的重复缺陷报告检测模型。引入自注意力机制捕获缺陷报告文本序列内部的语义关联性,从而动态计算上下文语义向量进行语义分析,解决长距离依赖问题;利用隐含狄利克雷分布算法捕获缺陷报告文本的主题特征,同时针对缺陷报告的类别信息,构建一种特征提取网络计算类别差异特征;最后基于3类特征向量进行综合检测。实验结果表明,该模型实现了更优的检测性能。     

基于注意力胶囊网络的合成孔径雷达图像分类模型研究

特征提取是合成孔径雷达(synthetic aperture radar, SAR)图像自动识别与分类中的重要环节。由于SAR图像有相干斑噪声及几何畸变等特性,一般网络模型难以提取到有判别性的特征。为增强特征提取能力,提高分类准确率,提出将注意力机制与胶囊网络结合的一种注意力胶囊网络模型。注意力机制可聚焦寻找具有重要局部信息的特征,在图像识别过程中抑制干扰特征,定位重要特征。胶囊网络可捕捉图像中目标的位置与空间关系,使提取到的SAR图像特征含有更多便于分类的重要信息。结果表明：文中方法对SAR图像分类数据集中运动和静止目标的获取与识别(moving and stationary target acquisition and recognition, MSTAR)有显著效果。     

基于自监督学习的文本行人检索

基于文本的行人检索任务旨在以文本为查询在大规模数据库中检索出目标行人的图像，在处理社会公共安全问题中具有较高的实用价值．不同于常规的跨模态检索任务，该任务中所有的类别都是行人，不同行人之间的外观差异较小，难以辨别；此外由于拍摄条件的限制图像质量通常较差，因此如何有效地提取更鲁棒、更具有判别性的视觉特征是该任务的一项重要挑战．为了应对这一挑战，设计了一种基于自监督学习的文本行人检索算法，以多任务学习的形式将自监督学习与基于文本的行人检索任务相结合，对两种任务同时进行训练，共享模型参数．其中，自监督任务作为辅助任务，旨在为行人检索任务学习到更鲁棒、更具有判别性的视觉特征．具体来说，首先提取视觉和文本特征，并以图像修复作为自监督任务，旨在学习更丰富的语义信息，且对遮挡数据具有更好的鲁棒性；基于行人图像的特殊性，进一步设计了一种镜像翻转预测任务，通过训练网络预测图像是否经过了镜像翻转学习具有判别性的细节信息，以帮助行人检索任务更好地区分难分样本．在公开数据集上进行的大量实验证明了该算法的先进性和有效性，将行人检索的Top-1准确率提升了2.77%，并且实验结果显示两种自监督任务存在一定的互补性...