注意力机制下双模态交互融合的目标跟踪网络

针对当前目标跟踪难以适应低光照、运动模糊、目标快速移动等挑战,提出了空间通道注意力下的红外与可见光双模态交互融合跟踪网络.首先,红外图像与可见光图像通过backbone三层卷积提取分层特征,并降维至统一分辨率,之后级联三层特征形成各模态特征.其次,多模态特征通过所设计的空间通道自注意力模块和跨模态交互注意力模块使得模态...     

基于深浅层特征融合的舰船要害关键点检测算法

导引头对舰船要害部位的精确检测能力是精确制导武器的核心技术之一。针对导引头对舰船要害部位检测精度低、模型参数冗余、相对运动导致舰船图像尺度、角度变化剧烈等问题, 提出了基于深浅层特征融合的舰船要害关键点检测算法。首先，采用多尺度特征融合模块融合不同感受野的有效信息; 其次，利用SoftPool池化改善下采样导致的信息损失, 利于区分相似关键点; 然后，引入深度可分离卷积降低参数冗余, 结合轻量化注意力机制增强有效特征表达; 最后，利用在线难例挖掘改善样本不均衡, 提升收敛效果。改进后的舰船要害关键点检测算法准确率提升4.4%, 算法兼具检测精度与速度优势, 鲁棒性较好。     

基于深度特征融合的SAR图像与AIS信息关联方法

星载合成孔径雷达(synthetic aperture radar, SAR)和自动识别系统(automatic identification system, AIS)都可以获取到探测目标的相关信息，将两者获取的信息进行关联融合，有益于实现高效的海上侦察监视。由于数据之间存在的异构性，传统方法多依赖人工特征建立SAR图像与AIS信息的关联关系，但这些方法存在精度差、效率低等缺点。本文提出了一种基于深度特征融合的SAR图像与AIS信息关联方法，针对两种模态数据的特点分别设计了对应的特征学习网络获取单模态特征表示，进一步融合不同模态的特征信息以增强跨模态信息间的语义相关性，然后通过设计的关联学习目标函数进行跨模态特征之间关联学习。在构建的数据集上验证表明，所提方法关联精度高、适应性强，验证了所提数据集和方法的有效性。     

基于YOLOv5的舰船目标及关键部位检测算法

为进一步提升对可见光图像中水面舰船目标的检测识别成功率,提出一种基于YOLOv5的舰船目标识别算法。使用基于随机池化方法的空间金字塔池化网络,运用双向特征金字塔网络进行多尺度特征融合,采用指数线性单元函数作为激活函数加快网络训练收敛速度,提升算法鲁棒性,从而实现了对水面舰船目标和舰船关键部位的快速准确识别。通过在舰船目标及其关键部位数据集上实验验证,对比多个经典目标检测方法,在识别准确率上均有不同程度提升,对比原YOLOv5s模型,平均精度均值提升3.03%,速度提升2 FPS,模型保持了YOLOv5轻量化的特点,在应用部署上有良好前景。     

融合注意力机制的IETM细粒度跨模态检索算法

交互式电子手册是提高各类装备保障信息化、智能化的关键技术之一，针对其检索模态单一的问题，以其数据中图文描述为研究对象，提出一种融合注意力机制的细粒度跨模态检索算法。针对数据中图像简图较多、色彩单一等特点，特征提取模块使用Vision Transformer模型和Transformer编码器分别获得图文的全局和局部特征；使用注意力机制在图文模态间及模态内部挖掘细粒度信息，加入文本对抗训练增强模型泛化能力，采用跨模态联合损失函数对模型进行约束。在Pascal Sentence数据集和自建数据集上进行验证，所提方法的平均精度均值分别达到了0.964和0.959,较基准模型(深度监督跨模态检索)分别提升了0.248和0.214。     

基于多源遥感图像多级协同融合的舰船识别算法

针对极化合成孔径雷达(polarimetric synthetic aperture radar, PolSAR)图像存在斑点噪声严重、可视性差、直接影响目标识别精度的问题,提出一种基于多源遥感图像多级协同融合的舰船识别算法。通过采用多级协同融合方式,丰富图像的特征量,提高舰船识别精度。所提方法首先进行多源遥感数据的像素级融合,然后在上一步基础上进行特征级融合,最终得到新的目标特征。所提方法充分发挥了不同频段的PolSAR与多光谱图像的信息互补优势,不仅保留了多频段PolSAR对目标的极化散射特征,也保留了多光谱数据的空-谱信息。所提方法在可视性与检测精度上表现都较为出色,与传统的单一遥感数据相比,识别精度至少提高了5.12%。     

融合文本和表情符号特征的社交网络用户性别识别

为了提升社交网络用户性别识别的准确性,先将单用户的文本特征和表情符号特征进行融合识别用户性别,然后提取多用户的交互特征信息进一步提升性别识别的准确性。实验结果表明融合多用户交互特征后用户性别识别准确率提升了6.8%。说明表情符号和多用户交互特征对提升用户性别识别准确性有很大帮助,提高了社交网络用户性别信息识别的准确率。     

特征层双模态生物识别算法容侵能力评测方法

相较于单模态生物识别技术,多模态生物识别技术具有更优的适用性、安全性和可靠性,成为目前生物识别技术发展的趋势。在多模态生物识别4种融合层次中,特征层融合能够提取更多的区分性信息,消除特征的冗余,在理论〖JP2〗上可达到最佳识别效果。然而,特征层多模态生物识别算法的安全性很少被关注。目前,多模态生物识别技术的研究多集中在双模态生物识别算法上,引入入侵容忍概念,定义了容侵能力度量,提出了容侵能力评测方法,评价特征层双模态生物识别算法的容侵能力,并对典型特征层双模态生物识别算法的安全性进行了评测。     

基于掩模注意型交互的SAR舰船实例分割

现有合成孔径雷达(synthetic aperture radar, SAR)舰船实例分割方法未实现掩模交互或交互性能有限,导致检测精度较低。针对上述问题,提出了一种基于掩模注意型交互(mask attention interaction, MAI)的SAR舰船实例分割方法MAI-Net。首先,MAI-Net使用了膨胀空间金字塔池化,来获取多分辨率特征响应,增强了对背景的鉴别能力。其次,MAI-Net使用了非局部注意力模块来抑制低价值信息,实现了空间特征自注意。最后,MAI-Net提出了拼接混洗注意力模块来平衡不同特征图的贡献,进一步提高了实例分割精度。在公开的像素级多边形分割SAR舰船检测数据集(polygon segmentation SAR ship detection dataset, PSeg-SSDD)上的实验结果表明,MAI-Net的SAR舰船实例分割精度高于现有其他11种对比模型,实例分割精度达到61.1%,高于次优模型1.5%。     

基于超密集特征金字塔网络的SAR图像舰船检测

针对星载合成孔径雷达(synthetic aperture radar, SAR)图像舰船目标检测困难的问题,提出了一种基于超密集特征金字塔网络的检测算法。首先,利用残差神经网络提取原始图像特征,构建特征图。其次,跨尺度连接多个特征层获取超密集特征金字塔,建立多尺度的高层语义特征映射,增强特征传播和重用。然后，再利用区域建议网络提取每层金字塔的候选区域输入检测网络。最后,通过融合候选区域及其周边上下文信息,将检测网络注意力集中至海域以抑制虚警,并为分类器计算置信度和边框回归提供补充信息。多组仿真实验证明,所提网络框架设定合理且检测性能优越。     

基于中心点和语义信息的多方向遥感舰船检测

在高分辨率遥感影像解译中, 舰船目标的检测一直是研究热点。针对遥感影像中近岸舰船排列密集、方向各异以及背景复杂等问题, 本文提出一种基于旋转中心点网络和语义信息(rotated CenterNet using semantic information, RSI-CenterNet)的多方向遥感舰船目标检测方法。首先, 基于关键点检测网络, 在检测阶段添加目标角度回归分支, 以预测目标方向; 其次, 添加语义分割分支, 并将其输出的特征与检测部分的输入特征进行融合以强化目标区域的特征信息; 最后, 引入注意力模块, 以强化目标显著区域与通道的特征, 提升检测精度。实验结果表明, 与其他多种先进方法相比, 本文方法具有更高的检测精度与检测速度, 在高分辨率船舶数据集(High Resolution Ship Collections 2016, HRSC2016)上的平均精度达到88.31%, 检测速度达到17.8 FPS。     

基于超密集特征金字塔网络的SAR图像舰船检测

针对星载合成孔径雷达(synthetic aperture radar, SAR)图像舰船目标检测困难的问题,提出了一种基于超密集特征金字塔网络的检测算法。首先,利用残差神经网络提取原始图像特征,构建特征图。其次,跨尺度连接多个特征层获取超密集特征金字塔,建立多尺度的高层语义特征映射,增强特征传播和重用。然后,再利用区域建议网络提取每层金字塔的候选区域输入检测网络。最后,通过融合候选区域及其周边上下文信息,将检测网络注意力集中至海域以抑制虚警,并为分类器计算置信度和边框回归提供补充信息。多组仿真实验证明,所提网络框架设定合理且检测性能优越。     

改进YOLOv5的合成孔径雷达图像舰船目标检测方法

针对合成孔径雷达图像目标检测易受噪声和背景干扰影响，以及多尺度条件下检测性能下降的问题，在兼顾网络规模和检测精度的基础上，提出了一种改进的合成孔径雷达舰船目标检测算法。使用坐标注意力机制，在确保轻量化的同时抑制了噪声与干扰，以提高网络的特征提取能力；融入加权双向特征金字塔结构以实现多尺度特征融合，设计了一种新的预测框损失函数以改善检测精度，同时加快算法收敛，从而实现了对合成孔径雷达图像舰船目标的快速准确识别。实验验证表明，所提算法在合成孔径雷达舰船检测数据集(synthetic aperture radar ship detection dataset, SSDD)上的平均精度均值达到96.7%,相比于YOLOv5s提高1.9%,训练时收敛速度更快，且保持了网络轻量化的特点，在实际应用中具有良好前景。     

基于跨模块注意力的3D目标检测方法研究（英文）

针对三维目标检测任务中利用点云数据在提取和传输目标特征过程中发生的特征丢失问题，提出一种跨模块注意力目标检测方法。该方法结合通道注意力模块和空间注意力模块来增强关键特征信息。通过特征转换，将注意力模块不同阶段的特征连接起来，以减轻提取和传输过程中特征的损失。针对目标检测网络中不同尺度目标检测性能不足的问题，提出了一种跨尺度特征提取和融合方法。该方法通过采用多尺度特征提取和融合技术增强了网络获取多级特征的能力。实验结果表明：所提方法在保持33 Hz实时推理速度的同时获得了先进的性能。     

基于感知融合机制的渐进式去雾网络

智能辅助驾驶应用场景对图像去雾的准确性和实时性要求较高。提出了一种新颖的基于感知融合机制的渐进式去雾网络(progressive dehaze network, PD-Net),将降质图像恢复的任务分解为多阶段的子任务，通过轻量级的子网分块学习特征图的不同区域语义信息，以提升去雾效率。在此基础上，基于注意力机制和导向滤波设计跨阶段感知融合模块(perception fusion module, PFM),自适应感知各阶段提取的多尺度特征并进行融合，而不损失图像细节信息及边缘结构信息。实验结果表明，与现有主流的端对端去雾模型相比，所提出的算法在处理户外图像时具有更高的准确度和实时性，在公开的合成对象测试集(synthetic object testing set, SOTS)上的峰值信噪比(peak signal to noise ratio, PSNR)与现有最好结果相比提升了0.93 dB,处理单幅图像仅需72 ms,提出的网络模型有望应用于智能交通等现实领域。     

基于改进ResNet网络的复数SAR图像舰船目标识别方法

合成孔径雷达(synthetic aperture radar, SAR)采用微波相干成像, 因此SAR图像本质上是复数的。传统基于神经网络的SAR图像目标识别方法, 通常只处理SAR图像的幅度信息, 无法有效利用SAR图像特有的复数信息。本文面向SAR图像中的舰船目标识别应用, 从SAR图像的本质出发, 首先通过组合SAR图像的实部、虚部和幅度三通道信息, 隐式地提供了输入数据的复数信息表示; 然后在ResNet18网络及其结构基础上引入通道注意力机制, 使网络能自适应学习实部、虚部和幅度三通道之间包含的复数信息; 最后引入标签平滑正则化, 解决因复数数据集样本较少出现的过拟合现象。基于OpenSARShip数据集的实验结果表明, 所提方法可以较好利用SAR图像本身的复数信息, 在一定程度上提升了基于深度神经网络的舰船目标识别效果。     

基于YOLOv5的光学遥感图像舰船目标检测算法

针对YOLO(you only look once)v5算法在应用于光学遥感图像舰船目标检测任务时所面临的小目标误检率、漏检率较高的情况，提出一种基于YOLOv5改进的光学遥感图像舰船目标检测方法。首先对路径聚合网络结构进行改进，设计语义信息增强模块提取更富语义信息的浅层特征，增强对小目标特征的表达能力；然后使用Swish函数作为激活函数，提高网络对数据非线性特征的表征能力，加快模型的收敛速度；最后针对舰船目标的尺寸特点优化检测端结构，移除大目标检测头以减少推理计算量。测试集上的实验表明，该方法相较改进前将检测精度提高了5.2%且推理时间有所减少，在保证检测实时性的同时增强了模型的小目标辨别能力。     

多模态公文的结构知识抽取与组织研究

针对目前基于三元组知识构建的知识图谱结构逻辑性弱、难以形成知识体系的问题, 以公文应用背景为牵引, 提出多模态知识结构要素抽取模型, 构建多模态公文文档数据集GovDoc-CN, 在文本和图像两个模态对文档中包括各级标题、摘要、作者、成文时间、文档编号等在内的知识结构要素进行抽取。设计文档结构树模型对抽取的文档知识结构要素进行组织, 并构建结构化图网络实现文档的组织和管理。实验证明, 相较于单一模态的抽取模型, 多模态知识结构要素抽取模型取得了明显的效果提升, 文档结构树模型和基于文档结构树模型构建的结构化图网络为文档知识的组织与管理提供了一种新途径, 具有重要的应用价值。     

复杂背景下SAR图像近岸舰船目标检测

针对合成孔径雷达(synthetic aperture radar, SAR)图像近岸舰船目标易受背景杂波的影响, 造成SAR图像近岸舰船目标检测检测率低、虚警率和漏检率高的问题，提出一种适用于复杂背景下SAR图像近岸舰船目标检测的DFF-Yolov5(deformable feature fusion you only look once 5)算法。构建了一个专门用于SAR图像复杂背景近岸舰船目标检测的数据集, 基于Yolov5目标检测算法, 在特征提取网络中进行特征细化和多特征融合两个方面的改进。在特征提取网络中利用可变形卷积神经网络改变卷积对目标采样点的位置, 增强目标的特征提取能力, 提高复杂背景下SAR图像舰船目标的检测率。在多特征融合网络结构中采用级联和并列金字塔, 进行不同层级的特征融合。同时，使用空洞卷积扩大特征提取的视觉感受野, 增强网络对复杂背景近岸多尺度舰船目标的适应性, 降低复杂背景下SAR图像舰船目标检测的虚警率。通过在构建的复杂背景近岸舰船检测数据集上的测试实验, 结果表明: DFF-Yolov5的平均准确率为85.99%, 相比于原始的Yolov5, 所提方法平均准确率提高了5.09%, 精度提高了1.4%。     

基于感知向量的光学遥感图像舰船检测

针对光学遥感图像中近岸舰船目标检测干扰大、虚警率高的问题, 在基于包围框边缘感知向量(box boundary-aware vectors, BBAVectors)检测网络的基础上提出了改进方法。首先在特征融合网络后加入一个有监督的注意力模块来增强目标区域信息, 削弱无关背景信息干扰; 然后利用边界感知向量间的几何关系设计了一个自监督损失函数, 用以加强向量间的耦合关系, 防止向量独立性导致包围框出现不规则形状。实验结果显示, 在HRSC2016数据集L₂级检测任务中, 改进模型检测结果的平均精度相较于原网络提高了6.91%, 有效抑制了背景噪声的干扰, 降低了近岸舰船目标检测的虚警率, 证明了改进方法的有效性。