基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测

针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与四个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。     

基于联合注意力-可分离卷积的立体匹配算法

为解决立体匹配网络模型轻量化与高精度不能共存的问题，本文提出新的立体匹配算法CSA-Net。算法具体是在特征提取阶段，利用类ResNet进行特征提取，训练空洞金字塔池化（ASPP）模块扩大感受野，提取多尺度上下文信息，加入联合注意力机制（CSM），在空间和通道维度提高表征能力，关注重要特征并抑制不必要的特征。在特征融合阶段，将2D深度可分离卷积提升到3D来代替原网络中标准3D卷积在空间维度和通道维度分别进行卷积运算，以降低特征融合网络的参数量与模型运行时间。最终实验表明，本文所提出的立体匹配网络模型在KITTI 2012和2015数据集进行验证，在三像素匹配误差率为1.44%和2.24%，模型运行时间减少近1/3。因此，相比于其他实现了更高的匹配精度和更快的运行速度。     

多尺度时空信息融合驱动的图神经网络故障诊断方法

行星齿轮箱作为机械系统中常见的减速装置,由于长期在强噪声环境和变工况工作条件下运行,导致采集到的振动信号故障特征微弱、信号模式多变难以识别,针对行星齿轮箱故障诊断效果不佳,泛化能力差的问题,提出一种多尺度时空信息融合驱动的图神经网络故障诊断方法来提高故障诊断模型准确率和泛化能力。该方法首先构建多尺度卷积核对原始时序信号进行不同尺度特征提取,削弱强噪声信号对有效信息的掩盖作用并增强故障特征的表达能力;然后再构造通道注意力机制,根据通道特征重要程度,给不同尺度卷积核提取的特征自适应分配不同权重,对含有关键故障特征的信息片段进行特征强化;最后对卷积输出的多尺度特征,构造空域下的图数据并通过图卷积网络聚合多尺度特征,从而有效利用数据的时序多维信息和空域结构关联信息,实现多尺度下时空域故障信息的深度融合,提高诊断的准确精度和模型的泛化性能。通过利用具有行星齿轮箱结构的风电装备故障数据集对所提方法进行验证,并与其他深度学习方法（第一层宽卷积核深度卷积神经网（WDCNN）、长短时记忆网络（LSTM）、残差网络（ResNet）、多尺度卷积神经网络（MSCNN））进行比较,结果表明：本研究提出的方法在跨...     

基于注意力机制的人像分割方法

注意力机制能够挖掘与任务密切相关的重要信息并抑制非重要信息，在语义分割的深层特征表示中发挥着越来越重要的作用。本研究基于广泛应用的U-Net模型，提出了一种基于注意力机制的神经网络模型，针对边缘分割模糊的问题，将U-Net的压缩路径和扩展路径中的双卷积替换为卷积核选择模块，该模块允许网络的每一层根据输入信息进行自适应调整接受野的大小；另外，针对人像分割网络存在不同尺度的全局上下文信息被忽略的问题，采用多尺度预测融合的方法来利用不同尺度的全局信息，并采用双注意力模块汇总空间和通道两方面的注意力信息。大量实验表明，本文中方法的性能与U-Net、UNet++和Attention U-Net等网络相当或更好。     

基于多尺度深度卷积特征的图像检索

为了检索图像中不同位置和不同大小的感兴趣目标,提出一种基于多尺度深度卷积特征的图像检索方法.首先利用卷积神经网络构造一个深度学习框架,利用随机梯度下降和后向传播算法训练深度学习模型;其次利用训练得到的模型提取图像在不同尺度下的卷积特征,对不同尺度下的卷积特征进行PCA降维,研究降维后的检索性能;最后为了提高深度特征对图像的刻画能力,对不同尺度下降维后的卷积特征进行特征融合.大量的实验表明本文所提算法对图像检索是有效的.     

改进卷积神经网络在腺癌病理图像分类中的应用

针对传统卷积神经网络(CNN)稀疏的网络结构无法保留全连接网络密集计算的高效性和在实验过程中卷积特征利用率低造成的分类结果不准确或收敛速度较慢的问题,提出了一种基于CNN的多尺度方法结合反卷积网络的特征提取算法(MSDCNN)并对腺癌病理图像进行分类。首先,利用反卷积操作实现不同尺度特征的融合,然后利用Inception结构不同尺度卷积核提取多尺度特征,最后通过Softmax方法对图像进行分类。在腺癌病理细胞图像进行的分类实验结果表明,在最后的卷积特征尺度相同的情况下,MSDCNN算法比传统的CNN算法分类精度提高了约14%,比同样基于多尺度特征的融合网络模型方法分类精度提高了约1.2%。     

结合二阶注意力机制的多尺度人体姿态估计

为解决人体姿态估计任务中存在的不同视角下人体实例尺度变化、遮挡问题导致的人体关键点定位不准确问题，提出融入二阶注意力机制的多尺度人体姿态估计网络模型（GOS-HRNet）。首先，在特征提取阶段为了获得高质量的特征图，通过在多分辨率网络结构中使用Octave卷积，保留更多的图像空间特征信息以提高关键点定位准确率；然后，为有效的利用图像上下文信息，融入二阶注意力模块Gsop使网络能更好的学习各分辨率表征的空间信息；最后，为了应对尺度变换对关键点定位的影响采用尺度增强训练方法，提高模型对尺度变化的鲁棒性。本文提出模型在MS COCO 2017数据集上进行实验，结果表明：提出的GOS-HRNet模型平均检测精度比HRNet模型提升了2.2%，能够更加准确的利用上下文信息、丰富空间特征信息以提高对关键点定位的准确性。     

基于多模态融合的深度神经网络图像复原方法

针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次,通过通道注意力、监督注意力和非局部注意力,挖掘图像特征的尺度间相关性、特征间相关性;最后,通过设计多模态特征融合机制,将上述两类特征有效融合.在公开的水下图像测试集上进行测试并与当前主流方法进行对比的实验结果表明,该方法在峰值信噪比、结构相似性等定量对比以及颜色、细节等定性对比上都优于对比方法.     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.