基于跨模态交叉注意力网络的多模态情感分析方法

挖掘不同模态内信息和模态间信息有助于提升多模态情感分析的性能,本文为此提出一种基于跨模态交叉注意力网络的多模态情感分析方法。首先,利用VGG-16网络将多模态数据映射到全局特征空间;同时,利用Swin Transformer网络将多模态数据映射到局部特征空间;其次,构造模态内自注意力和模态间交叉注意力特征;然后,设计一种跨模态交叉注意力融合模块实现不同模态内和模态间特征的深度融合,提升多模态特征表达的可靠性;最后,通过Softmax获得最终预测结果。在2个开源数据集CMU-MOSI和CMU-MSOEI上进行测试,本文模型在七分类任务上获得45.9%和54.1%的准确率,相比当前MCGMF模型,提升了0.66%和2.46%,综合性能提升显著。     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法。该方法首先使用改进的骨干网络（R-ResNet50）提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制（DANet）,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势互补,并使用联合交叉熵损失、难样本采样三元组损失和中心损失的多损失函数策略对网络模型进行训练。实验结果表明,本文所提方法在Market1501、DukeMTMC-ReID数据集上的首位命中率（Rank-1）和平均精度均值（mAP）分别达到了92.7%、80.4%和86.4%、71.0%,模型提取的特征更具有判别性,识别率更高。     

基于多视图和注意力推荐网络的三维物体识别方法

传统物体识别方法是从单一图像中通过人工提取图像特征,存在成本高、质量低等问题。针对上述问题,提出一种基于多视图和注意力推荐网络的三维物体识别方法,多视图很好地保留了物体在局部和全局上的特征;注意力模块可以有效地对视图上关键的特征聚焦,忽略无关或干扰特征。该方法利用一组多视图作为输入数据,通过卷积神经网络端到端提取物体特征,在卷积层加入注意力模块,实现视图关键区域的定位和剪裁,将处理后的视图送入另外一个卷积层,两个相同卷积操作提取的特征在池化层聚合,利用稀疏表示分类器对特征描述子进行分类识别。通过两个公开数据集的实验表明,所提算法对物体图像的识别准确度优于传统算法。     

基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于多模态融合的深度神经网络图像复原方法

针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次,通过通道注意力、监督注意力和非局部注意力,挖掘图像特征的尺度间相关性、特征间相关性;最后,通过设计多模态特征融合机制,将上述两类特征有效融合.在公开的水下图像测试集上进行测试并与当前主流方法进行对比的实验结果表明,该方法在峰值信噪比、结构相似性等定量对比以及颜色、细节等定性对比上都优于对比方法.     

从全局到局部：双注意力融合去雾网络

为了处理现有的基于卷积神经网络去雾方法只使用单一的注意力、很难生成细节生动的清晰图像,且容易导致色彩失真的问题,提出了一个全局与局部注意力融合的图像去雾方法,以获得正常清晰度和无色彩失真的去雾图像。首先利用通道注意力将输入的有雾图像在通道维度切分为两部分,一部分送入通道像素注意力通道抽取局部特征,另一部分送入Transformer通道学习全局特征,然后利用像素注意力对两个通道学习的特征进行融合,将上述模块作为基本单元组合为一个多级U型去雾网络,增加残差连接缓解上下采样导致的细节信息丢失,最后在网络底层加入一个Transformer模块学习全局信息。在多个公开可用的去雾图像数据集RESIDE SOTS Indoor、RESIDE SOTS Outdoor上测试所提方法的有效性,结果表明：对比经典的去雾方法,所提网络生成的图像细节更丰富并且色彩失真最少;在RESIDE SOTS Outdoor数据集上,相比经典的FFA-Net,峰值信噪比提高1.16 dB,相比GridDehazeNet,峰值信噪比提高3.68 dB。提出的全局与局部注意力融合方法能有效地去除雾霾,提升图像的对比度与清晰度...     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于LoFTR算法的图像拼接算法研究与实现

针对传统算法图像匹配准方法提取特征点不精确、鲁棒性低、低纹理下很难识别到特征点等问题。本文提出一种新的局部图像特征匹配方法,替代传统的顺序执行图像特征检测,描述和匹配的步骤。首先在原图像提取分辨率为1/8的粗略特征,然后平铺为一维向量,并为其添加位置编码,将组合结果输入到Transformers模块中的自注意力层和交叉注意力层,最后输入可微分匹配层后得到置信矩阵,为该矩阵设置阈值和相互最近标准,从而得到粗略的匹配预测。其次是在精细层次上细化良好的匹配,在建立精匹配之后,通过变换矩阵到统一的坐标下,实现图像重叠区域对齐,最后通过加权平局融合算法对图像进行融合,实现对图像的无缝拼接。本文使用Transformers中的自注意力层和交叉注意力层来获取图像的特征描述符。实验结果表明,在特征点提取方面,LoFTR算法比传统的SIFT算法,无论在低纹理区域还是纹理比较丰富的区域提取的都更精确,同时使用此方法得到的拼接效果比传统经典算法拼接的效果更好。     

基于多视角融合的医学图像分割方法研究

提出了一种基于变换器的多视角医学图像融合分割框架，通过采用一种发散融合的注意力模型来建模跨视图信息，充分挖掘语义之间的相互依赖，解决了不同视图之间的数据不对齐以及难以捕捉长距离相关性等关键问题。同时使用多尺度注意力机制来提取多尺度的全局特征。在Cardiac MRI数据集上分别评估了多疾病、多视角和多中心的右心室分割任务，验证了该方法具有更优的分割性能。     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。     

基于潜在特征重构和注意力机制的人脸图像修复

本研究针对现有图像修复方法不能有效地分离结构和纹理信息,修复结果往往会出现边界模糊、结构扭曲等伪影问题,提出了基于潜在特征重构和注意力机制的人脸图像修复方法。人脸图像修复方法分为两阶段,第一阶段,通过结构重建器网络提取样式向量,按照StyleGAN所述的原理分为粗尺度特征、中尺度特征和精细特征三组,插入到预先训练好的StyleGAN生成器中,产生初步的修复结果;第二阶段通过构建纹理生成网络并使用上下文注意力机制,注意力分数由注意力计算模块计算,注意力转移模块根据较高级别特征图和注意力分数来填充较低级别特征图中的对应缺失区域,以细化上一阶段初步的人脸修复结果。在CelebA-HQ数据集上的训练并进行测试,本文的方法在定量和定性分析两个方面均优于现有方法。因此,基于潜在特征重构和注意力机制的人脸图像修复方法能够有效地修复缺损人脸图像,大大减少了边界过度平滑和存在纹理伪影的问题。     

基于深度特征提取神经网络的滚动轴承故障诊断

滚动轴承作为旋转机械的重要组成部分,其运行安全性受到大量关注,但传统的基于信号处理的时频分析故障诊断方法较为依赖专家知识从而难以广泛应用。结合应用较广的卷积神经网络和长短时记忆网络模型的优点-自动提取振动信号的深层特征信息以及可识别所提取的长时连续的振动信号时序特征信息,提出一种深度特征提取神经网络模型,将原始的振动信号作为模型输入,进而通过多层卷积与长短时记忆网络对振动信号进行故障特征信息提取,可以有效提取滚动轴承振动信号中的深层时序故障特征信息,进而准确辨识滚动轴承不同的故障模式,并且避免了复杂的信号预处理与人工进行信号特征提取的过程。通过凯斯西储大学滚动轴承故障实验的10类健康状态数据验证了所提方法的有效性,并对实验结果进行分析,解释了在迭代过程中出现精度波动的可能原因。     

语音情感特征提取和识别的研究与实现

针对语音情感识别的实时性与可用性问题,提出了利用汉明窗提取语音信号中情感特征的方法,从说话者中采集带有快乐、愤怒、惊奇、悲伤情感的语句,并从语句中提取8个情感特征参数．同时提出采用贡献分析法确定情感特征参数的权值,利用加权欧氏距离模板匹配识别语音情感．实验表明该方法识别率有提高,更适合实时识别的应用。     

基于上下文感知和注意机制的多学习情绪识别方法

为提高人脸图像情绪识别效率与准确性,在探讨了深度神经网络、注意机制与损失函数基础上,提出基于上下文感知与注意机制的多学习情绪识别网络结构．该网络主要由场景特征提取、身体特征提取与融合决策3个子网络组成,并采用单双输出结构,实现多标签情绪分类与连续空间情绪回归任务．考虑到多标签情绪分类时标签的不平衡性,提出了一个改进的焦点损失（focal loss,FL）函数,可为小样本或难分类样本分配更多的权重,从而提高了网络训练效率．利用EMOTIC数据集进行仿真,结果表明平均绝对误差回归组合损失训练性能更优,分类平均准确率与回归平均误差率分别为28.5%和0.098,该方法对于小样本或难分类样本具有更好的分类效果．      

小波包-BP神经网络结合的热轧带钢缺陷识别

基于热轧带钢的表面往往存在着很多缺陷,目前的识别方法存在着误识率高的问题,提出一种基于小波包分解的提取图像特征的方法,将提取的图像的能量特征向量输入BP神经网络分类器,对麻点、夹杂和结疤3种缺陷进行识别,仿真结果表明这种方法有着较高的识别率,并具有稳健的抗噪性和良好的扩展性.     

基于小波矩特征的小波神经网络目标识别

提出一种具有尺度、平移与旋转不变性的目标识别方法.该方法首先提取目标图像的小波矩特征,然后与小波神经网相结合,构成一套目标识别系统.小波矩不变量不仅可以表示图像的全局特征,而且还能表示局部特征;而小波神经网络结合了小波分析和传统神经网络的优点,具有很强的学习能力和推广能力.因此基于小波矩的小波神经网络目标识别系统在进行目标识别时具有很大的优势.实验中使用该方法对4类飞机目标进行识别,实验结果证明其识别率高于其它的目标识别方法.     

基于局部特征和隐条件随机场的场景分类方法

针对复杂场景图像分类的难题,提出一种基于局部特征和隐条件随机场的场景分类方法.该方法将图像划分为一系列超像素区域,提取每个区域的局部特征组成观察图像的输入特征向量,并建立基于隐条件随机场的场景分类模型推断图像的场景类别标记,其中每个局部特征对应一个隐变量.训练采用随机梯度上升法估计模型参数.在标准的图像库上进行实验,结果表明,与同类方法相比,场景分类方法取得了更好的分类结果.     

基于图像特征的铜粗选过程病态工况识别

泡沫图像特征是指泡沫图像中与浮选性能相关的局部黑色水化区域大小,即局部光谱特征.针对这一局部光谱特征形状、大小无规则性,提出了一种基于多维主元分析的特征提取方法,并将提取的特征应用于铜浮选粗选过程病态工况识别.首先,描述了铜浮选粗选过程,分析了影响粗选过程的主要因素和黑色水化区域形成机理;然后,提出一种基于多维主元分析的图像局部光谱特征提取方法;最后,将基于多维主元分析的图像局部光谱特征提取算法应用于铜浮选粗选泡沫图像,并将所提取的图像特征用于铜粗选病态工况识别.工业现场数据验证了所提方法的有效性.