基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法

随着深度学习的快速发展,利用目标检测算法对航拍绝缘子图像进行缺陷检测成为绝缘子巡检的主要方式.针对传统目标检测算法对小目标的检测精度较低、特征图的表征能力较弱和提取的关键信息较少的问题,提出以YOLOv5l为基础网络的改进的基于注意力机制和多尺度特征融合的绝缘子缺陷检测方法 AMF-YOLOv5l(Attention Mechanism and Multi-Scale Feature Fusion Based on YOLOv5l).首先,通过增加一个小目标检测头,提高模型对小目标的检测性能;然后,构造DSPP(Dilated Spatial Pyramid Pooling)模块,充分融合多尺度特征,增强特征图的表征能力;最后,引入CA(Coordinate Attention)注意力机制,使网络更加专注于关键信息.在航拍绝缘子数据集APID(Aerial Photographic Insulator Dataset)以及两个公共数据集PASCAL VOC和MS COCO上分别验证该方法的可行性.实验结果表明,在APID数据集中该方法的AP(Average Precision)比YOL...     

基于注意力机制与多尺度特征融合的行人重识别方法

针对行人重识别中因遮挡、姿态变化使模型特征无法充分表达行人信息的问题,提出了基于注意力机制与多尺度特征融合的行人重识别方法.首先使用改进的骨干网络R-ResNet50提取图像特征;其次,抽取网络不同尺度的特征层嵌入注意力机制DANet,使模型更关注于重点信息;最后,对提取出的关键特征进行多尺度特征融合,实现特征间的优势...     

基于偏移注意力机制和多特征融合的点云分类

三维点云由于受到雾、雨和雪等自然天气条件的影响较小而受到了广泛的关注,在交通、能源和医疗等多个领域得到了广泛的应用,其中点云分类旨在划分三维点云数据的类别,为不同领域决策者提供信息,实现解决方案的制订,对自动驾驶、故障诊断和医学影像分析等具有重要意义。点云分类的应用前景广阔,但目前仍面临着诸多挑战。由于点云的无序性、稀疏性和有限性等特点,传统的图像处理和计算机视觉方法难以直接应用于点云数据分析,直接利用卷积神经网络不能有效提取点云特征,部分模型的特征提取不够充分,局部和全局的信息未能有效的利用,可能丢失重要特征信息。针对上述问题,提出一种实现点云的局部和全局特征相结合的多特征融合模块,并结合偏移注意力机制嵌入多特征融合模块实现较深层次点云特征的提取,同时引入残差结构充分利用浅层提取的特征,防止网络过深导致浅层特征丢失。在ModelNet40和ScanObjectNN分类数据集上进行训练和测试,并对实验进行了消融研究和部分数据可视化。实验结果发现该模型在ModelNet40上的分类总体准确率为93.6%,与PointNet、LDGCNN和PCT等模型相比,分类总体准确率分别提高了4.4、...     

基于多光谱通道注意力和双向特征融合的乳腺肿块检测

乳腺钼靶X线摄影是诊断乳腺疾病的有效手段,计算机辅助诊断系统在乳腺肿块检测中起着重要作用,针对检测过程中易出现漏检、误检导致精度不理想的情况,提出了一种改进的RetinaNet乳腺肿块检测算法.首先,在RetinaNet的基础上对特征提取部分进行改进,在每个残差块中引入多光谱通道注意力机制,使网络能更加关注到目标区域;然后,在特征融合部分,以两种不同方式添加一条自底向上的路径,并通过横向连接最终实现深浅层特征的双向融合,加快浅层信息流通,使得到的特征信息更加丰富.实验表明：改进后的算法在乳腺钼靶图像的肿块检测中具有良好的检测效果,既减少了漏检率,平均精度也提升了3.2%,并且相比其他出色的检测算法,也具有一定的优势.     

基于多尺度特征融合与注意力机制的人群计数算法

针对特征提取过程中缺乏对人群区域的针对性,不同大小人头目标不能同时检测以及特征融合时多尺度特征信息丢失问题,提出多尺度注意力模块,增强特征对高密度人群区域的关注。采用多尺度空洞卷积,结合提出的多通道特征融合模块,提取更完善的多尺度特征,提高对不同尺寸人头计数能力;利用密度图回归模块,融合多尺度特征,减少了多尺度信息的损耗。实验结果表明,本算法的计数结果更精确稳定。     

基于自注意力机制的多特征融合槽抽取模型

在任务型人机对话系统中,槽抽取任务是至关重要的一个环节.为了提高槽抽取模型的识别准确率,该文提出了一种利用自注意力机制融合文本的多特征维度特征的方法.该方法在常规的双向长短期记忆模型(Bi-directional long short-term memory,Bi-LSTM)和条件随机场(Conditional ran...     

基于注意力卷积神经网络的中文虚假评论检测

针对现有的虚假评论检测方法未充分利用虚假评论文本特征这一问题,本文提出一种基于多层注意力机制的卷积神经网络模型。首先,使用多种预训练词向量初始化词嵌入层,并进行复值位置编码;然后,将经过多种卷积核卷积得到的多种特征映射依次通过嵌入用户特征的通道级和卷积核级的注意力层,根据特征重要程度分配不同权重;最后,将拟合的评论文本特征表示进行Softmax分类。实验结果表明,与诸多主流优秀神经网络模型相比,本文模型准确率和F₁值分别提高4.74和3.86个百分点。     

基于注意力机制的特征融合序列标注模型

序列标注任务是自然语言处理领域的重要问题,包括命名实体识别、词性标注、意见抽取等具有重要应用价值的子任务。目前,长短期记忆网络-条件随机场模型(LSTM-CRF)作为序列标注任务的主流框架,虽然取得了很好的性能并被广泛使用,但仍存在局部依赖性以及受限于序列化特征学习的缺点。为了同步建模句子中每个词的局部上下文语义与全局语义,并将两部分语义进行有效融合,提出基于注意力机制的特征融合序列标注模型。具体地,本模型利用多头注意力机制建模句子中任意两个词之间的语义关系,得到每个词应关注的全局语义。考虑到LSTM学习的局部上下文信息和注意力机制学习的全局语义具有互补性,进一步设计了三种特征融合方法将两部分语义深度融合以得到更丰富的语义依赖信息。为验证模型的有效性,在四个数据集上进行了大量的实验,实验结果表明本模型达到较优的性能。     

基于注意力机制的多尺度仪表检测

为实现复杂场景下多尺度仪表检测,提出了一种基于注意力机制的视频多尺度仪表检测算法。首先,利用基于空间注意力机制的特征提取网络,建模特征的长距离依赖,增强特征的表达能力;其次,提出了一种自适应特征选择模块（Adaptive Feature Selection Module, AFSM）,对不同阶段的特征图进行权重调整,增强网络对多尺度目标的检测能力。在自建的仪表数据集上进行了实验。实验结果表明,相比较原来的Faster RCNN方法,所提出方法的检测精度提高了7.6%;与对比方法相比,检测精度也能达到95.4%。在对实际仪表监测视频的测试中,检测结果以及速度能够满足实际需要。所提方法通过改进特征提取网络和特征选择操作,增强了特征表达能力,有效降低了虚警,提升了网络对多尺度目标的检测性能。     

基于全局注意力的多级特征融合目标检测算法

针对小目标物体检测精度差的问题,同时不以牺牲速度为代价,本文提出了一种基于全局注意力的多级特征融合目标检测算法。算法首先由卷积神经网络生成多尺度的特征图,然后采用多级特征融合的方法,将浅层和深层特征图的语义信息相结合,提高特征图的表达能力,接着引入全局注意力模块,对特征图上下文信息进行建模,并捕获通道之间的依赖关系来选择性地增强重要的通道特征。此外,在多任务损失函数的基础上增加一项额外的惩罚项来平衡正负样本。最后经过分类回归、迭代训练和过滤重复边框得到最终检测模型。对所提算法在PASCAL VOC数据集上进行了训练和测试,结果表明该算法能有效地提升小目标物体检测效果,并较好地平衡了检测精度与速度之间的关系。     

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题,提出一种基于特征融合注意力的小样本语义分割算法。首先,利用共享主干网络编码支持图片和查询图片,从而获取图片的深度特征;然后,利用注意力机制获取支持特征和查询特征的强关联语义信息,从而构造任务注意力特征图;最后,提出一种多特征注意力融合模块,它能够自适应融合多种特征的深层语义信息并进行特征解码,从而获取目标物体的分割掩码。在PASCAL-5ⁱ和COCO-20ⁱ公开数据集进行了实验,结果表明,所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准,尤其是在更具有挑战性的COCO-20ⁱ数据集上,所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。     

基于多尺度与混合注意力机制的苹果目标检测

自然环境下,苹果采摘机器人进行采摘任务时易受到环境因素的影响,导致其视觉系统的检测性能降低,出现误检和漏检的情况.针对此问题,在YOLOv3的基础上,提出了一种基于多尺度与混合注意力机制的目标检测模型PM-YOLOv3.首先,改进YOLOv3的特征提取网络,减少网络残差模块的数量,引入多尺度卷积,构建新的特征提取网络;...     

基于Involution算子和交叉注意力机制的合成语音检测方法

随着科学技术的迅速发展,基于深度学习生成的合成语音给语音认证系统和网络空间安全带来了新的挑战。针对现有检测模型准确率较低和语音特征挖掘不够充分的问题,提出了一种基于Involution算子和交叉注意力机制改进的合成语音检测方法。前端将语音数据提取线性频率倒谱系数(LFCC)特征和恒定Q变换(CQT)谱图特征,两个特征分别输入到后端的双分支网络中。后端网络使用ResNet18作为主干网络先进行浅层的特征学习,并将Involution算子嵌入主干网络,扩大特征图像学习区域,增强在空间范围内学习到的频谱图像特征信息。同时在训练分支之后引入cross-attention交叉注意力机制,使LFCC特征和CQT谱图特征构建交互的全局信息,强化模型对特征的深层挖掘。所提模型在ASVspoof 2019 LA测试集上取得了0.84%的等错误率和0.026的最小归一化串联检测代价函数的实验结果,展现了优于主流的检测模型。结果表明,改进的模型能够有效融合不同的频谱特征,提高模型的特征学习能力,从而强化模型的检测能力。     

结合注意力机制与时空特征融合的长时程行为识别方法

为了建立基于视频行为识别的长时程图像序列的时空信息模型,文章提出了一种嵌入注意力的时空特征融合网络(attention-embedded spatial-temporal feature fusion network,ASTFFN)的深度神经网络模型.AST FFN将一个包含动作的长时程图像序列分割成多个重叠的片段,并...     

基于多帧信息的多传感器融合三维目标检测

为提高三维目标检测中多传感器融合的效果,并利用前后帧之间的特征关联,提高目标检测的准确率,提出了一种基于多帧信息的多传感器特征融合三维目标检测网络.首先通过基于指导点的特征映射模块,将图像相机视角特征转换为鸟瞰图特征,并通过自适应融合模块对点云特征和图像特征进行融合;之后利用历史帧跟踪信息,融合多帧特征;最后采用基于CenterPoint检测头进行目标检测.在nuScenes数据集和实车上对三维目标检测网络进行了测试,试验结果表明该网络具有更高的精度和实时性.     

注意力机制下的多层次特征融合图像去雾算法

提出一种基于注意力机制的多层次特征融合的图像去雾算法.该算法通过残差密集网络和自校准卷积网络来提取不同尺度的特征,再利用双重注意单元和像素注意力将特征融合重建.同时采用一种由均方误差损失、边缘损失和鲁棒性损失函数相结合的损失函数,可以更好地保留细节特征.实验表明,该算法与其他去雾算法相比在峰值信噪比和结构相似度指标上得到一定的提高,去雾图像在主观视觉上取得了较好表现.     

融合注意力机制的PSPnet多目标语义分割

采用加强特征提取网络为MobileNetV2的融合多特征金字塔场景解析网络（PSPnet）来实现复杂场景下的图像语义分割.相对于深度残差网络ResNet50和MobileNetV1,引入了线性瓶颈结构和反向残差结构,利用金字塔池化模块（PPM）来处理不同层级的图像特征信息,并将其进行特征拼接,有效避免了不同分割尺寸下,子区域之间关键特征信息的缺失.在此基础上,引入注意力机制模块,结合通道注意力机制（CAM）和空间注意力机制（SAM）,进一步提高分割精度.实验结果表明：该方法可以提高图像识别的准确率,并节省训练时间.     

基于注意力机制和特征融合的网络威胁情报技战术分类研究

在威胁情报包含的信息中,与网络攻击相关的战术、技术、程序（TTPs）是最能刻画组织行为的关键信息。但是,TTPs信息抽象层次高,并且通常存在于语法结构不规则的网络威胁情报文本中。这导致传统的人工分析方法以及基于特征工程的机器学习方法难以快速有效地从中分类出TTPs。使用单一的深度学习特征提取器则因无法提取文本语意中完整的邻域特征和序列特征,导致技战术分类精度低。针对上述问题,本文提出一种基于注意力机制和特征融合的深度学习模型：ACRCNN,用于网络威胁情报中的战术与技术的分类。该模型通过卷积与循环神经网络同时提取网络威胁情报文本中的邻域与序列信息,再由卷积层与池化层进行深层次的特征抽取与降维,完成特征融合。然后,通过注意力层完成特征加权,最终经由全连接层完成战术与技术的分类。实验结果表明,ACRCNN在战术、技术分类任务中表现优异,在F1指标上达到了91.91%、83.86%,对比现有模型,分别提高了2.46%和4.94%。     

基于多层交叉注意力融合网络模型的人脸图像情感分析

目前大多数人脸图像情感分析方法只单方面关注图像整体或局部来构建视觉情感特征表示,忽略了二者在情感表达上的协同作用。针对此问题,提出了一种多层交叉注意力融合网络情感分析方法。该方法首先利用特征相关性分析实现最大化类的可分性;其次通过多层交叉注意力网络中的多个不重叠的注意力区域来提取整体和局部的信息;然后将整体与局部提取的注意力图进行融合,来共同训练图像情感分类器并进行情感分析。实验结果表明,提出的方法在真实数据集RAFDB上的情感分类准确率达到了88.53%,优于现有其他方法,验证了该方法的有效性与优越性。