基于注意力机制多特征融合的虚假信息检测

在虚假信息识别任务中,面对图文结合的虚假内容,基于单模态的模型难以进行准确识别.社交媒体中的虚假信息为吸引关注和迅速传播的目的,会使用夸张的词汇煽动读者的情绪.如何将情感特征引入多模态虚假信息检测模型进行多特征融合,并准确地识别虚假信息是一个挑战.为此,本文提出了基于注意力机制多特征融合的虚假信息检测方法(att-MFNN).该模型中先将文本特征和情感特征基于注意力机制融合,再与视觉特征组成多模态特征送入虚假信息识别器和事件分类器中.通过引入事件分类器学习不同事件中的共同特征,提高新事件的识别性能.att-MFNN在微博和推特(Twitter)数据集的准确率达到了89.22%和87.51%,并且F₁、准确率、召回率指标均优于现有的模型.     

基于RCBAM和SSD的特征融合低照度环境目标检测算法研究

针对低光照、雨雾等恶劣场景对智能驾驶视觉系统检测能力的影响,提出了一种雷达与相机特征融合的网络模型. 基于毫米波雷达信息和注意力模型构建了雷达注意力机制特征模块,该模块可以为特征融合网络提供一个先验信息和增加算法在目标候选区域权重. 测试结果表明,引入雷达注意力机制模块后,特征融合网络的目标检测性能要比仅依赖计算机视觉的检测性能有了明显的提升,并且在复杂场景下的目标检测鲁棒性更强.      

基于多传感器融合的越野环境路面信息识别

为实现精准的越野环境路面信息识别，文中提出了一种基于多传感器信息融合的路面信息识别方法.首先，针对车辆簧下振动加速度信号设计了特征提取算法，通过双线性池化方法融合加速度特征与图像+深度特征，以实现对越野路面类型的多维度特征融合与识别.然后，为提高越野路面可通行区域检测效果，引入迁移学习方法，将越野场景路面类型识别模型中路面特征提取的共性知识向通行区域分割模型进行迁移.在真实越野环境数据集下对模型进行训练与测试，测试结果表明文中提出的识别方法不仅在越野场景路面类型识别任务上获得了98.65%的平均分类准确率，而且引入先验知识可明显提升通行区域检测效果.     

融合注意力机制的PSPnet多目标语义分割

采用加强特征提取网络为MobileNetV2的融合多特征金字塔场景解析网络（PSPnet）来实现复杂场景下的图像语义分割.相对于深度残差网络ResNet50和MobileNetV1,引入了线性瓶颈结构和反向残差结构,利用金字塔池化模块（PPM）来处理不同层级的图像特征信息,并将其进行特征拼接,有效避免了不同分割尺寸下,子区域之间关键特征信息的缺失.在此基础上,引入注意力机制模块,结合通道注意力机制（CAM）和空间注意力机制（SAM）,进一步提高分割精度.实验结果表明：该方法可以提高图像识别的准确率,并节省训练时间.     

融合场景及交互性特征的多人行为识别

人类的行为复杂多样,场景、外观、位置等信息均与行为息息相关.本文针对如何高效地综合利用这些信息的问题,提出了融合场景及交互性特征的多人行为识别方法,使用双通道的方式分别提取个体外观特征与场景特征.对于个体通道,采用注意力机制模块来关注与行为相关度更大的区域,并将提取的个体外观特征结合位置特征输入图卷积网络进行关系推理.其中,图卷积网络采用了余弦相似度的方法度量个体特征之间的相关性,并结合个体之间的位置特征进行关系推理;对于场景通道,使用在place365数据集上预训练的ResNet 50提取场景特征.最后,本文将个体以及场景通道所得的特征进行加权融合,得到群组以及所有个体的行为识别结果.在Collective Activity Dataset（CAD）数据集上的实验表明,该方法能提高行为识别的准确率,群组行为以及个体行为的准确率分别达到了92.29%与78.19%.     

基于多头注意力机制字词联合的中文命名实体识别

针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低冗余词汇干扰.建立了多头注意力字词联合模型,包含字词匹配、多头注意力、融合等模块.与现有中文命名实体识别方法相比,本算法避免了设计复杂的序列模型,方便与现有基于字的中文命名实体识别模型结合.采用召回率、精确率以及F₁值作为评价指标,通过消融试验验证模型各个部分的效果.结果表明,本算法在MSRA和Weibo数据集上F₁值分别提升0.28、0.69,在Resume数据集上精确率提升0.07.     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于残差网络的红外与可见光图像融合方法

图像融合利用了红外与可见光图像在时空上的相关性及信息上的互补性，让图像更有利于人眼的识别和机器的自动探测。现有的方法许多都存在伪影或目标信息模糊的情况，针对这些问题本文提出了一种带有残差块的编码器融合框架以提取红外与可见光图像中的深层特征；为了更好地融合红外光图像的目标信息和可见光图像所包含的细节信息，在特征融合阶段加入注意力机制得到注意力图对深层特征进行融合；最后通过跳跃连接将第一二层得到的特征图，即浅层特征传递到相应的反卷积层进行处理，得到融合图像。实验结果表明，本文方法的融合结果在主观感觉上更清楚，且在平均梯度、空间频率、结构相似性和峰值信噪比等客观指标上取得了比现有方法更好的结果。     

基于错误纠正模块的场景文本识别算法

近年来，场景文本识别技术得到了飞速发展．然而，由于不规则场景文本图像中经常存在诸如杂物遮挡、分布扭曲、光照不足等视觉障碍，使得现有方法不能对单词中某些字符进行准确识别，进而产生较多的错误识别．为了解决这一问题，本文提出了一种基于错误纠正(errorcorrection,EC)模块的场景文本识别算法．与现有算法中的纠错模块不同，所提出的EC模块是一个序列到序列的预测模型．在EC模块的编解码结构中增加了多单元注意力机制，能够更加关注特征图中的一些重要信息．EC模块可直接从纯文本中学习语义信息，用于纠正拼写错误的文本．此外，提出了一种基于场景文本识别的多特征(multi-feature,MF)提取器，该提取器由5个MF单元组成，可分别从Resnet-45后5个模块的输出中提取特征信息．与传统的方法相比，MF提取器可以从不同深度挖掘更加丰富的图像信息．在7个数据集上的对比实验结果表明，与当前先进方法相比，所提算法在性能上具有明显的优势．     

基于表情及姿态融合的情绪识别

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698%和88.024%的平均识别率;融合情绪识别平均识别率为95.766%,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.     

基于上下文感知和注意机制的多学习情绪识别方法

为提高人脸图像情绪识别效率与准确性,在探讨了深度神经网络、注意机制与损失函数基础上,提出基于上下文感知与注意机制的多学习情绪识别网络结构．该网络主要由场景特征提取、身体特征提取与融合决策3个子网络组成,并采用单双输出结构,实现多标签情绪分类与连续空间情绪回归任务．考虑到多标签情绪分类时标签的不平衡性,提出了一个改进的焦点损失（focal loss,FL）函数,可为小样本或难分类样本分配更多的权重,从而提高了网络训练效率．利用EMOTIC数据集进行仿真,结果表明平均绝对误差回归组合损失训练性能更优,分类平均准确率与回归平均误差率分别为28.5%和0.098,该方法对于小样本或难分类样本具有更好的分类效果．      

语音情感特征提取和识别的研究与实现

针对语音情感识别的实时性与可用性问题,提出了利用汉明窗提取语音信号中情感特征的方法,从说话者中采集带有快乐、愤怒、惊奇、悲伤情感的语句,并从语句中提取8个情感特征参数．同时提出采用贡献分析法确定情感特征参数的权值,利用加权欧氏距离模板匹配识别语音情感．实验表明该方法识别率有提高,更适合实时识别的应用。     

融合粗糙数据推理的卷积记忆网络文本情感分析

为解决现有情感分类算法在特征提取中缺乏对语义关联规则的运用,以及在分词后产生大量与情感预测无关的词,导致挖掘出的特征不具代表性的问题。提出一种融合粗糙数据推理的卷积记忆网络情感分析模型。通过上下文信息使用粗糙数据推理获得文本的情感词集Word2Vec词向量表示,并融合FastText词向量来改进特征向量嵌入层。其次使用卷积神经网络（CNN）拼接双向长短期记忆网络（BiLSTM）提取更深层次的情感特征。最后加入Attention机制计算权重,筛选显著重要特征。通过多组对比实验表明该模型具有较高的准确率和F1值,有效提升了情感分类的预测能力。     

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.     

融合情感词典的改进BiLSTM-CNN+Attention情感分类算法

传统机器学习和深度学习模型在处理情感分类任务时会忽略情感特征词的强度,情感语义关系单薄,造成情感分类的精准度不高。本文提出一种融合情感词典的改进型BiLSTM-CNN+Attention情感分类算法。首先,该算法通过融合情感词典优化特征词的权重;其次,利用卷积神经网络(CNN)提取局部特征,利用双向长短时记忆网络(BiLSTM)高效提取上下文语义特征和长距离依赖关系;再结合注意力机制对情感特征加成;最后由Softmax分类器实现文本情感预测。实验结果表明,本文提出的情感分类算法在精确率、召回率和F值上均有较大提升。相较于TextCNN、BiLSTM、LSTM、CNN和随机森林模型,本文方法的F值分别提高2.35%、3.63%、4.36%、2.72%和6.35%。这表明该方法能够充分融合情感特征词的权重,利用上下文语义特征,提高情感分类性能。该方法具有一定的学术价值和应用前景。     

基于增量方法的卷积语音情感识别网络

提出了一种新颖的语音情感识别结构,从声音文件中提取梅尔频率倒谱系数(Melscale frequency cepstral coefficients,MFCCs)、线性预测倒谱系数(linear predictive cepstral coefficients,LPCCs)、色度图、梅尔尺度频谱图、Tonnetz表示和频谱对比度特征,并将其作为一维卷积神经网络(convolutional neural network,CNN)的输入.构建由一维卷积层、Dropout层、批标准化层、权重池化层、全连接层和激活层组成的网络,并使用Ryerson情感说话/歌唱视听(Ryerson audio-visual database of emotional speech and song,RAVDESS)数据集、柏林语音数据集(Berlin emotional database,EMO-DB)、交互式情绪二元运动捕捉(interactive emotional dyadic motion capture,IEMOCAP)数据集这3个数据集的样本来识别情感.为提高分类精度,利用增量方法修改初始模型.为...     

基于多层交叉注意力融合网络模型的人脸图像情感分析

目前大多数人脸图像情感分析方法只单方面关注图像整体或局部来构建视觉情感特征表示,忽略了二者在情感表达上的协同作用。针对此问题,提出了一种多层交叉注意力融合网络情感分析方法。该方法首先利用特征相关性分析实现最大化类的可分性;其次通过多层交叉注意力网络中的多个不重叠的注意力区域来提取整体和局部的信息;然后将整体与局部提取的注意力图进行融合,来共同训练图像情感分类器并进行情感分析。实验结果表明,提出的方法在真实数据集RAFDB上的情感分类准确率达到了88.53%,优于现有其他方法,验证了该方法的有效性与优越性。     

基于情感轮和多任务卷积神经网络的图像情感分布学习

图像情感分布学习可以对多种情绪同时进行建模,但现有的模型缺乏有效的方法直接考虑情绪之间的相关性.针对这一问题,该文提出一种基于情感轮和多任务卷积神经网络(EW-MTCNN)的图像情感分布学习模型,通过先验知识模块将心理学情感知识直接引入到深度神经网络中.基于Mikel's情感轮定义成对情绪之间的相关性,EW-MTCNN模型采用多任务卷积神经网络学习情绪之间的相关性信息,同时优化情感分布预测和情绪分类任务.EW-MTCNN模型由3个模块组成,3个模块分别是图像特征提取层、情感轮先验知识层和多任务损失层.在情感分布数据集(Emotion6)和单标签数据集(Artphoto)上进行对比实验的结果表明:EW-MTCNN模型在情感分布预测与情绪分类任务上比其他情感分布学习方法具有更优的性能.