一种融合视觉和听觉信息的双模态情感识别算法

语音信号和面部表情是人们表达情感的主要途径,也被认为是情感表达的两个主要模态,即听觉模态和视觉模态.目前情感识别的研究方法大多依赖单模态信息,但是单模态情感识别存在信息不全面、容易受噪声干扰等缺点.针对这些问题,提出一种融合听觉模态和视觉模态信息的两模态情感识别方法.首先利用卷积神经网络和预先训练好的面部表情模型,分别...     

基于视觉加强注意力模型的植物病虫害检测

【目的】植物病虫害准确检测是病虫害精准化防治的关键，笔者构建准确高效的植物病虫害监测模型，为病虫害的早期诊断与预警提供重要依据。【方法】针对现有植物病虫害检测模型泛化能力弱、小目标漏检率高等问题，提出一种基于视觉加强注意力改进的植物病虫害检测模型——YOLOv 5-VE(vision enhancement)。为方便检测实验样本中的小目标采用Mosaic 9数据增强方法；设计出基于视觉注意力的特征加强模块CBAM(convolutional block attention module);为确定不同目标重叠在一起和被遮挡的定位损失引入边界框定位损失函数DIoU。【结果】YOLOv 5-VE模型在实验数据集上的识别精度和检测平均准确率达到65.87%和73.49%,比原模型提高了1.07%和8.25%,在型号为1 080 Ti的GPU上检测速度可达35帧/s。【结论】该方法可以在背景复杂的野外场景快速有效地检测和识别种类多样的病害和虫害，可以提高检测的鲁棒性能，提升模型对病虫害目标的特征提取能力，降低野外复杂场景对检测带来的干扰，表现出良好的应用潜力，可广泛运用于大规模的植物病虫害检测。