基于多尺度特征融合的图片情感分布学习
作者:
作者单位:

1.国能大渡河大岗山发电有限公司;2.四川大学电子信息学院

作者简介:

通讯作者:

中图分类号:

TP391.4

基金项目:

国家自然科学基金(61871278)


Image emotion distribution learning based on multiscale feature fusion
Author:
Affiliation:

1.CHN ENERGY Dadu River Dagangshan Power Generation Co., Ltd;2.College of Electronics and Information Engineering,Sichuan University

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    视觉情感分析旨在分析人们对视觉刺激的情感反映,近年来受到了共享平台和网络社交等多媒体视觉数据相关领域的关注.传统的图片情感分析侧重于单标签的情感分类,忽略了图片表达的情感的复杂性和图像潜在的情绪分布信息,不能体现出图片所表达的不同情绪之间的相关性.针对以上问题,首先采用ViT和ResNet网络进行全局和局部融合的多尺度情感特征提取,通过主导情绪分类和标签分布学习进行图片情感识别,充分表征图片的复杂情感.在公开的Flickr_LDL数据集和Twitter_LDL数据集上取得了显著的效果,证明了提出方法的有效性.

    Abstract:

    Visual emotion analysis aims to analyze the emotional response of human beings to visual stimuli, which has attracted multimedia visual data related fields such as sharing platforms and social networking in recent years. Traditional image emotion analysis focuses on the classification of single label emotions, ignoring the complexity of emotions expressed in pictures and the potential emotional distribution information of images, and failing to reflect the correlation between different emotions expressed in pictures. To solve the above problems, ViT and Resnet networks are used to extract multi-scale emotional features with global and local fusion, and the label distribution learning method is used for image emotion prediction. Significant results are achieved on the public available Flickr_LDL dataset and Twitter_LDL dataset, which demostrate the effectiveness of the proposed method.

    参考文献
    相似文献
    引证文献
引用本文

引用本文格式: 张建军,赵小明,何亚东,文虹茜,卿粼波. 基于多尺度特征融合的图片情感分布学习[J]. 四川大学学报: 自然科学版, 2023, 60: 043002.

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-07-28
  • 最后修改日期:2022-09-11
  • 录用日期:2022-09-15
  • 在线发布日期: 2023-08-18
  • 出版日期:
通知
自2024年3月6日起,《四川大学学报(自然科学版)》官网已迁移至新网站:https://science.scu.edu.cn/,此网站数据不再更新。
关闭