基于时空特征融合的语音情感识别 |
| |
引用本文: | 彭涛,郑传锟,张自力,刘军平,胡新荣,何儒汉.基于时空特征融合的语音情感识别[J].郑州大学学报(理学版),2022(4):42-48. |
| |
作者姓名: | 彭涛 郑传锟 张自力 刘军平 胡新荣 何儒汉 |
| |
作者单位: | 1. 纺织服装智能化湖北省工程研究中心;3. 武汉纺织大学计算机与人工智能学院 |
| |
摘 要: | 语音情感识别在人机交互中有重要的作用。在语音情感识别领域中,通常使用迁移学习解决语音情感数据难获取的问题,但忽略了语音数据的时序信息和空间信息。考虑到AlexNet网络中的参数来自图像数据集,不能完全表现语音数据的空间信息,并且不包含时序信息,因此提出通过膨胀卷积网络提取语音频谱图的空间信息,添加双向长短期记忆神经网络提取时序信息,并进行时空特征融合;针对语音中含有大量与情感无关的特征,通过将对数梅尔频谱图的三个通道作为输入,减少情感无关因素的影响,并添加注意力机制,选取情感权重大的时域信号。用公开数据集实验证明了方法的有效性,在WAR和UAR上都有提升。
|
关 键 词: | 语音情感识别 膨胀卷积网络 长短期记忆神经网络 注意力机制 |
|
|