| 基于语音信号与心电信号的多模态情感识别 |
| |
| 引用本文： | 黄程韦,金赟,王青云,赵力,邹采荣.基于语音信号与心电信号的多模态情感识别[J].东南大学学报(自然科学版),2010,40(5). |
| |
| 作者姓名： | 黄程韦 金赟 王青云 赵力 邹采荣 |
| |
| 作者单位： | 1. 东南大学水声信号处理教育部重点实验室,南京,210096
2. 东南大学水声信号处理教育部重点实验室,南京,210096;徐州师范大学物理与电子工程学院,徐州,221116 |
| |
| 基金项目： | 国家自然科学基金资助项目，江苏省自然科学基金资助项目 |
| |
| 摘 要： | 通过采集与分析语音信号和心电信号,研究了相应的情感特征与融合算法.首先,通过噪声刺激和观看影视片段的方式分别诱发烦躁情感和喜悦情感,并采集了相应情感状态下的语音信号和心电信号.然后,提取韵律、音质特征和心率变异性特征分别作为语音信号和心电信号的情感特征.最后,利用加权融合和特征空间变换的方法分别对判决层和特征层进行融合,并比较了这2种融合算法在语音信号与心电信号融合情感识别中的性能.实验结果表明:在相同测试条件下,基于心电信号和基于语音信号的单模态情感分类器获得的平均识别率分别为71%和80%;通过特征层融合,多模态分类器的识别率则达到90%以上;特征层融合算法的平均识别率高于判决层融合算法.因此,依据语音信号、心电信号等不同来源的情感特征可以构建出可靠的情感识别系统.
|
| 关 键 词： | 情感识别 多模态 判决层融合 特征层融合 |
Multimodal emotion recognition based on speech and ECG signals |
| |
| Huang Chengwei,Jin Yun,Wang Qingyun,Zhao Li,Zou Cairong.Multimodal emotion recognition based on speech and ECG signals[J].Journal of Southeast University(Natural Science Edition),2010,40(5). |
| |
| Authors: | Huang Chengwei Jin Yun Wang Qingyun Zhao Li Zou Cairong |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
