| 情感表达的跨文化多模态感知研究 |
| |
| 引用本文： | 李爱军,邵鹏飞,党建武.情感表达的跨文化多模态感知研究[J].清华大学学报(自然科学版),2009(Z1). |
| |
| 作者姓名： | 李爱军 邵鹏飞 党建武 |
| |
| 作者单位： | 中国社会科学院语言所;山东师范大学;北陆先端科学技术大学院大学情报科学研究科; |
| |
| 摘 要： | 视频和音频2个模态的信息在交际过程中起着至关重要的作用,该文研究关注的问题是情感表达中不同文化背景的听者对情感的感知(解码)与这2个模态(面部表情和情感声音)的关系。发音人为中国人,录制她的5个语句的7种情感(6种基本情感+中性情感)的音频和面部表情,制作3类刺激:只有音频信息(A-only)、只有面部视频信息(V-only)以及视频和音频同步信息(AV-Congruent)。听辨人为10名不会日语的中国人和10名不会汉语的日本人。对听辨结果分析发现,面部视频信息的加入有益于情感的感知,视频和音频信息在跨文化的情感解码中起着不同的作用,与情感的唤醒度有密切的关系,相关距离空间分布模式说明听辨结果具有稳定性,跨文化的情感感知存在普遍的心理基础。
|
| 关 键 词： | 情感 语音 音频 视频 面部表情 跨文化 感知 |
Cross-cultural and multi-modal investigation of emotion expression |
| |
| LI Aijun,SHAO Pengfei,DANG Jianwu.Cross-cultural and multi-modal investigation of emotion expression[J].Journal of Tsinghua University(Science and Technology),2009(Z1). |
| |
| Authors: | LI Aijun SHAO Pengfei DANG Jianwu |
| |
| Institution: | 1.Institute of Linguistics;CASS;Beijing 100732;China;2.Shandong Normal University;Jinan 250014;3.School of Information Science;Japan Advanced Institute of Science and Technology;1-1 Asahidai;Nomi;Ishikawa 923-1292;Japan |
| |
| Abstract: | Interactive communications include constant encoding and decoding of information for various modalities to enable comprehensive understanding.This research concerns the process of encoding and decoding of facial and vocal emotional expressions through cross-cultural perceptual tests for psychology and cognition.The stimuli were from a female Chinese speaker for three audio-video,audio-only and video-only methods(5 sentences with 7 emotions for each condition).The subjects(listeners) were 10 Chinese and 10 J... |
| |
| Keywords: | emotion speech audio video facial expression cross-culture perception |
| 本文献已被 CNKI 等数据库收录！ |
