基于多模态共享网络的自监督语音-人脸跨模态关联学习方法

现有的语音-人脸跨模态关联学习方法在语义关联和监督信息方面仍然面临挑战,尚未充分考虑语音与人脸之间的语义信息交互。为解决这些问题,提出一种基于多模态共享网络的自监督关联学习方法。首先,将语音和人脸模态的特征映射到单位球面,构建一个公共的特征空间;接着,通过多模态共享网络的残差块来挖掘复杂的非线性数据关系,并利用其中权重共享的全连接层来增强语音与人脸特征向量之间的关联性;最后,使用K均值聚类算法生成的伪标签作为监督信号来指导度量学习,从而完成4种跨模态关联学习任务。实验结果表明,本文提出的方法在语音-人脸跨模态验证、匹配和检索任务上均取得了良好的效果,多项评价指标相较于现有基线方法提升1%～4%的准确率。     

语音增强技术在低速语音编码中的应用

在语音编码的应用环境中,特别是在军事应用中,强噪声环境下声码器性能的改进是一个亟待解决的问题。在研究语音增强技术的基础上,将语音增强技术于低速语音编码,有效地改善了低速语音编码算法的抗背景噪声的性能。并利用所构建的语音质量客观评价平台,对语音增强低速编码算法的抗背景噪声性能进行了客观评估与分析。     

基于听感知特征的语种识别

为了在语种识别时充分利用人的听感知特性提高识别性能,提出了一种基于听感知模型的特征。听感知特征采用Gammatone滤波器组代替常用的三角滤波器组计算语音信号各子带能量;根据等效矩形带宽模型,确定各滤波器的中心频率与带宽;使用反置等响度曲线模拟人耳对信号不同频率成分的主观响度感受。在基本听感知特征的基础上,还提出了一、二阶差分特征和偏移差分特征用于语种识别。对比实验表明,该文所提的听感知特征性能均优于目前普遍使用的Mel频率倒谱系数(MFCC)特征及其衍生特征。     

情感表达的跨文化多模态感知研究

视频和音频2个模态的信息在交际过程中起着至关重要的作用,该文研究关注的问题是情感表达中不同文化背景的听者对情感的感知(解码)与这2个模态(面部表情和情感声音)的关系。发音人为中国人,录制她的5个语句的7种情感(6种基本情感+中性情感)的音频和面部表情,制作3类刺激:只有音频信息(A-only)、只有面部视频信息(V-only)以及视频和音频同步信息(AV-Congruent)。听辨人为10名不会日语的中国人和10名不会汉语的日本人。对听辨结果分析发现,面部视频信息的加入有益于情感的感知,视频和音频信息在跨文化的情感解码中起着不同的作用,与情感的唤醒度有密切的关系,相关距离空间分布模式说明听辨结果具有稳定性,跨文化的情感感知存在普遍的心理基础。     

基于等边三角形麦克风阵列的语音增强

针对小体积应用场合下的语音增强,提出了一种基于等边三角形结构的麦克风阵列与Wiener后置滤波相结合,并由VAD作为控制单元的语音增强方法。该方法克服了自适应零限波束形成只能抑制空间相干噪声的缺点,并得到可在二维平面上旋转的波束主瓣。通过仿真和真实环境的实验,证明算法能够显著地提高输入语音信噪比,且适用于多种噪声场。     

基于单片机的语音报警系统

面对现代社会越来越大的安全威胁,尤其是一些重要场所如家庭、银行、商店等,传统的防盗门、防盗锁等防盗措施已经难以满足人们的需求。为应对这种情况。本文介绍了基于单片机控制的语音报警系统。     

普通话测试中的说话技巧

普通话测试是一种手段,目的是督促人们努力学习普通话,提高自己的说话素养,在测试过程中,许多人由于准备不充分或者心理过于紧张而发挥失常,不能正确的应对考试,正确地对待普通话测试,应该从以下几个方面做起。     

英语专业学生语音学习现状调查及建议

英语语音在英语专业学习中起着举足轻重的作用,然而本系学生的整体语音水平却不容乐观．不仅影响了他们口头交际能力的发展,而且在很大程度上阻碍了学生英语综合能力的提高。本文结合英语专业学生语音学习现状的调查结果,对学生英语语音学习普遍存在的问题及成因进行分析,并提出相关建议,以期提高学生的语音水平。     

综合语音平台的设计与实现

本文针对多语专业务与语音交换机在设备利用率上的不协调提出了一种综合语音平台,井给出了相应的设计与实现方案。     

试论英语语音教学在大英听说教学中的作用

由于现行中学英语教学对英语语音知识未能予以应有的重视,因而,不少学生进入大学之后,缺乏连读、不完全爆破等最基本的语音知识,有的甚至不能正确拼读单词。这种现状给大学英语听说教学带来了许多负面影响。倘若教师和学生都能对之予以重视,那么大学英语听说教学乃至整个大学英语教学的实效性可望有所改善。