基于唇重构与三维耦合CNN的多视角音唇一致性判别

针对传统音唇一致性判别方法主要对正面唇动视频进行处理,未考虑视频采集角度变化对结果的影响,且容易忽略唇动过程中的时空特性等不足,文中以唇部角度变化对一致性判别的影响为研究重心,结合三维卷积神经网络在非线性表示和时空维度特征提取上的优势,提出了基于正面唇重构与三维耦合卷积神经网络的多视角音唇一致性判别方法。该方法先通过在生成器中引入自映射损失来提高正面重建效果,并采用基于自映射监督循环一致性生成对抗网络（SMS-CycleGAN）的唇重构方法对多视角唇图进行角度分类及正面重构;然后设计两个异构三维卷积神经网络,分别用来描述音频和视频信号,并提取包含长时时空关联信息的三维卷积特征;最后引入对比损失函数作为音视频信号匹配的相关度鉴别度量,将音视频网络输出耦合到同一表示空间,并进行一致性判别。实验结果表明,文中方法能重建出更高质量的正面唇图,一致性判别性能优于多种不同类型的比较方法。     

基于虚拟仪器的瞬时声响三维实时定位系统

基于平面四元方阵三维声响定位模型和互功率谱相位时延估计算法,按照虚拟仪器的设计理论,采用研华PCI—1714数据采集卡进行瞬时声响检测、激励及信号采集,由LabVIEW和Matlab混合编程进行系统控制,设计了四元同步实时声响定位系统.结果表明:该系统对瞬时声响的定位速度较快,精度理想,能进行有效实时跟踪定位.     

基于特定韵母发音事件分析的语音唇动一致性判决方法

针对现有一致性判决方法主要对整句(段)话进行分析,并无对分析内容加以筛选,存在运算繁琐及结果易受静音等弱关联片段影响等不足,以唇型变化显著的韵母发音单元为研究重心,通过分析聚类后各韵母类别的音唇关联度,选出更具代表性的特定韵母单元并结合位置时延分析,提出了基于特定韵母发音事件分析的音唇一致性判决方法。该方法先分割并识别出特定韵母单元;然后求出以上各韵母发音事件的音唇相关度,并对特定韵母出现位置的时延分布进行分析;最后融合特定韵母事件的音唇相关度得分与位置时延分析评分进行一致性判决。通过实验对该方法与其他方法进行了对比,结果表明,该算法在识别性能上优于多种整句分析的比较算法,同时也相应降低了运算量。