智能环境中音视频双模态的身份辨识

首先描述了智能环境下一种基于语音和人脸图像的双模态的身份辨识系统;然后在基于语音的说话人辨识中采用改进的基于语音段的高斯混合模型,在基于人脸的身份辨识中利用K近邻法对整个视频序列而非单个静止图做判决;最后在评分层通过对双模态输出的评分进行规整和加权组合实现融合.实验表明,音视频双模态融合能有效提高身份辨识系统的正确率.     

基于结构化特征语音模型的区别性说话人自适应算法

针对特征语音说话人自适应算法的缺陷,提出了基于结构化特征语音模型的区别性说话人自适应方法.该算法能根据自适应数据量调整自适应参数,并采用基于最大互信息量准则的区别性参数估计方法,进一步提高了自适应性能.有监督自适应的实验结果表明,在仅有一句自适应语句的情况下系统误识率相对下降了6.7%,同时算法表现出了优于特征语音自适应方法的渐进性能.     

基于自适应交互式多模型粒子滤波的分布式说话人跟踪算法

针对分布式麦克风网络中的说话人跟踪问题,提出一种自适应交互式多模型粒子滤波算法,以实现复杂环境下对说话人的分布式跟踪.首先,对分布式麦克风网络中的说话人跟踪问题建立状态空间模型,并利用贝叶斯滤波理论求解该问题.然后,将交互式多模型与粒子滤波相结合,提出一种双粒子滤波方法对运动模型的转换概率进行自适应估计,以更好地对多种...     

自适应权重的双模态情感识别

情感识别是人机交互领域的重要问题之一.语音和脸部肌肉动作信息是用于情感识别的2个最重要的模态.该文认为,在双模态情感识别中,给不同的特征赋予不同的权值有利于充分利用双模态信息,提出了一种基于Boosting算法的双模态信息融合方法,它能够自适应地调整语音和人脸动作特征参数的权重,从而达到更好的识别效果.实验表明,该方法能够更好地区分易混淆的情感状态,情感识别率达84％以上.     

基于平移不变字典的语音唇动一致性判决方法

针对传统语音唇动分析模型容易忽略唇动帧间时变信息从而影响一致性判别结果的问题,提出一种基于平移不变学习字典的一致性判决方法.该方法将平移不变稀疏表示引入语音唇动一致性分析,通过音视频联合字典学习算法训练出时空平移不变的音视频字典,并采用新的数据映射方式对学习算法中的稀疏编码部分进行改进;利用字典中的音视频联合原子作为描述不同音节或词语发音时音频与唇形同步变化关系的模板,最后根据这种模板制定出语音唇动一致性评分判决准则.对四类音视频不一致数据的实验结果表明:本方法与传统统计类方法相比,对于少音节语料,总体等错误率(EER)平均从23.6%下降到11.3%;对于多音节语句,总体EER平均从22.1%下降到15.9%.     

多模态情感分析模型对抗攻击评估与防御方法

为系统探究多模态情感分析模型在对抗攻击下的鲁棒性,采用3种经典对抗攻击方法(快速梯度符号方法、投影梯度下降和动量迭代快速梯度符号方法)、2种模态数据输入(视觉和语音)和4种不同的数据特征融合方法(特征相加、特征拼接、多模态低秩双线性和多模态Tucker融合),对比各种组合下模型的性能表现,研究影响多模态情感分析模型鲁棒性的内在因素．提出一种基于互信息最大化的多模态防御方法,通过减少输入模态特征中的冗余信息提升模型鲁棒性．研究结果表明：在非线性特征融合及双模态数据输入组合下,模型抵御对抗攻击效果最佳;在应用互信息最大化防御方法后,模型性能及抵御攻击能力均可得到有效提升．     

基于SVD的唇动视觉语音特征提取技术

唇动视觉语音特征提取是音视频驱动的人脸动画唇动表示和唇读研究的关键技术．首先针对彩色视频图像进行唇色增强，对增强后的灰度图像进行闽值分割，获取唇部包围框，并根据口型发音的视觉特征进行初分类；然后进行尺度与灰度归一化处理，对预处理后的图像提取奇异值特征；最后采用基于欧氏距离的模板匹配法对该奇异值特征所包含的视觉语音信息进行测试试验．结果表明该低维度特征包含了大量唇动视觉语音信息，可用于单个人在自然环境下的唇语口型识别．     

基于分层采样粒子滤波的说话人跟踪方法

利用分层采样方法,融合波达方向和时间延迟两种信息,实现了对说话人的定位与跟踪.分层采样方法考虑波达方向和时间延迟这两种不同观测信息对说话人位置估计精度的差异,将基于波达方向滤波得到的状态后验概率密度函数作为基于时间延迟滤波的重要性采样函数,增强了重要性概率密度函数与后验概率密度函数的相似程度,从而改善了重要性概率密度函数的质量,减小了采样粒子权值的方差,提高了对说话人位置的估计精度.仿真实验验证了该方法的有效性.     

基于正则化粒子滤波的说话人跟踪方法

针对噪声与混响环境下的说话人跟踪问题,提出一种基于正则化粒子滤波(RPF)的麦克风阵列声源定位与跟踪方法.该方法在正则化粒子滤波框架下,采用适应性较强的布朗运动模型,通过计算麦克风阵列波束形成器的输出能量来构建似然函数.实验结果表明,本文方法优于标准粒子滤波,有效提高了说话人声源跟踪系统的抗噪声与抗混响能力,即使在低信噪比(SNR=-5dB)情况下,也能有效跟踪.     

鉴别性最大后验概率线性回归说话人自适应研究

为增强自适应后的声学模型的鉴别能力,提出了一种基于最大互信息(MMI)的鉴别性最大后验概率线性回归(MMI-DMAPLR)说话人自适应方法. 将最大互信息准则和最大后验概率(MAP)准则相结合,设计了一个新的目标函数来估计基于线性变换的自适应方法中的变换参数,在最大后验概率估计中加入了鉴别性. 大词汇量连续语音识别的实验结果表明,新方法在增强声学模型与测试数据的匹配性的同时,可以有效提高声学模型的鉴别能力,在少量自适应数据的情况下,其性能比最大后验概率线性回归(MAPLR)相对提高4.8%.      

基于互信息判据的小波去噪

通常的线性滤波技术不能很好地解决非线性时间序列去噪问题，而现有的非线性去噪技术的参数选择往往要依赖于直觉和经验．为此，提出基于互信息判据的小波去噪方法，利用小波进行非线性去噪处理，并以互信忠作为去噪处理截止的判定条件，给出了小波去噪算法，分析了其优势，并进行了仿真实验．仿真结果表明，小波算法能更好地处理不平稳和突发的噪声；互信息所指示的优化截断尺度，既较好地保留了信号的动力结构，又有效地实现了非线性噪声过滤．     

基于互信息的变模态分解算法及应用

为解决传统变模态分解( VMD: Variable Mode Decomposition) 结合算法中,K 值选择没有标准,从而导致信号提取存在一定程度误差的问题,提出一种基于互信息的变模态分解有效本征模态函数( IMFs: Intrinsic Mode Function) 的判断方法。该算法通过原始信号与VMD 所获得的IMFs 的和之间的差值,实现预置标度K 值的模糊优选提取信号的主要特征。仿真信号实验表明,所提方法具有最大的输出信噪比和最小均方误差( MSE: Mean Square Error) ,实现了K 的模糊优选,并通过实验验证了该方法对管道泄漏信号滤波的有效性。     

基于双互信息准则的雷达自适应波形设计方法

自适应波形优化技术是认知雷达的关键技术之一,通过优化发射波形能够提高雷达系统性能.针对目标检测问题,在杂波环境下,提出一种基于双互信息优化准则的自适应波形优化方法.该方法同时以接收信号与目标冲激响应之间的互信息最大和接收信号与杂波冲激响应之间的互信息最小为优化准则,在发射信号能量有限的约束条件下,建立优化模型,通过最大边缘分配算法求解最优波形.仿真结果表明,相对于固定波形,所提方法优化发射波形能够提高目标检测性能.     

说话人识别中改进的MFCC参数提取方法

在说话人识别技术中,特征参数的提取对语音训练和识别有着非常重要的作用。而Mel频标倒谱系数MFCC是一种常用的特征,它能对语音信号进行分析处理,去除对语音识别无关紧要的冗余信息,获得影响语音识别的重要信息。同时由于语音信号具有时变和混沌特性,以非线性随机共振理论和人类对听觉的理解为基础,提出了一种基于随机共振的MFCC特征参数提取方法。通过实验比较两种方法的结果,论证了改进方法的可行性以及优越性,为说话人识别技术中特征参数提取提供了一条新的研究方向。     

基于最大互信息的离散隐马尔柯夫模型训练方法

在基于隐马尔柯夫模型（HMM）的语音识别系统中,模型训练最常用的算法是Baum-Welch算法,该算法具有快速收敛及保证每步迭代模型的似然概率单调增的优点,但它基于最大似然训练准则,而该准则不能将各个模型很好地分析,这直接导致了识别时的错误,鉴于最大互信息可以克服这一缺点,提出了一种基于最大互信息的训练方法,该方法借助于梯度,调整参数以使模型与训练数据的互信息最大,实验结果表明,使用该方法使系统的识别性能得到了一定的改善。     

基于张量分解模型的语音信号特征提取方法

提出了一种通过张量分解提取语音信号特征的方法. 该方法对语音信号进行预处理,然后对每帧语音信号进行小波分解得到不同尺度上的信息,对这些信息提取传统特征参数,构建一个帧结构×分解尺度×特征参数的三阶张量,并经过张量分解得到各阶投影矩阵,从而建立语音信号在高阶空间上的特征体系,以便充分表征语音信号的特征. 实验结果表明,本文提出的方法与传统特征参数体系比较,有利于语音识别系统性能的提高,并且对于带噪语音的识别具有一定的鲁棒性.      

干扰条件下基于互信息量准则的弹载雷达波形优化

弹载雷达发射波形设计在导弹制导系统中有着重要作用。为解决复杂电磁环境下,弹载雷达受到噪声、杂波和干扰影响导致目标探测性能降低的问题,基于互信息量（mutual information,MI）准则提出了一种新的同时存在噪声、杂波和电子干扰影响时的发射波形优化算法,通过拉格朗日乘子法得到最大化目标响应与雷达回波间互信息量的最优波形表达式,并利用一阶泰勒级数近似简化该表达式。仿真实验对比了不同杂波和压制干扰、不同发射能量约束下优化前后所获互信息量;结果表明,当平均功率限制为100 W时,相比于原始波形,采用优化信号情况下所获互信息量翻倍。优化发射波形能够通过优化信号的频域能量分布,主动避开干扰和杂波影响大的频率,使接收回波包含更多目标信息。     

采用小波变换的均方值滤波和门限值编码的语音端点检测

语音通信中语音噪声分离是一项艰巨而热门的研究课题.其中语音端点检测是最流行的方法之一.目前一种方法是检测短时平均幅度Mn和短时平均过门限率Zn.该方法的Mn和Zn参数检测不太准确.另一种是基于分形理论的检测方法.此方法要设置一个较佳的门限值通常比较困难.还有一种是基于DWT变换的方法.这种方法的互相关系数包络不能准确地表现原始语音信号的包络.为此，本文提出一种基于小波变换的均方值滤波和门限值编码的方法.本方法先对语音信号进行小尺度小波变换,然后进行均方值滤波,再进行门限值编码去确定语音端点.该方法的优点     

基于MPSO粒子滤波的单通道扰信盲分离算法

针对单通道接收情况下通信信号与干扰盲分离的难题,提出了一种基于变异粒子群优化粒子滤波的单通道扰信盲分离新算法。首先建立了受扰通信信号的状态空间模型,并利用变异粒子群重采样粒子滤波进行通信码元和未知参数的联合最大后验估计,有效改善了标准粒子滤波中存在的粒子退化现象,在减少所需粒子数量的同时,又保持了序贯估计过程中粒子集合的多样性和优质性,使新算法在干信比较大时也能保持较好的分离性能。仿真实验表明,对单音干扰,在干信比等于30 dB,信噪比大于15 dB的条件下,新算法可以有效地从单路接收的受扰信号中分离出通信信号与干扰。     

基于熵权法的过滤式特征选择算法

互信息过滤式特征选择算法往往仅局限于互信息这一度量标准.为规避采取单一的互信息标准的局限性,在互信息的基础上引入基于距离度量的算法RReliefF,从而得出更好的过滤式准则.将RReliefF用于分类任务,度量特征与标签的相关性;应用最大互信息系数(maximal information coefficient,MIC)度量特征与特征之间的冗余性、特征与标签的相关性;最后,应用熵权法为MIC和RReliefF进行客观赋权,提出了基于熵权法的过滤式特征选择算法(filtering feature selection algorithm based on entropy weight method, FFSBEWM).在13个数据集上进行对比实验,结果表明,FFSBEWM所选择的特征子集的平均分类准确率和最高分类准确率均优于其他对比算法.