利用特征距离信息引导决策融合的多模态生物特征识别方法

传统的决策层融合作为识别系统最末端的融合层次,具有信息量不足的缺点,对于各模态分类性能差异较大的系统,识别率低且可靠性差。提出了一种基于特征距离信息的决策层融合方法,应用于包含虹膜、手掌静脉和手指静脉的多模态生物特征识别系统。以置信度作为权重,通过权重来探索不同模态生物特征识别的性能差异,实现了有效特征信息的提取,并且提高了系统的抗干扰能力。该方法充分考虑了权重因子与特征距离信息和模态分类性能参数之间的复杂关系,将模态的决策偏好通过置信度转化为定量表征,不仅使各模态权重因子的求解更具科学性,而且提高了识别系统在复杂情境下的自适应能力。实验结果表明,该融合方法的识别精度与抗干扰能力优于其他决策层融合算法。     

基于特征层和二代曲波变换的多模生物特征融合识别方法

针对单模生物特征识别方法在实际应用中存在识别正确率较低的问题,提出了一种基于特征层和二代曲波变换的单样本多模生物特征融合识别方法,其采用了2种生物特征:掌纹特征和人脸特征.将所有归一化后的学习样本图像和测试图像通过组合的快速离散曲波变换和小波变换进行分解.系数经组合和规范化处理后,在特征层实现融合,融合后的特征参数送入K-最近邻分类器进行分类,从而获得最终识别结果.在香港理工大学掌纹数据库和Ljubljana大学人脸数据库上的实验结果表明,所提方法在每个类别仅使用1个学习样本的情况下,其生物特征图像的最佳平均识别正确率达到92.40%,比单模人脸、单模掌纹识别方法的识别率分别提高了35.38%和8.92%.     

一种基于多任务学习的多模态情感识别方法

为了通过设置辅助任务学习到更具有情感倾向性的视频和语音表示,进而提升模态融合的效果,提出一种基于多任务学习的多模态情感识别模型,使用多模态共享层来学习视觉和语音模型的情感信息.在MOSI数据集和MOSEI数据集上的实验表明,添加两个辅助的单模态情感识别任务后,模型可以学习到更有效的单模态情感表示,并且在两个数据集上的情...     

基于多变量多项式模型的多模态生物特征分数层融合算法

提出了一种基于多变量多项式模型的多模态生物特征分数层融合算法(MPMSF),用多变量多项式模型获取融合分数,用最小二乘法确定模型中的参数.并对多变量多项式模型进行简化,以减小计算量.MPMSF的特点在于不需要分数归一化.采用交叉验证的方法,评估了各种分数层融合算法的正确接受率和分数归一化、单模态性能对分数层融合算法的影响.开集测试表明,MPMSF算法优于传统的分数层融合算法.同时,MPMSF满足多模态生物特征识别系统实时性的需求.     

指纹与指静脉双模态识别决策级融合方法

针对单模态生物特征识别系统固有的缺点,提出一种新的指纹与指静脉识别的决策级融合方法.首先对指纹及指静脉2种模态分别进行第一级分类器设计,得出各自的识别结果;然后将提取出的指纹与指静脉特征点集以特征串联的方式形成新的特征矢量,构成第二级分类器,再得出一个识别结果;最后将上述3个识别结果进行决策级融合得到系统最终的识别结果.实验结果表明本方法克服了单一模态识别方法的局限性,有效地提高了系统的性能.     

增强典型相关分析及其在多模态生物特征识别特征层融合中的应用

提出了增强典型相关分析(ECCA)的概念,并将ECCA用于多模态生物特征的特征层融合.ECCA不仅保持了CCA的本质特征,而且利用了类别信息,能够找到两个特征空间对分类更有意义的投影方向.开集测试表明,ECCA用于特征层融合时,可以获得比广义典型相关分析、串行融合、并行融合特征层融合算法和加法规则、乘法规则等分数层融合算法更好的性能.     

基于人脸和人耳的多模态生物特征识别

单一模式生物特征识别系统由于存在一些固有的局限性,有时难以满足实际应用的需求,本文提出了基于正面人脸和人耳信息融合的多模态生物特征识别方法.针对USTB人耳图像库和ORL人脸图像库,利用核Fisher鉴别分析方法分别进行了人耳识别、人脸识别和人脸人耳融合识别,融合策略包括图像层融合和特征层融合两种.识别结果表明基于人脸人耳信息融合的多模态识别的识别率优于单体的人耳或人脸识别.这说明融合多种生物特征的多模态识别可以提高身份认证的准确率,也为实现非打扰式识别提供了一种新的途径.     

联合人脸与指纹的多模态生物特征识别方法综述

由于基于生物特征识别的方式不但简单快速,而且安全可靠,近年来,作为生物特征识别的典型技术,人脸识别与指纹识别被广泛应用.然而,使用单一特征的生物特征识别系统,其正确率和稳定性还有待提高,且容易被作弊手段攻破.因此,侧重于回顾联合人脸与指纹的多模态生物特征识别方法.首先分别回顾了人脸、指纹识别的研究现状;然后对单模态生物特征识别面临的挑战进行了总结;在此基础上,为了解决单模态生物特征识别存在的正确率不够高和稳定性不够强等问题,重点讨论了联合人脸与指纹进行多模态生物特征识别的方法和未来的发展方向.     

"文本为主"的多模态特征融合的新闻视频分类算法

视频分类算法通过融合多模态特征提高分类性能.大多数多模态特征融合算法采用统一模式处理不同模态特征,忽略文本与声音/图像特征在视频分类能力和可靠性方面的差异.该文提出一种新闻视频分类算法,采用文本为主,声音/图像为辅的特征融合模式.该算法充分考虑文本特征在内容分类方面的高可靠性,并在适当情况下,辅以声音/图像信息为补充.对10类新闻视频进行分类实验,并与其他两种分类算法对比,表明在提取相同的底层特征情况下,该文算法的平均分类性能最佳.     

基于KCCA的特征融合方法及人耳人脸多模态识别

鉴于人耳和人脸特殊的生理位置关系,本文从非打扰识别的角度出发,提出一种基于人耳人脸的多模态生物特征识别技术。首先仅采集侧面人脸图像,然后将核方法引入到典型相关分析(CCA)中,提出基于核CCA的特征融合方法,抽取两组特征矢量的非线性典型相关特征构成有效鉴别特征矢量用于识别,并应用其提取人耳人脸的关联特征进行个体的分类识别。实验结果验证了基于KCCA特征融合方法的有效性;此外,与单一的人耳或侧面人脸特征体识别比较,基于人耳和人脸融合的多模态生物特征识别性能得到提高,这为非打扰生物特征识别提供了一条有效的途径。     

基于特征点距离的手背静脉特征融合方法

针对现有手背静脉识别利用手背静脉特征较少, 识别率较低的问题, 提出了一种基于特征点距离的手背静脉特征融合方法。该方法首先对手背静脉进行细化, 对不变矩特征的量化值求和再进行匹配; 然后提取手背静脉的端点及交叉点, 利用改进的Hausdorff 距离进行匹配, 从而去除零距离点的影响, 提高两幅图之间的非相似性; 最后将这两种匹配方法进行加权融合。实验证明, 该融合算法识别率可达96. 75%, 且运行时间仅为0. 97 s。     

一种基于虹膜和人脸的多生物特征融合方法

针对单一生物特征识别方法易受干扰、应用受限制等问题,提出了一种基于虹膜和人脸的多生物特征融合方法以提高身份识别的精度及可靠性.该融合方法利用 Log-Gabor 相位编码算法和Laplacianfaces 算法对虹膜和人脸进行特征提取及匹配,然后在匹配层对两种生物特征的匹配得分值使用最小最大概率机策略进行融合,最后利用融合后得分值进行决策.该方法与单生物特征识别方法相比,识别性能明显提高.在UBIRIS虹膜库和ORL人脸库构成的多模生物特征库中进行了测试,实验结果表明:该方法的等错误率可降低到 0.28%,比单一虹膜和单一人脸方法分别降低了0.69%和 1.62%,与采用传统融合策略的方法相比,等错误率也降低了 0.2%以上.     

一种新的多特征融合图像检索方法

为解决图像检索中单一特征检索性能不佳、多特征融合耗时的问题,提出了一种新的融合颜色特征和形状特征的图像检索方法。检索过程分为两个阶段:首先对图像进行圆环分块,提取图像整体和各圆环子块颜色特征向量,以特征向量间距离大小为准则对图像库分类;然后在类内提取图像的ART形状描述符作为形状特征进行相似性度量以实现检索。形状特征提取只在某一类内进行,减小了运算量,同时弥补了颜色特征对图像空间信息丢失的不足,提高了检索准确率。仿真实验取得了较好的检索效果。     

基于特征融合的视频异常事件检测方法

为有效对视频数据进行降维并去除特征集合中的冗余信息, 以提高异常事件的检测效率, 从特征提取和选择的角度提出了融合特征区分度和相关性的视频异常事件检测方法。利用视频数据的时空邻域信息进行特征提取。通过分析特征的判别力和相关性进行特征选择, 从而去除特征集合中的冗余信息, 提高异常事件检测的效率和准确性。实验结果表明, 该方法的检测准确率都优于其他传统方法, 能有效地对场景中发生异常事件的区域进行准确定位。     

基于特征融合方法的车型识别研究

车辆音频信号具有复杂的特征,单一特征提取方法不能全面反应该特点。为了使提取的音频信号特征能更好地反映车辆原始信号,本文提出了将已有的短时能量(ENERGY)、短时傅里叶变换（STFT）及梅尔倒谱系数（MFCC）特征提取方法进行融合的方法,依据支持向量机（SVM）的分类识别算法,达到车辆识别的目的。实验表明,提出的组合方法优于单一提取方法,实现了提高识别率的目标,其中,ENERGY+MFCC组合方式效果最好。     

基于广义典型相关分析融合和鲁棒概率协同表示的人脸指纹多模态识别

针对单模态生物特征识别容易受自身条件和环境变化的影响,鉴于人脸识别和指纹识别已经在生物识别系统中得到了广泛应用,提出了二者特征信息融合的多模态生物特征识别方法。该方法首先对人脸、指纹图像进行预处理,并对这两种模态均提取LBP和Gabor特征,然后将广义典型相关分析方法分别引入到人脸多特征融合和指纹多特征融合中,应用分块对角矩阵组合上述融合的人脸特征和指纹特征,最后用鲁棒概率协同表示分类器进行分类。在两个多模态数据库上的实验结果表明:与人脸或指纹单模态生物特征识别相比,基于人脸指纹的多模态生物特征识别具有更高的识别率和更好的稳定性;所提出的基于广义典型相关分析的特征融合方法优于传统的融合方法。     

基于特征融合的快速图像去雾方法

针对图像去雾问题, 提出一种基于特征融合的快速单幅图像去雾方法, 解决了暗通道方法存在的块效应问题. 该方法先采用基于K均值聚类的暗通道先验求得粗尺度下的透射率, 再通过分析雾对成像的影响, 提取有雾图像自身能反映景深变化的饱和度作为细尺度的透射率, 最后通过图像融合技术得到精确的透射率. 通过对
各种真实有雾场景进行测试的实验结果表明, 该方法简单且有效, 能得到理想的去雾效果.     

一种基于特征融合的图像检索方法

特征提取是图像检索的重要步骤,特征提取的好坏对检索结果至关重要．本文融合颜色和纹理特征来表示图像,并分析了单一特征的适用图像类．实验表明,融合特征方法可以得到更好的检索效果．     

基于特征层融合和随机投影的行为识别算法

提出一种基于特征层融合和随机投影的行为识别算法;该方法提取视频序列的时空梯度特征和Gabor特征;然后进行特征层融合,得到分类能力更强的特征,有效地表征人体行为;同时,使用随机投影对融合后的特征进行降维;最后,为了解决主题模型参数估计迭代复杂的问题,将贝叶斯参数估计法应用于LDA(latent dirichlet allocation)主题模型中,对视频中的行为进行分类。在公开的KTH和Weizmann数据集上进行了实验,结果表明方法不仅比单一局部时空特征描述符识别性能好,而且在相同实验设置下,也优于其他基本分类器。