一种基于特征级融合的多模态生物特征识别方法

生物特征识别是信息技术领域的研究热点,其中多模态生物识别技术凭借更好的适用性、更高的安全性及更优的性能成为发展趋势。提出了一种融合虹膜特征和掌纹特征的多模态生物特征识别方法,该方法分别提取虹膜及掌纹特征,融合时不同于传统的匹配级融合,而是从特征级融合入手,采用并行特征融合策略,将两特征向量以复向量的形式进行融合,构成复向量空间,并利用酉距离进行匹配决策。实验结果表明此方法比单模生物特征方法在识别性能上有了明显改善,同时与传统匹配级融合策略相比,更有优势,识别效果更好。     

基于距离置信度分数的多模态融合分类网络

使用多模态数据建模可以有效地克服单一模态信息量不足的问题,大大提高模型的性能.但在量化神经网络模型置信度,尤其是对于多模态融合模型方面并没有很多进展.基于此,提出一种基于嵌入的方法,在嵌入空间中通过计算样本间的距离进行局部密度估计,进而计算模型的置信度分数.该方法具备可扩展性,不仅可以用于单一模态模型,还可以用于多模态...     

"文本为主"的多模态特征融合的新闻视频分类算法

视频分类算法通过融合多模态特征提高分类性能.大多数多模态特征融合算法采用统一模式处理不同模态特征,忽略文本与声音/图像特征在视频分类能力和可靠性方面的差异.该文提出一种新闻视频分类算法,采用文本为主,声音/图像为辅的特征融合模式.该算法充分考虑文本特征在内容分类方面的高可靠性,并在适当情况下,辅以声音/图像信息为补充.对10类新闻视频进行分类实验,并与其他两种分类算法对比,表明在提取相同的底层特征情况下,该文算法的平均分类性能最佳.     

基于特征层和二代曲波变换的多模生物特征融合识别方法

针对单模生物特征识别方法在实际应用中存在识别正确率较低的问题,提出了一种基于特征层和二代曲波变换的单样本多模生物特征融合识别方法,其采用了2种生物特征:掌纹特征和人脸特征.将所有归一化后的学习样本图像和测试图像通过组合的快速离散曲波变换和小波变换进行分解.系数经组合和规范化处理后,在特征层实现融合,融合后的特征参数送入K-最近邻分类器进行分类,从而获得最终识别结果.在香港理工大学掌纹数据库和Ljubljana大学人脸数据库上的实验结果表明,所提方法在每个类别仅使用1个学习样本的情况下,其生物特征图像的最佳平均识别正确率达到92.40%,比单模人脸、单模掌纹识别方法的识别率分别提高了35.38%和8.92%.     

基于多变量多项式模型的多模态生物特征分数层融合算法

提出了一种基于多变量多项式模型的多模态生物特征分数层融合算法(MPMSF),用多变量多项式模型获取融合分数,用最小二乘法确定模型中的参数.并对多变量多项式模型进行简化,以减小计算量.MPMSF的特点在于不需要分数归一化.采用交叉验证的方法,评估了各种分数层融合算法的正确接受率和分数归一化、单模态性能对分数层融合算法的影响.开集测试表明,MPMSF算法优于传统的分数层融合算法.同时,MPMSF满足多模态生物特征识别系统实时性的需求.     

增强典型相关分析及其在多模态生物特征识别特征层融合中的应用

提出了增强典型相关分析(ECCA)的概念,并将ECCA用于多模态生物特征的特征层融合.ECCA不仅保持了CCA的本质特征,而且利用了类别信息,能够找到两个特征空间对分类更有意义的投影方向.开集测试表明,ECCA用于特征层融合时,可以获得比广义典型相关分析、串行融合、并行融合特征层融合算法和加法规则、乘法规则等分数层融合算法更好的性能.     

中文多模态知识库构建

多模态融合旨在将多个模态信息整合以得到一致、公共的模型输出,是多模态领域的一个基本问题。通过多模态信息的融合能获得更全面的特征并且提高模型鲁棒性,目前多模态融合技术已成为多模态领域核心研究课题之一。本文基于ImageNet、HowNet和CCD,通过人工标注构建了一个新的多模态知识库,已完成校准ImageNet中21 455个名词及动词概念的映射,有效地将HowNet以及CCD中概念映射到ImageNet中。该数据集能够应用于自然语言处理任务和计算机视觉任务,并通过图片信息和概念信息提高任务效果。在图片分类中,通过增加HowNet和ImageNet概念能够融合更多的图片特征来辅助分类;在语义理解中,通过映射增加图片信息可以更好地理解语义。     

联合人脸与指纹的多模态生物特征识别方法综述

由于基于生物特征识别的方式不但简单快速,而且安全可靠,近年来,作为生物特征识别的典型技术,人脸识别与指纹识别被广泛应用.然而,使用单一特征的生物特征识别系统,其正确率和稳定性还有待提高,且容易被作弊手段攻破.因此,侧重于回顾联合人脸与指纹的多模态生物特征识别方法.首先分别回顾了人脸、指纹识别的研究现状;然后对单模态生物特征识别面临的挑战进行了总结;在此基础上,为了解决单模态生物特征识别存在的正确率不够高和稳定性不够强等问题,重点讨论了联合人脸与指纹进行多模态生物特征识别的方法和未来的发展方向.     

一种基于多任务学习的多模态情感识别方法

为了通过设置辅助任务学习到更具有情感倾向性的视频和语音表示,进而提升模态融合的效果,提出一种基于多任务学习的多模态情感识别模型,使用多模态共享层来学习视觉和语音模型的情感信息.在MOSI数据集和MOSEI数据集上的实验表明,添加两个辅助的单模态情感识别任务后,模型可以学习到更有效的单模态情感表示,并且在两个数据集上的情...     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

基于特征点距离的手背静脉特征融合方法

针对现有手背静脉识别利用手背静脉特征较少, 识别率较低的问题, 提出了一种基于特征点距离的手背静脉特征融合方法。该方法首先对手背静脉进行细化, 对不变矩特征的量化值求和再进行匹配; 然后提取手背静脉的端点及交叉点, 利用改进的Hausdorff 距离进行匹配, 从而去除零距离点的影响, 提高两幅图之间的非相似性; 最后将这两种匹配方法进行加权融合。实验证明, 该融合算法识别率可达96. 75%, 且运行时间仅为0. 97 s。     

联合空谱信息和Gabor特征的高光谱人脸识别算法

提出一种采用高光谱图像的人脸识别算法.根据人脸肤色在可见光范围内的光谱特征进行波段选择并依据人脸结构特征,对选定波段的灰度图像进行Gabor特征提取.最后分别进行特征层上的融合识别和决策层上的融合识别.特征层融合的权重系数由反射率和正确识别率共同决定,决策层融合算法采用"最高票当选制"原则.利用香港理工大学的高光谱人脸数据库对进行验证.结果证明,本文算法在识别速度和正确识别率方面都得到了显著改善,在3幅训练样本情况下,正确识别率达到96.5%.相对于全波段参与识别,识别速度提高了约3倍.      

基于特征融合的步态识别研究

提取了膝关节的速度距和路径距,膝关节到脚踝关节的距离作为步态特征,这些特征分别描述了步态的动态信息和静态信息.将这些特征融合得到了较全面的步态信息,利用融合特征进行步态识别,提高了步态的识别率.     

一种新的多特征融合图像检索方法

为解决图像检索中单一特征检索性能不佳、多特征融合耗时的问题,提出了一种新的融合颜色特征和形状特征的图像检索方法。检索过程分为两个阶段:首先对图像进行圆环分块,提取图像整体和各圆环子块颜色特征向量,以特征向量间距离大小为准则对图像库分类;然后在类内提取图像的ART形状描述符作为形状特征进行相似性度量以实现检索。形状特征提取只在某一类内进行,减小了运算量,同时弥补了颜色特征对图像空间信息丢失的不足,提高了检索准确率。仿真实验取得了较好的检索效果。     

图像匹配特征的一种融合表示

提出图像匹配特征的一种信息融合表示方法,对由不同传感器所获得的对同一场景进行描述的灰度信息、边缘轮廓特征信息和图像熵信息,进行综合分析,利用不同有效信息之间的互补性,导出更为丰富的图像特征信息,进行图像匹配．实验表明该方法能够提高图像匹配的正确率．     

基于特征融合的视频异常事件检测方法

为有效对视频数据进行降维并去除特征集合中的冗余信息, 以提高异常事件的检测效率, 从特征提取和选择的角度提出了融合特征区分度和相关性的视频异常事件检测方法。利用视频数据的时空邻域信息进行特征提取。通过分析特征的判别力和相关性进行特征选择, 从而去除特征集合中的冗余信息, 提高异常事件检测的效率和准确性。实验结果表明, 该方法的检测准确率都优于其他传统方法, 能有效地对场景中发生异常事件的区域进行准确定位。     

基于特征融合方法的车型识别研究

车辆音频信号具有复杂的特征,单一特征提取方法不能全面反应该特点。为了使提取的音频信号特征能更好地反映车辆原始信号,本文提出了将已有的短时能量(ENERGY)、短时傅里叶变换（STFT）及梅尔倒谱系数（MFCC）特征提取方法进行融合的方法,依据支持向量机（SVM）的分类识别算法,达到车辆识别的目的。实验表明,提出的组合方法优于单一提取方法,实现了提高识别率的目标,其中,ENERGY+MFCC组合方式效果最好。     

基于语义关联性特征融合的大数据挖掘方法

提出一种基于语义关联性特征融合的大数据挖掘算法.对云存储大数据分布式信息流进行高维相空间重构,在重构的相空间中提取大数据的语义关联维特征量,以提取的特征量为测试集进行自适应学习训练.采用模糊C均值算法进行大数据语义关联特征的稀疏性融合和聚类处理,在聚类中心实现对挖掘目标数据的指向性聚敛,输出数据挖掘结果,并采用特征压缩器进行降维处理,降低计算开销.仿真结果表明,采用该方法进行大数据挖掘的特征提取准确性较好,挖掘数据的聚类能力较强,在实时性和准确性方面具有优势.     

基于多级别特征融合的医学图像检索技术

针对医学胸部CT扫描图像,在分别研究单一特征检索算法基础上,提出了基于底层—底层和底层—高层两种级别的特征融合检索方法。据此,用VC#和SQL server2005实现了一个图像检索原型系统,验证了所提方法的有效性。