基于人脸和人耳的多模态生物特征识别

单一模式生物特征识别系统由于存在一些固有的局限性,有时难以满足实际应用的需求,本文提出了基于正面人脸和人耳信息融合的多模态生物特征识别方法.针对USTB人耳图像库和ORL人脸图像库,利用核Fisher鉴别分析方法分别进行了人耳识别、人脸识别和人脸人耳融合识别,融合策略包括图像层融合和特征层融合两种.识别结果表明基于人脸人耳信息融合的多模态识别的识别率优于单体的人耳或人脸识别.这说明融合多种生物特征的多模态识别可以提高身份认证的准确率,也为实现非打扰式识别提供了一种新的途径.     

基于KCCA的特征融合方法及人耳人脸多模态识别

鉴于人耳和人脸特殊的生理位置关系,本文从非打扰识别的角度出发,提出一种基于人耳人脸的多模态生物特征识别技术。首先仅采集侧面人脸图像,然后将核方法引入到典型相关分析(CCA)中,提出基于核CCA的特征融合方法,抽取两组特征矢量的非线性典型相关特征构成有效鉴别特征矢量用于识别,并应用其提取人耳人脸的关联特征进行个体的分类识别。实验结果验证了基于KCCA特征融合方法的有效性;此外,与单一的人耳或侧面人脸特征体识别比较,基于人耳和人脸融合的多模态生物特征识别性能得到提高,这为非打扰生物特征识别提供了一条有效的途径。     

基于特征融合的人脸人耳多生物身份鉴别

针对人头旋转时单一人脸识别率较差的问题,基于人脸与人耳位置上的关联性,提出人脸人耳多生物特征级融合的身份鉴别方法以克服姿态带来的影响．首先采用传统独立成分分析（ICA）方法及其变形分别提取出图像的局部和全局特征,然后将这2种互补的特征进行多模态加权串联融合,并采用基于非线性核函数的主元分析法（KPCA）降维．在USTB图像库上的实验表明,2种独立成分特征具有很好的互补性,多生物识别大大优于单一生物识别,且提出的核非线性降维方法进一步改善了识别性能．     

基于广义典型相关分析融合和鲁棒概率协同表示的人脸指纹多模态识别

针对单模态生物特征识别容易受自身条件和环境变化的影响,鉴于人脸识别和指纹识别已经在生物识别系统中得到了广泛应用,提出了二者特征信息融合的多模态生物特征识别方法。该方法首先对人脸、指纹图像进行预处理,并对这两种模态均提取LBP和Gabor特征,然后将广义典型相关分析方法分别引入到人脸多特征融合和指纹多特征融合中,应用分块对角矩阵组合上述融合的人脸特征和指纹特征,最后用鲁棒概率协同表示分类器进行分类。在两个多模态数据库上的实验结果表明:与人脸或指纹单模态生物特征识别相比,基于人脸指纹的多模态生物特征识别具有更高的识别率和更好的稳定性;所提出的基于广义典型相关分析的特征融合方法优于传统的融合方法。     

基于人脸与虹膜的多生物特征融合识别算法研究

在研究传统人脸特征提取算法的基础上,提出基于LDA-LLE的人脸识别算法。该算法同时具有线性方法和非线性方法的优点,对人脸图像的常见变化,如光照、姿态等具有一定的鲁棒性;研究了基于Hough变换的虹膜特征定位算法,该定位算法通过检测两个圆和两条直线来实现虹膜图像的精确定位;然后分别利用SVM和KCCA在匹配层和特征层实现了的人脸图像和虹膜图像的融合;并利用ORL人脸库和IITD虹膜库组成的多模特征库上进行仿真实验。实验结果证明了这两种融合算法的有效性,尤其在小样本的情况下,该融合方法也能取得较高的识别率。     

基于核典型相关分析的姿态人耳、人脸多模态识别

选用在生理位置上具有一定关联性的人耳和人脸作为研究对象,针对剧烈的姿态变化会造成融合信息大量缺损的问题,提出了一种基于核典型相关分析的多模态识别方法,利用标准化和中心化两种方法对原始数据集进行预处理,并用最近邻方法进行分类识别. 实验结果表明,核典型相关分析方法可以有效地克服剧烈的姿态变化对人耳和人脸识别的影响,且与单生物特征相比,识别率显著提高.     

一种基于注意力机制与多模态的图像描述方法

最近几年在深度学习领域中,自动生成一副图像的自然语言描述引发了学界的广泛关注,原因是图像描述在实际应用中的重要性以及它连接了两个重要的人工智能领域:计算机视觉和自然语言处理.以往的模型大多采用基于模板或简单的编码-解码方式,生成的文本结构较为单一并且不能够根据图像中各个物体的相互关系表达出图像的深层意义.提出了一种基于注意力机制与多模态的图像描述方法,在LSTM(Long-Short Term Memory)的基础上改进了Attention机制,并在Attention结构后面添加了多模态层对图像的上下文特征信息以及LSTM的隐层状态进行融合处理.在两个公共数据集:MS COCO以及Flickr 30K上进行验证,实验结果证明所提方法有效且可以使生成的描述语句更加丰富.     

基于图像与生理参数特征融合的情感识别方法研究

针对采用人脸图像进行情感识别的准确率低、存在个体差异性且不能满足应急处置需求的问题,文章提出了一种基于图像和生理信号的多模态特征融合情感识别方法。利用奇异值分解(singular value decomposition,SVD)方法和小波分解法分别对图像信息和生理信号进行特征提取,然后采用主成分分析(principal component analysis,PCA)方法对多模态特征进行降维融合,将反向传播(back propagation,BP)神经网络作为分类器,对不同情感进行分类识别。情感诱发试验结果表明,该方法能有效提高情感识别的正确率。     

针对指纹模板的可逆信息隐藏编码方法

通过融合指纹、人脸、口令等用户身份信息来进行多模态认证可以提高身份认证系统的安全性.而利用信息隐藏技术,可以将几种身份信息嵌入到某一种生物模板中实现安全存储.本文介绍了一种以指纹模板为隐藏载体的多模态认证技术,该技术的关键问题是要保证嵌入信息后的指纹图片的质量,以确保匹配的精度.为此,提出了一种将二元信息稀疏化的数据嵌入编码方法,利用这种编码可以有效降低数据嵌入过程中对指纹图片的修改,从而改善载密图片的质量,以达到提高匹配精度的目的.该方法嵌入脆弱水印,用于指纹模板的完整性认证.     

基于特征融合的三维人脸识别

针对单一的人脸特征在识别中的局限性,将基于深度图像的全局特征和基于测地线的局部特征进行融合,以提高识别率.将三维人脸点云转换为深度图像后进行预处理,然后使用主成分分析法(PCA)找到一个低维的特征脸空间,依照最近邻法则将其与库集样本进行匹配,所得结果即为全局特征;将测试样本与模板人脸进行匹配,得到35个特征点,这些特征...     

一种基于分层模板的人脸检测方法

针对校园监控视频环境下的人脸检测中人流量大、侧面视频多、低清晰度等问题,提出了一种基于分层结构的脸部形态模板方法,该方法通过综合肤色标定方法、阴影检测算法和脸部分层次的形态特征检测算法,得出了人脸结构信息的4个控制参数.通过在Caltech人脸数据库、ORL人脸数据库和本实验室仿真人脸库的实验结果表明,本文所提出的基于分层结构的脸部形态模板方法能准确高效地检测出人脸,适合应用到校园视频系统中.     

基于多模态特征的光鄄SAR 图像融合配准算法

针对可见光和合成孔径雷达(SAR: Synthetic Aperture Radar)图像融合问题, 在图像预处理基础上, 从像素级特征、纹理级特征及边缘轮廓特征等多模态入手, 优化现有同源图像的配准融合算法。利用改进的SURF(Speeded Up Robust Features)算子、纹理分析及轮廓提取算法, 获取待融合图像的多模态和多尺度特征。通过模糊尺度标准化, 使异源图像特征对能更好地适应特征间的差异性, 从而能进行相似性的比较, 结合模糊相关系数法, 确保配准融合的精度, 实现光鄄SAR 图像信息的有效融合。与传统配准融合方法进行比较的实验结果表明, 该算法可提高光鄄SAR 配准的精度和适应性, 使配准融合的平均准确率达到87. 7%, 可满足较高精度的配准融合需求。     

Multi-modal face parts fusion based on Gabor feature for face recognition

A novel face recognition method,which is a fusion of multi-modal face parts based on Gabor feature(MMP-GF),is proposed in this paper.Firsdy,the bare face image detached from the normalized imagewas convolved with a family of Gabor kernels,and then according to the face structure and the key-pointslocations,the calculated Gabor images were divided into five parts:Gabor face,Gabor eyebrow,Gaboreye,Gabor nose and Gabor mouth.After that multi-modal Gabor features were spatially partitioned intonon-overlappi...     

基于U-Net多尺度和多维度特征融合的皮肤病变分割方法

针对皮肤病变区域尺度不同和形状不规则, 传统U-Net网络方法缺乏从不同尺度分析目标的鲁棒性, 并在提取图像高层语义特征时丢失部分空间上下文信息而影响后续分割精度等问题, 提出一种基于U-Net多尺度和多维度特征融合的医学图像分割方法. 首先, 用空洞卷积融合不同尺度的空间上下文信息; 其次, 用通道上下文信息融合模块提取特征图各通道间的权重信息; 最后, 将特征图中的多尺度和多维度信息进行融合, 以保留更多的空间上下文信息. 实验结果表明, 该方法在皮肤病变数据集上对皮肤病变区域进行分割的分割效果较好.     

步态与人脸融合的身份识别方法

为了保持步态识别的优势,克服单一生物特征识别的不足,提高远距离的身份识别率,提出了一种步态与侧面人脸在特征层上融合识别方法.首先利用二向图像矩阵主成分分析,对步态能量图和侧面人脸图分别进行特征提取与降维处理,得到初始特征矩阵,并将得到的初始特征矩阵进行矢量化、特征组合,获得组合特征向量.然后利用多重判别分析法对组合特征向量进行特征融合,获得步态与人脸的融合特征向量,最后采用最近邻法进行身份识别.利用CASIA Dataset B步态数据库对上述方法进行了验证.结果表明,该方法提高了身份识别的正确率,验证了该方法的有效性,为多生物特征识别提供了一种新的方法.