基于注意力机制的多粒度匹配的表情识别模型

面部表情自动识别技术已在人工智能领域受到广泛使用。然而，由于姿态变化和遮挡，人脸表情识别中的一个关键挑战是提取细粒度特征的方法。文章提出一种基于注意机制的多粒度匹配模型，特别地，在多粒度匹配模块中部署了多粒度模块和关注度估计模块。通过多粒度模块将细节图像划分为多个细粒度局部区域，并计算局部特征的关注度权重来构造全局特征。图像细节处理模块用于获取原始图像的细节特征。在CK+和Fer2013上进行了大量实验，结果证明了本文方法的有效性。     

基于CNN-Transformer双流网络的伪脸检测

生成对抗网络（generative adversarial networks, GANs）技术正逐步成为合成图像的主流方法，合成的人脸图像对社会稳定和国家安全具有潜在的风险隐患，因此识别GAN生成的人脸已成为一个重要问题。为解决卷积神经网络（convolutional neural networks, CNN）在训练过程中无法获取图像全局表示的问题，本文提出了一种CNN-Transformer双流网络检测框架，旨在最大限度提取局部特征的同时，进一步保留图像的全局信息。首先，在CNN分支流中引入空间注意力和通道注意力，关注图像关键信息并提取局部特征；其次，利用Transformer分支流提取图像的全局信息；最后中间利用桥接双分支的MixBlock交互模块分别将两者提取的局部特征和全局信息融合在一起。实验结果表明：与现有两种方法相比，本文所提方法在公共伪脸数据集上的分类检测精度分别提升了5.42%和1.95%，并且在后处理的图像上表现出一定的鲁棒性。     

典型相关分析融合LBP和HOG特征的人脸年龄估计

通过人脸分析方法估计人类年龄的困难在于人脸外观的变化原因除了年龄变化,还受生活方式及环境等影响。人脸图像在采集时的复杂性造成的光照不均,人脸姿势等,也增加年龄估计难度。目前大多数年龄估计的方法都是预先对人脸图像进行灰度均衡和人脸矫正等预处理,采用外形或纹理信息作为特性的估计方法。提出一种多特征融合的人脸年龄估计方法,采用有较好的光照及旋转不变性的局部二进制模式(LBP)和梯度直方图(HOG)作为人脸年龄变化的特征描述子,用典型相关分析法(CCA)在特征层将LBP和HOG融合成更具年龄变化鉴别力的特征。然后通过学习得到一个多线性回归函数揭示融合后的特征和年龄之间的关系。实验结果表明该方法在没有人脸矫正等预处理的情况能取得较好效果。     

基于多方向滤波的人脸年龄图像合成方法

为补偿人脸识别中的年龄变化,结合人脸形状与纹理信息,提出了一种新的人脸年龄图像合成方法来模拟年龄变化.首先将人群划分成8个年龄段,选取不同年龄段人脸的多个特征点,依据径向基函数变形技术,得到脸形变形函数,对人脸进行形状变形;接着对目标图像进行多方向滤波,提取原始纹理信息,然后根据使用神经网络模拟得到的年龄因子,选择相应的模板纹理信息,在原始纹理信息基础上进行置换和融合,得到新的纹理信息特征,并将得到的纹理特征叠加在已经变形的人脸图像上,合成年龄模拟图像.另外为进行更细微的纹理控制,使用高斯滤波器调节滤波程度.试验结果表明该方法简单易行,而且可以生成更接近目标年龄的人脸图像.     

基于多方向Gabor特征图协同表示的鲁棒人脸识别

为提高基于稀疏表示分类(SRC)算法在可变光照、姿态和表情下的人脸识别性能,提出一种基于多方向Gabor特征图(MGFM)和协同表示分类(CRC)的鲁棒人脸识别方法。首先,对人脸图像进行多方向多尺度Gabor变换,并融合同一方向不同尺度的Gabor特征;其次,在每个方向的融合特征图上提取Gist特征。在进行人脸识别时,可采取2种方法:1)将人脸图像所有方向的Gist特征直接串联或自适应加权后串联构成人脸全局特征向量,并使用协同表示分类器得到识别结果;2)对人脸图像每个方向的Gist特征向量分别使用协同表示分类器进行预分类,预分类时使用自适应K近邻策略确定候选类并进行评分,取总得分最高的类作为识别结果。最后,在ORL,Extended Yale B和AR等人脸数据库上开展人脸识别实验,由提出的方法分别取得99.8%,100%和99.7%的识别准确率和较快的执行速度。研究结果表明:本文方法利用多方向Gabor特征图(MGFM)建立人脸图像的特征表示能有效描述人脸局部信息,利用自适应K近邻策略改进协同表示分类算法能取得较高的识别准确率和执行效率。     

多尺度特征融合网络的磁共振快速重建方法

为了提高磁共振的数据采集效率,提出了一种多尺度特征融合网络。该网络模型由二扩张卷积和三扩张卷积特征融合块组成,采用扩张卷积以较少的参数扩大网络的感受野。在特征融合块中将几个扩张卷积残差模块组合在一起,并通过跳跃连接直接传输每个局部残差分支模块上的特征。使用特征融合块融合局部残差特征来产生更丰富的特征表示,同时引入局部残差学习来提取更多的图片细节。通过多组不同加速倍率下的重建实验并与其他文献中提到的方法相比较,实验结果表明,该网络重建出的磁共振图像具有更高的峰值信噪比和结构相似性。     

一种红外偏振与光强图像的暗原色多特征分离融合方法

针对现有红外偏振和光强图像融合算法不能同时兼顾提高对比度、突出明亮特征和保持边缘细节信息的问题,提出一种暗原色多特征分离融合的新方法。首先,对源图像进行局部最小值滤波和引导滤波得到暗原色图;然后,经过差值、绝对值取小融合的处理,提出暗原色多特征分离方法,得到包含亮、暗以及边缘细节信息的三部分图像;最后,对三部分图像采用不同规则分别融合,通过重构和亮度调整得到最终融合图像。实验结果表明,本文方法能有效地融合源图像的互补信息,不仅能够保留边缘细节信息,同时也能突出明亮特征和图像整体对比度,在实际的目标识别中具有一定的优势。     

非局部多尺度融合的单帧图像超分辨率重建

现有的深度超分辨率重建模型,用堆叠多个相同模块的方式获取具有更高精度的重建结果,但未能充分考虑各层特征间的上下文关联信息.提出一种基于非局部多尺度融合的图像超分辨率重建模型.该模型采用3种模块:非局部模块、多尺度融合模块和宽激活残差模块.其中,非局部模块用于获取图像的全局特征,关注目标的核心区域;多尺度融合模块用于融合...     

基于改进CycleGAN的煤矿井下低照度图像增强方法

针对井下监控装置采集的图像普遍存在照度低、颜色失真及细节特征损失严重等缺陷,提出一种基于改进CycleGAN网络的煤矿井下低照度图像增强算法．首先针对井下成对图像数据获取困难的问题,基于循环生成对抗网络搭建循环图像增强主体框架实现模型的无监督训练;然后基于CSDNet的全局图像分解架构,设计了一种融合空间-通道注意力模块CBAM的双分支估计网络以并行估计图像的光照分量和反射分量,并在两分支网络之间建立多尺度特征分解机制,从而在大幅提升亮度的同时避免颜色失真现象,保留大量细节信息;使用全局-局部判别器调节图像局部区域的亮度,改善亮度不均,避免过曝及阴影现象．实验结果表明：相较于对比算法RetinexNet,LLNet,MBLLEN,EnlightenGAN和CSDNet,本算法在客观质量指标PSNR(峰值信噪比)、SSIM(结构相似性)、IFC(信息保真度)和VIF(视觉信息保真度)上的表现分别提高了11.787%,8.256%,9.658%和8.654%,并在人类视觉主观分析上优于对比算法,证明本文算法能够有效改善井下低照度图像视觉效果．     

结合多尺度特征和多维注意力的人脸风格转换

针对StarGANv2模型生成的人脸图像存在风格重建效果不佳、人脸纹理不够自然等现象,该文提出结合多尺度特征和多维注意力的人脸风格转换模型.1)将多尺度特征融合模块PSConv嵌入StarGANv2生成器内,提高了模型对图像特征的提取能力;2)提出了多维注意力模块MDConv,并将该模块嵌入StarGANv2判别器内,从而提高了模型对真假人脸图像的判别能力.与StarGANv2方法在CelebA-HQ数据集上进行对比实验的结果表明：该方法生成的人脸图像风格更美观,纹理细节更自然,学习感知图像相似度(LPIPS)的值也得到了提升.     

基于局部定向模式的人脸年龄估计

人脸年龄自动估计在人机交互中有着非常广阔的应用前景,正吸引着人们的广泛关注。然而,人脸年龄估计仍是一个极具挑战性的问题,为此,提出了一种新的年龄估计方法。首先,采用局部定向模式(LDP)和Gabor小波变换分别提取人脸的全局和局部特征。然后,基于信息融合理论对这两种特征进行融合,并用PCA方法对融合后的特征进行降维,从而获得低维的年龄特征向量。最后,利用支持向量回归(SVR)方法进行年龄估计。在公共的FG-NET年龄数据库上进行了实验,实验结果表明,所提出的方法是有效的。     

基于不同分块多特征优化融合的人脸识别研究

针对光照、姿态、表情等复杂情形下人脸识别率较低的问题,提出基于不同分块多特征优化融合的人脸识别方法.首先考虑了局部二值模式、局部相位量化特征和小波变换特征.进一步,考虑单一分块算法会使分割线周边信息不能完整提取,从而丢失对人脸识别的有用特征,提出了人脸灰度图像多重分块的方法.最后,采用遗传算法对不同分块多特征进行权值寻优,得到最优权值.在大规模人脸数据集FRGC2.0数据库上进行实验四验证,验证率达到95.31%(FAR0.1%),首选识别率为99.06%,相比于前期文献,该算法能多方位提取人脸特征信息,提高人脸识别率,且所用特征较少.     

基于ICA多特征融合的人脸识别

提出了一种基于特征融合的人脸识别方法.该方法首先对预处理后的人脸图像进行全局特征及局部分量的提取,分别采用离散余弦交换(DCT)提取包含图像大量信息的低频部分特征和奇异值分解(SVD)抽取图像的代数特征作为图像的全局特征,采用非负矩阵分解(NMF)提取图像的局部分量特征,然后将此两类特征以独立成份分析(ICA)进行融合,获取用于人脸识别的特征向量.在本文的实验中,我们将此特征向量应用于支持向量机(SVM)进行分类训练及识别测试,并获得较好的结果.     

融合加速稳健特征的子空间人脸识别方法

为了充分利用人脸特征信息更加准确全面地描述人脸,提高现有识别算法的识别率,提出一种融合改进的加速稳健特征和子空间特征进行人脸识别的方法。利用AAM形状模型的训练方法,训练得到41个点的人脸形状模型;对每幅图像进行特征点初歩定位,找到并保留与初歩定位的特征点空间距离最近的SURF特征点。将SURF特征点描述子利用PCA降维,得到改进的SURF局部特征向量。然后利用PCA对图像进行全局特征提取,将局部特征与全局特征进行融合,组成全新的特征向量。最后通过特征向量的匹配实现识別。对包括本算法和PCA-SIFT算法在内的6种不同识别算法进行了验证。实验结果表明,提出的算法在改变ORL人脸库中训练集样本数的情况下,识别率均优于其他算法;在样本数为5的情况下比PCA-SIFT方法提高了4.3%,可见该算法提高了人脸的识别率具有较强的鲁棒性和分类性。     

基于语音与人脸参数化表示的跨模态稠密深度

为了提高跨模态人脸表示与合成的性能,针对语音与人脸图像2种模态数据,提出一种基于人脸参数化表示与稠密深度网络相结合的面部生成方法。针对输入语音模态,通过对信号进行频谱变换,将一维时域信号转换到二维频率域,可提取频域上稳健的特征描述;针对输出图像模态,利用主动外观模型对不同面部区域独立建模以降低区域间的相关性,并提取紧凑的人脸参数化特征;为了获得有效的跨模态学习性能,提出采用稠密连接的深度卷积神经网络学习语音、图像2种模态的回归预测,并通过预测的人脸参数进行面部重构,所采用的深度网络模型可以加强特征传播与特征复用,有利于增强面部细节的合成。在2组音视频数据集上验证了提出方法的有效性。     

融合主动外观模型与局部二元模式的人脸识别

提出一种新的人脸识别算法.首先,利用主动外观模型(active appearance model,AAM)提取人脸五官特征点,进而获得人脸区域的全局纹理特征;然后对人脸区域中的若干个局部子块进行加权局部二元模式(local binary pattern,LBP)的特征组合;接着分别对这两类特征进行最近邻法则匹配;最后,采用基于模糊综合的原理对这两大类特征进行数据融合,给出最终识别结果.实验表明该算法的有效性,能够很好地结合人脸图像全局和局部的互补信息,识别效果优于各单一模块的分类性能.     

改进多尺度卷积神经网络的人脸表情识别研究

为了有效改善现有人脸表情识别模型中存在的信息丢失严重、组件间相对空间联系不密切的问题,提出了一种改进的多尺度卷积神经网络模型,通过构建深层多尺度卷积神经网络,使模型能够挖掘出更多潜在的特征信息;通过特征融合促进信息的流通和重利用,减少池化操作所引起的重要信息丢失,使得模型具有更好的学习能力;通过控制每层多尺度卷积神经网...     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。     

基于多任务学习的行人重识别特征表示方法

作为一种跨摄像头的检索任务,行人重识别会受到不同相机视角造成的图像样式变化的影响。近年来,许多算法通过神经网络直接从原始输入图片中学习相应特征,虽然这些特征能够很好地描述全局行人,但忽略了许多局部细节信息,在复杂的场景下容易出现误识别。针对此问题,研究了一种基于多任务学习的新的特征表示方法,采用成对输入的孪生网络结构,将局部最大出现特征(local maximal occurrence,LOMO)和深层特征一起送入网络并映射到单一的特征空间中进行训练,形成一种新的网络模型TDFN(traditional and deep features fusion network)。利用神经网络自我学习特性,联合多个任务的损失函数更新网络,使得深层特征学习到更多与手工局部特征互补的细节信息。实验表明,新特征的平均精度mAP和Rank-1精度都优于直接从孪生网络提取的全局描述子。     

一种多尺度可变形部件模型的人脸表情识别的研究

针对现有表情识别研究无法捕捉脸部关键部位特征,提出一种多尺度可变形部件模型(DPM)的人脸表情识别方法。首先,构建多尺度图像的特征金字塔,然后,用随机梯度下降算法训练人脸DPM模型,根据DPM模型中根滤波器与部件滤波器的响应值确定人脸关键部位位置,最后,提取关键部位的HOG特征,将获得的特征输入到分类器中训练。在CK+和JAFFE表情库上的验证结果表明,该方法在不同角度和光照强弱影响下对人脸均有较好的检测和定位效果,提取的人脸关键部位特征在计算速率和识别率上优于对比算法。