基于像素特征的微表情识别

微表情持续时间短、表达强度低,给训练有效模型带来了挑战。针对此问题,提出了一种基于像素特征的微表情识别方法。对图像序列的面部区域进行裁剪,消除背景噪声;将每一帧的像素矩阵与第一帧(中性表情)做差处理,提取面部变化;对做差的结果累加,进一步突出面部表情;使用搭建的浅层CNN网络进行分类。在3个公共微表情数据集组成的交叉数据集上进行K折(K-fold)交叉验证实验中,所提方法的3个评价指标ACC(accuracy)、UF1(unweighted F1-score)和UAR(unweighted Average Recall)分别达到了0.830 4、0.782 7和0.794 4,表明了该方法的有效性。与LBP-TOP等8个模型的对比实验中,所提方法的指标明显优于对比模型,验证了该方法的优越性。     

基于光流与LBP-TOP 特征结合的微表情识别

微表情区别于普通的面部表情, 具有持续时间短、面部强度低的特点, 往往难以有效识别, 制约了该领域的研究。针对上述难点, 提出一种新颖的特征结合方法。采用全局光流技术在相邻帧间进行计算, 得到微弱光流, 通过传递前后各帧的运动信息, 在相隔多帧的两幅图像间体现更为明显的变化, 解决了短历时和动作微弱的难题; 将光流特征与LBP-TOP(Local Binary Patterns from Three Orthogonal Planes)算子提取的时空局部纹理特征相结合, 补充描述人脸大多数区域的细节信息。选择随机森林分类器进行实验, 实验结果表明, 两种特征具有很好的互补性, 在CASMEII 数据库下, 能识别5 类情感, 准确率由40. 50%提高至64. 46%, 类间区分度也有相应改善。     

基于3D梯度投影描述的微表情捕捉与识别

以3D梯度描述为依据,提出了一种基于3D梯度投影描述捕捉微表情关键帧的方法.首先,通过对视频流中面部特征区域的投影梯度方向直方图的直观描述来分析面部表情动作趋势,进而通过直方图的峰值区域捕捉微表情所在的关键帧;然后,运用多尺度多方向的Gabor滤波器组提取微表情特征区域的Gabor图谱,并引入局部二值模式进行特征降维;最后,通过基于梯度量级加权的最近邻算法进行微表情的识别与分类.实验结果表明:该方法摆脱了传统视频流表情分析系统对于动态图像序列进行逐帧检测识别的不足,较为有效地实现了图像序列中微表情关键帧的捕捉与识别,提高了系统的实时性与准确性,基本满足微表情对于系统强实时性的需求.     

基于广义典型相关分析融合和鲁棒概率协同表示的人脸指纹多模态识别

针对单模态生物特征识别容易受自身条件和环境变化的影响,鉴于人脸识别和指纹识别已经在生物识别系统中得到了广泛应用,提出了二者特征信息融合的多模态生物特征识别方法。该方法首先对人脸、指纹图像进行预处理,并对这两种模态均提取LBP和Gabor特征,然后将广义典型相关分析方法分别引入到人脸多特征融合和指纹多特征融合中,应用分块对角矩阵组合上述融合的人脸特征和指纹特征,最后用鲁棒概率协同表示分类器进行分类。在两个多模态数据库上的实验结果表明:与人脸或指纹单模态生物特征识别相比,基于人脸指纹的多模态生物特征识别具有更高的识别率和更好的稳定性;所提出的基于广义典型相关分析的特征融合方法优于传统的融合方法。     

基于相关性特征选择和深度学习的网络流分类

随着网络和多媒体技术的发展,网络流量类别越来越多。网络流量正确分类对服务质量保证、资源分配等非常重要。现有研究中,运用简单的算术运算来融合特征,取得了有效的成果。但是,现有特征融合的运算方法比较单一,且高维特征中存在较多的冗余。为此,提出了增强特征融合方法,生成高维特征,并使用皮尔森相关系数选择最优特征组合。在两个真实数据集上对所提方法进行了测试,发现当特征之间的相关性阈值为0.90时,可以最大程度地删除冗余特征。之后,将选择特征生成二维灰度图,使用卷积神经网络(Convolutional Neural Networks, CNN)分类模型,总体准确率可达99.84%;与文献方法相比,准确率提高了2～4个百分点。     

基于多方向Gabor特征图稀疏表示的鲁棒人脸识别方法

为提高对光照、表情、姿态等可变因素的鲁棒性,提出一种基于多方向Gabor特征图稀疏表示的人脸识别方法.对人脸图像进行多方向多尺度Gabor变换,然后将同一方向不同尺度的Gabor特征进行融合得到多方向特征图,再对每个方向的融合特征图提取Gist特征并赋予自适应权重,接着将所有方向特征图的自适应加权Gist特征串联构成人脸图像特征向量,最后利用稀疏表示分类方法实现人脸识别.实验结果表明,本文算法在Yale、ORL和Extended Yale B人脸数据库上的平均识别率分别达到99.8%、99.7%和100.0%.      

基于多方向Gabor特征图协同表示的鲁棒人脸识别

为提高基于稀疏表示分类(SRC)算法在可变光照、姿态和表情下的人脸识别性能,提出一种基于多方向Gabor特征图(MGFM)和协同表示分类(CRC)的鲁棒人脸识别方法。首先,对人脸图像进行多方向多尺度Gabor变换,并融合同一方向不同尺度的Gabor特征;其次,在每个方向的融合特征图上提取Gist特征。在进行人脸识别时,可采取2种方法:1)将人脸图像所有方向的Gist特征直接串联或自适应加权后串联构成人脸全局特征向量,并使用协同表示分类器得到识别结果;2)对人脸图像每个方向的Gist特征向量分别使用协同表示分类器进行预分类,预分类时使用自适应K近邻策略确定候选类并进行评分,取总得分最高的类作为识别结果。最后,在ORL,Extended Yale B和AR等人脸数据库上开展人脸识别实验,由提出的方法分别取得99.8%,100%和99.7%的识别准确率和较快的执行速度。研究结果表明:本文方法利用多方向Gabor特征图(MGFM)建立人脸图像的特征表示能有效描述人脸局部信息,利用自适应K近邻策略改进协同表示分类算法能取得较高的识别准确率和执行效率。     

基于图像色彩特征融合的绝缘子污秽等级检测

针对绝缘子污秽状态非接触检测问题,提出基于可见光图像RGB(red green blue)和HSI(hue saturation intensity)空间信息特征级融合的污秽等级检测方法.利用最佳熵阈值分割法(OET)提取绝缘子盘面区域,分别在RGB和HSI色彩空间进行特征计算,根据Fisher准则进行特征选择,得到可以有效表征污秽状态的特征量,利用核主元分析(KPCA)对两个色彩空间特征的组合进行降维融合,得到三维融合特征向量,结合概率神经网络(PNN)实现污秽等级识别.实验分析表明,基于核主元分析的图像信息特征级融合能够全面地反映绝缘子污秽状态,与单独利用RGB或HSI特征进行识别相比,其准确率有显著提高,可以实现绝缘子污秽等级的有效识别,为绝缘子污闪防治提供了新的方法.     

基于盒注意力机制和Transformer的人脸微表情识别方法

微表情是一种细微的能够体现人真实心理活动的面部运动,通常与真实情感直接相关,应用前景广阔。但由于微表情持续时间短暂、表情幅度低和特征难以提取等特点,因此其识别准确率较低。针对该问题,提出了基于盒注意力机制和Transformer的人脸微表情识别模型(vision transformer based on box-attention, ViT-Box)。该模型首先对人脸面部进行特征提取,利用盒注意力机制获得自适应的面部微表情关键区域：左眉眼、右眉眼和嘴巴;然后对非关键区域进行掩码遮盖,避免微表情无关信息干扰;最后基于Vision Transformer网络实现人脸微表情识别。ViT-Box模型在微-宏表情仓库(MMEW)数据集上取得了98.68%的平均准确率,实验结果表明该模型在微表情识别上能够获得优秀的识别效果。同时通过消融实验验证了ViT-Box模型的有效性。     

基于多分支CNN和多尺度特征融合的非受控人脸年龄估计

现有的人脸年龄估计不能很好地兼顾全局-局部细节的特征表达,因而非受控人脸年龄估计的精度存在一定的提升空间。为解决此问题,提出了一种基于多分支卷积神经网络(convolutional neural networks,CNN)和多尺度特征融合的非受控人脸年龄估计方法。该方法根据人脸关键点对人脸图片剪裁得到包含人脸的全局图像和分别包含眼睛、鼻子、嘴巴的局部图像;使用多分支CNN网络提取对应的深层全局特征和局部特征,使用多尺度特征融合网络探索局部特征间的相关性信息从而进行局部特征选择;将融合的局部特征与全局特征拼接得到兼顾全局-局部细节的年龄特征;使用softmax损失函数优化模型进行人脸年龄估计。根据MORPH Album2、FG-NET、LAP2016人脸年龄数据集上的实验结果表明,提出的方法是有效的。     

基于多模特征的足迹识别算法

基于足迹压力数据提出一种基于多模特征足迹识别算法.该算法采用连通区域滤波法实现足迹压力数据的去噪,对去噪后的数据提取足迹图像的形态特征、压力特征及卷积特征,并基于各特征权重实现足迹多特征的优化融合,最后采用支持向量机(SVM)分类器进行分类识别.实验结果表明:在50人的足迹压力数据上,三类不同模态足迹的识别准确率分别达到了100%,99.925%和94.445%,相较于仅采用形态特征和压力特征的识别,所提出算法的平均识别率提高了10.285%,表明该识别算法能够有效进行足迹识别.     

多特征融合的手背血管识别算法

为促进手背血管识别的应用,提出了一种利用多特征融合进行手背血管识别的算法。该算法对手背血管纹理的多种信息分别提取各自特征并进行匹配,匹配结果通过多特征融合方法进行处理,得到较好的识别效果。在多特征融合中使用量化值归一化算法,对3种归一化算法和4种融合策略进行了组合实验。结果证明,恰当选择归一化和融合算法的多特征较单一的手背血管特征在识别精度方面有较大的改善,特征融合后算法识别等错率(EER)可达2.21%。     

基于集成特征选择策略的基因共表达模式识别

为有效识别内含子 miRNA 及其宿主基因共表达模式, 提出了一种基于集成特征选择的识别方法。 首先 使用基于支持度的集成特征选择算法, 获取相关性和稳定性较高的特征子集, 再使用封装式特征选择方法结合 FCBF(Fast Correlation-Based Filter)搜索策略进一步去除冗余特征和弱相关的特征, 获得最优的特征子集。 实验 结果表明, 该方法融合了多个特征选择方法的优点, 能提高学习模型的泛化能力并能有效识别内含子 miRNA 及其宿主基因的共表达模式。     

基于超声射频信号的特征融合方法对乳腺肿瘤良恶性诊断的价值

为实现对乳腺肿瘤良恶性的高效判别，本文尝试从原始超声射频(Radio Frequency, RF)信号构建融合模型。首先从RF信号提取16种超声特征参数组成特征图图谱。构建高性能卷积网络用于提取多特征图的深度学习特征，并与多特征图的传统组学特征拼接融合；然后进行特征筛选、训练支持向量机模型。实验结果发现，基于支持向量机的特征融合模型在乳腺肿瘤的良恶性诊断中性能优良，测试集的受试者操作特性曲线下的面积、准确率、灵敏度和特异度分别达到：0.992、91.3%、92.3%和90.0%。在本文数据集上，使用RF信号比超声灰阶图像能更高效地实现乳腺恶性肿瘤的识别。与单一使用深度学习特征相比，融合传统组学特征后，乳腺肿瘤良恶性鉴别性能显著提升。     

基于多尺度特征选择与融合的目标检测方法

针对多尺度目标检测中特征图特征混淆和特征丰富程度不足的问题,提出一种基于多尺度特征选择与融合的目标检测算法。设计了一个特征选择模块来分离出不相关的特征,并结合特征金字塔网络形成特征选择网络结构,降低特征图中不同尺度目标的局部特征对当前尺度特征的干扰;提出一种浅层特征融合方法,将浅层特征逐级融合到较深层级特征中,解决特征图的特征不够丰富问题。结合特征选择架构和浅层特征融合架构,在PASCAL-VOC2007数据集上进行测试,结果mAP达到了80.1%。相较于基础的单阶段目标检测(single shot detection, SSD),所提算法的网络性能可提高2.9%,且在一些小目标和遮挡目标的检测效果上有明显的提升。通过对比和消融实验,证明了所提方法的有效性。     

基于小波变换的多分辨图像融合

图像的小波多分辨表征是把图像特征按尺度和方向映射到由小波变换系数构成的金字塔结构的各层中．在此数据结构中，使用不同的基于区域的特征选择方法，实现了对各原始图像的明显特征的选择，包括基于能量判据和基于边缘检测的方法．并且结合这两种方法，综合利用了小波系数的方向信息来进行特征选择．实验结果表明，这些不同的信息融合途径，都能有效地实现基于像素级的多重图像融合，特别是有效地克服由于原始图像的灰度特性和边缘特性不相容对图像融合带来的困难．     

基于二元树复数小波变换的特征融合算法

提出了一种利用二元树复数小波变换(DT-CWT)提取遥感图像纹理特征的方法，不仅使得纹理分析具备小波分析的多尺度特性，而且具备了6个方向的选择性、良好的重构性和近似的平移不变性．利用DT—CWT变换提取目标图像的纹理特征，构造目标概率密度函数，并采用基于D-S证据理论的特征层融合算法对目标进行识别处理，实验结果表明，采用基于DT-CWT纹理特征的特征层融合算法对多源低分辨率可见光遥感图像中小目标的识别是有效的．     

基于BERT的多特征融合的医疗命名实体识别

针对传统字向量难以表达上下文语义以及抽取的特征较为单一等问题,提出基于BERT的多特征融合模型BERT-BiLSTM-IDCNN-Attention-CRF,通过BERT建模字向量的上下文语义关系,并融合双向长短期记忆网络(BiLSTM)和迭代膨胀卷积(IDCNN),分别抽取的上下文特征和局部特征,使两种特征进行互补以...     

基于多特征自适应融合的鲁棒跟踪方法

针对复杂场景下用单一特征描述目标导致的目标漂移问题,基于均值漂移(Mean Shift)跟踪框架,构建了一种有效的自适应融合特征(Adaptive Fusion Feature,AFF)描述子,并提出一种自适应融合多特征的跟踪方法。该方法融合了颜色特征和尺度不变特征转换(Scale-Invariant Feature Transform,SIFT),并通过相邻帧间各特征的相似性来自适应动态调整特征的权值。实验结果表明,在复杂场景下多特征自适应融合方法(AFF)比单一特征跟踪方法和经典跟踪方法减少了目标漂移、目标跟踪更加精确鲁棒。     

基于光流方向信息熵统计的微表情捕捉

以光流法为依据,提出了一种基于光流方向信息熵(entropy of oriented optical flow,EOF)统计的方法捕捉微表情关键帧.首先,采用改进的Horn--Schunck光流法提取视频流中相邻两帧图像的微表情运动特征;其次,采用阈值分析法筛选出投影速度模值较大的光流向量;之后,采用图像信息熵统计光流变化角度,进而得到视频序列的方向信息熵向量,通过对熵向量的分析,实现微表情关键帧捕捉;最后,本实验采用芬兰奥卢大学的SMIC微表情数据库和中国科学院心理研究所傅小兰的CASME微表情数据库作为实验样本,通过与传统的帧差法比较,证明了本文提出的算法优于帧差法,能够较好地表现出微表情变化趋势,为微表情识别提供基础.