红外与可见光图像融合的人脸识别算法

红外图像为解决可见光图像中人脸部受光照的影响提供处理方法,但是红外图像有两大缺陷:一个是红外对周围环境温度变化比较敏感;另一个是红外对玻璃具有非穿透性.与红外图像相比,可见光图像能克服上述问题.由于以上原因,给出了一种基于小波变换的红外与可见光图像融合的人脸识别方法.该方法利用小波变换对每一图像进行多尺度分解,然后利用基于区域能量法寻找最优融合算子去构造融合图像对应的各小波系数,再根据融合图像的各小波系数重构融合图像.使用Equinox公司的人脸数据库,对融合图像和可见光图像分别进行了基于Fisher脸的人脸识别验证.仿真结果表明,利用该融合算法所获得的融合图像比单一可见光图像具有更好的识别性能.     

图像分割与平稳小波变换法融合红外与可见光图像

为改善红外与可见光图像融合后的视觉效果,提出一种基于图像分割和平稳小波变换的图像融合方法。首先,结合最大类间方差方法与边缘检测方法,将红外图像分割为背景部分和目标部分;然后利用平稳小波变换对红外图像的背景部分与可见光图像分别进行多尺度分解,低频部分采用区域空间频率取大融合准则,高频部分采用绝对值取大融合准则,对多尺度分解后的各层进行融合,再利用平稳小波逆变换得到融合结果;最后,对该融合结果与红外图像的目标部分采用加权求和的融合准则进行融合,得到最终的红外与可见光融合图像。实验结果表明,通过提出的方法进行红外与可见光图像融合,不仅很好地突出红外图像的目标信息,还较好地体现可见光图像的场景细节信息,视觉效果明显改善;其标准差、信息熵、互信息均优于拉普拉斯金字塔变换和小波变换等传统的融合算法。实验结果验证了方法的有效性。     

深度玻尔兹曼机在图像融合中的应用

针对可见光与红外图像融合时出现的特征信息提取不足等问题,提出了一种基于非下采样剪切波变换(NSST)与深度玻尔兹曼机(DBM)的可见光与红外图像融合方法。首先,利用DBM实现红外图像的最优能量分割以提取其中的显著红外目标;其次,将分割得到的显著目标区域与背景区域分别投影至源图像,获得相关映射图;最后,使用NSST分别对可见光图像与红外投影图像进行多尺度、多方向稀疏分解,对源图像的一系列子图像进行融合,并采取NSST反变换重构获得最终融合图像。仿真实验结果表明:与现有的3种经典方法相比,本文方法在信息熵方面高于轮廓波变换法约4.1%,在平均梯度方面高于NSST法约1.0%,在互信息方面高于NSCT法约3.8%。获得的融合图像具有较高的对比度和丰富的细节信息。     

非采样轮廓波变换下的红外与可见光图像融合

针对红外与可见光图像融合存在的边缘模糊、视觉效果不佳的问题,提出了一种改进的基于非下采样轮廓波变换(NSCT)的红外和可见光图像融合方法。首先采用NSCT对红外与可见光图像进行多尺度、多方向分解,然后对低频系数采用基于边缘的方法进行融合;对高频系数采用基于区域能量的方法进行融合。最后,通过NSCT反变换来获取融合图像。实验结果表明:文中改进算法得到的融合图像不仅边缘等细节部分更加清晰,而且在视觉效果上更加符合人眼视觉特性。     

基于 NSDTCT 与稀疏表示的红外和微光图像融合

针对传统融合方法信息缺失较多与连续性较差等问题,提出了一种基于非下采样双树复轮廓波变换（NSDTCT）与稀疏表示的红外和微光图像融合方法。利用NSDTCT进行多尺度分解获得低频成分和高频子带成分,引入稀疏表示理论,构建低频成分和高频成分的融合模型,将图像融合分别转化为对应稀疏编码的融合,低频和高频成分稀疏表示系数分别根据加权平均和多方向对比度准则进行融合。进行对比实验,选用平均梯度（AG）、标准差（STD）、互信息（MI）、边缘保持度（QAB/F）、结构相似度（SSIM）这5种客观指标,结果较传统方法分别提升2.1%、3.3%、16.1%、6.6%、8.5%以上,表明该方法能够有效保留红外微光图像信息,提高融合图像连续性和成像质量。     

基于目标提取的红外与可见光图像融合新算法

针对灰色系统理论在空间域对红外与可见光图像融合的不足,以及非下采样Contourlet变换（ NSCT）在图像融合领域的优势,提出了一种基于目标提取的红外与可见光图像融合新算法。首先,对红外和可见光图像分别进行NSCT变换;其次,对红外低频分量应用灰色系统理论进行目标提取,并利用所提融合规则对低频分量进行融合,同时对高频分量采用常用融合规则进行融合;最后,对融合后高、低频分量进行NSCT逆变换,得到融合图像。通过与4种常用方法进行实验对比,结果表明,文中算法得到的融合图像视觉效果较好,某些客观评价指标提升明显。     

基于CBAM-DDcGAN的锌渣红外与可见光图像融合

对热镀锌生产线锌池中的锌渣分布进行准确识别是捞渣作业智能化的前提。红外图像易损失锌渣的纹理特征,可见光图像又容易受到光照等因素的影响,红外与可见光图像的融合是提高锌渣识别精度的有效手段。本文提出一种结合卷积注意力机制模块(CBAM)和双判别器生成对抗网络(DDcGAN)的红外与可见光图像融合算法。首先,生成器内部采用编解码网络,编码器采用密集连接方式,与CBAM相结合,在最大程度地保留图像特征的同时还能突出关键特征,抑制无用信息,提升融合效果。其次,利用两个判别器与生成器分别进行对抗训练,可同时保留两种源图像的信息。采用锌渣图像数据集进行对比实验,结果表明,本文算法所得融合图像在主观视觉效果和客观定量指标上均有不同程度的改善。     

多特征融合和最小二乘支持向量机的运动视频图像分类研究

为了提高运动视频图像分类精度,提出了利用多特征融合和最小二乘支持向量机的运动视频图像分类方法.采集运动视频,采用两帧差分法分割运动视频图像,并提取运动视频图像的多个特征;将不同特征输入到最小二乘支持向量机中进行学习和训练,获得单一特征的运动视频图像分类结果;利用证据理论对单一特征的运动视频图像分类结果进行融合,得到运动...     

基于FDST和MSS的红外与可见光图像融合

为了提高低可见度情况下红外与可见光图像融合质量,提出了一种基于有限离散剪切波变换(FDST)和图像显著性检测算法(MSS)的融合方法。利用显著性检测算法对红外和可见光图像进行检测。采用有限离散剪切波变换对红外和可见光图像进行分解。根据显著性检测结果中亮度越高的区域属于显著性目标这一特点,指导低频子带图像融合。高频子带图像采用"绝对值和取大"的融合策略。实验结果表明提出的融合方法在主观视觉效果和客观性能指标上均取得了较好的效果。     

结合tetrolet与红外显著性特征提取的红外与可见光融合

针对红外与可见光图像融合过程中红外热目标不突出、纹理及边缘细节易缺失等问题,提出一种结合tetrolet变换域与红外显著目标特征提取的融合方法。首先,在SURF框架内构建基于HOG的特征点描述符实现红外与可见光图像的精确匹配;其次,基于贝塞尔面结合背景及目标进行自适应抑制完成红外目标显著性特征提取;接着,将处理后的红外与可见光图像通过tetrolet多尺度变换分解为低频和高频分量;然后,利用基于局部能量和相对亮度自适应规则对低频分量进行融合,对高频分量采用基于局部空间频率自适应融合规则;最后,将融合的低频分量与高频分量通过tetrolet逆变换,以获得最终的融合结果。实验结果表明,本文算法对不同场景下的红外与可见光图像的融合效果不但主观上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间较其它算法得到了明显提升,并且在客观评价指标上也取得了较好的效果。     

基于单个特征分类准确率的特征选择方法研究

【目的】随着遥感技术迅猛发展,在影像解译过程中提取的信息越来越繁杂多样。为提高地物分类准确率,常加入更多的特征信息,而由此往往造成一定的信息冗余,导致分类效率甚至准确率降低。笔者利用随机森林(RF)和支持向量机(SVM)分类器,探索在遥感分类过程中保证分类精度的同时又能降低特征维度的方法。【方法】以吉林省安图县福兴林场部分区域为研究对象,利用2015年Landsat-8影像为数据源,提取光谱信息(红、绿、蓝、近红外和短波红外波段)、植被指数(NDVI、增强型植被指数、比值植被指数和裸土植被指数)、纹理(同质性、均值、二阶矩、方差、差异性、对比度、熵和相关性)和地形信息(坡度和坡向)共19个指标作为分类特征变量。以RF分类器估测的特征重要性进行特征选择为对照,分别以单个特征在RF和SVM两分类器中的分类准确率为依据进行特征选择,并对选取的特征进行主成分分析,与未做主成分分析的进行区分,再分别用RF和SVM分类器进行分类,评价分类精度,确定最优特征和分类器组合。【结果】①基于SVM单个特征分类准确率选取特征,对选取的特征进行主成分分析,再用RF进行分类,该方法与其他方法相比分类性能最好,当特征维度为5时,总体精度为0.86,Kappa系数为0.83; 与输入全部特征进行分类相比,不仅提高了分类精度,而且降低了特征维度,使分类效率得以提升。基于RF特征重要性选取特征的RF分类取得了较高的分类准确率,但特征维数小于7时,分类准确率波动较大; 在特征维数为4时分类准确率增至最大值(0.88),随后骤降为0.83,之后基本保持在此水平。而基于单个特征分类准确率选取特征,分类准确率变化较为平缓,如上所提最优分类性能方法的分类准确率波动范围基本在0.02。②基于单个特征在RF和SVM分类器中的分类准确率进行特征选择,在随后的分类过程中,SVM分类器分类精度总体高于RF。基于RF单个特征分类准确率选取特征的SVM分类,及基于SVM单个特征分类准确率选取特征并对选取特征进行主成分分析的RF分类,较仅利用SVM或RF单个分类器选取特征并分类的分类准确率更高。【结论】①基于单个特征分类准确率的特征选择方法,可在保证分类精度的同时降低特征维度,且在较低维度时,基于该方法选取特征的分类精度较基于特征重要性选取特征的分类精度更稳定。②基于单个特征分类准确率进行特征选择,不同分类器选取的特征有所差异,分类准确率也不同,利用多个分类器较单个分类器选取特征并分类的性能更好。③在中低维度时,RF分类器的分类准确率可能与特征输入顺序有关,对输入特征进行主成分分析有利于提高分类器的分类精度及稳定性。     

改进卷积神经网络在腺癌病理图像分类中的应用

针对传统卷积神经网络(CNN)稀疏的网络结构无法保留全连接网络密集计算的高效性和在实验过程中卷积特征利用率低造成的分类结果不准确或收敛速度较慢的问题,提出了一种基于CNN的多尺度方法结合反卷积网络的特征提取算法(MSDCNN)并对腺癌病理图像进行分类。首先,利用反卷积操作实现不同尺度特征的融合,然后利用Inception结构不同尺度卷积核提取多尺度特征,最后通过Softmax方法对图像进行分类。在腺癌病理细胞图像进行的分类实验结果表明,在最后的卷积特征尺度相同的情况下,MSDCNN算法比传统的CNN算法分类精度提高了约14%,比同样基于多尺度特征的融合网络模型方法分类精度提高了约1.2%。     

基于特征优选的随机森林算法在湿地信息提取中的应用——以湖北洪湖湿地自然保护区为例

以湖北洪湖湿地自然保护区为研究区,采用随机森林算法对研究区内湿地信息提取.以Sentinel-2A遥感影像为数据源提取光谱特征、植被指数、水体指数、红边指数、纹理特征等特征变量,在随机森林算法框架下,对不同特征变量进行特征重要性评估,比较分类后精度并对特征组合进行优选.将基于随机森林算法的分类精度与传统的基于像元的支持向量机分类方法和最大似然分类方法的分类精度相比较,并通过双比例Z检验比较各算法中正确分类像元的比例统计各分类算法之间的分布差异.结果表明： 1) 特征个数为13时,分类精度达到最大,随着特征个数的增多,分类精度呈现波动减小的趋势; 2) 特征变量中蓝光波段重要性得分最高,达到2.85,可见光(B2、B3)与红边指数(IRECI、MCARI)重要性排名靠前,对于提取湖泊湿地信息具有重要意义; 3) 基于特征优选的随机森林方法分类精度优于支持向量机和最大似然法分类后的精度,其总体精度分别高出6.02%和7.57%;经检验, χ2分别达到25.891和38.895,具有显著差异,表明基于特征优选的随机森林算法分类对湿地信息提取发挥重要作用。     

基于稀疏编码和多核学习的图像分类算法

提出了一种基于稀疏编码和多核学习的图像分类算法.首先从图像中提取Dense-SIFT（Dense Scale Invariant Feature Transform）和Dense-SURF（Dense Speeded Up Robust Feature）2种特征,使用稀疏编码对特征点进行处理,得到一系列高维向量,然后对这些高维向量应用max-pooling算法,将图像表示成单个向量.最后,使用改进的多核学习方法对这些向量进行分类,对于不同的特征,使用不同核的组合以达到最好的分类效果.实验结果表明,该算法作为词袋（BoW）模型的改进,能够提高分类准确率.
     

基于多生理信息迁移学习的脑力负荷分类

在复杂的人机系统中,保持对实验人员脑力负荷状态的监测对于维护人机系统的安全、高效运行具有极为重要的理论和应用意义。针对现有脑力负荷分类方法识别率低及实际应用时测试样本数据偏移问题,提出了采用迁移学习及脑电和心电特征融合的脑力负荷分类识别方法。基于多任务航空情境操作的MATB-II平台同步采集12名健康受试者的脑电信号和心电信号,分别从时域和频域上提取各生理信息特征并进行融合,在此基础上引入迁移学习,基于迁移成分分析(transfer component analysis, TCA)方法进行特征空间变换,实现源域和目标域的边缘分布适配,并进行脑力负荷分类。实验结果表明,基于多生理信息特征融合识别率高于传统脑力负荷识别方法,使用迁移学习可取得较高的识别准确率,为多生理信息脑力负荷分类研究提供了新方法。     

基于局部结构和视觉显著特征的红外和可见光图像泊松重构融合算法

研究了一种基于泊松重构的红外和可见光图像融合算法,算法在梯度域内实现图像信息的融合,可有效避免传统空域和变换域方法在融合图像中由于局部亮度不一致而产生伪边缘。另外,提出的算法在源图像梯度融合时,同时考虑了图像的局部结构显著和视觉显著特征,能够在保留源图像更多细节的同时突出输入图像的视觉显著目标信息。通过与其他最新融合算法的对比实验结果显示本文算法获得的融合图像既有突出的红外目标,又有清晰的可见光背景细节,并且不会产生伪影和噪声,同时客观评价指标也有显著的优势。     

特征差异驱动的红外偏振与光强图像融合简

针对原有红外偏振融合算法中单一差异特征对不确定和随机变化的图像特征信息不能有效描述而产生不利于融合的问题,本文在分析源图像差异特征形成机理基础上,提出了一种基于NSCT（non-subsampled contourlet transform）的红外偏振与光强图像的特征差异驱动融合算法。通过实验仿真表明,相比SVT（support value transform）、WPT（wavelet packet transform）和NSCTLELV（NSCT local energy and local variance）,该算法能更有效地融合源图像的互补和细节信息,且在实际的目标识别中具有一定的应用价值。     

基于NSCT变换的红外与可见光图像融合新算法

考虑红外与可见光图像的成像机理,提出把非下采样Contourlet变换用于该类图像融合的改进措施.先用NSCT变换在多尺度和多方向上去分解已经配准的图像,可以得到低频系数部分和高频系数部分;再对低频子代部分应用归一化局部方差的差和融合阈值比较的融合规则,对于高频方向子代部分则使用拉普拉斯能量和的能量取大的融合方法;最后把NSCT逆变换应用在高低频部分,输出最后的图像.通过对比实验可知,提出的新方法较传统的图像融合方法更能准确地反映所要研究的场景.     

D-SS Frame: deep spectral-spatial feature extraction and fusion for classification of panchromatic and multispectral images

Facing the very high-resolution( VHR) image classification problem,a feature extraction and fusion framework is presented for VHR panchromatic and multispectral image classification based on deep learning techniques. The proposed approach combines spectral and spatial information based on the fusion of features extracted from panchromatic( PAN) and multispectral( MS) images using sparse autoencoder and its deep version. There are three steps in the proposed method,the first one is to extract spatial information of PAN image,and the second one is to describe spectral information of MS image. Finally,in the third step,the features obtained from PAN and MS images are concatenated directly as a simple fusion feature. The classification is performed using the support vector machine( SVM) and the experiments carried out on two datasets with very high spatial resolution. MS and PAN images from WorldView-2 satellite indicate that the classifier provides an efficient solution and demonstrate that the fusion of the features extracted by deep learning techniques from PAN and MS images performs better than that when these techniques are used separately. In addition,this framework shows that deep learning models can extract and fuse spatial and spectral information greatly,and have huge potential to achieve higher accuracy for classification of multispectral and panchromatic images.     

基于双通道特征自适应融合的红外行为识别方法

针对现有行为识别算法在红外视频中表现不佳的问题,提出一种基于双通道特征自适应融合的红外行为识别算法.在该方法中,2个通道提取的特征分别是改进的密集轨迹特征和光流卷积神经网络特征.改进的密集轨迹特征是在原始密集轨迹特征中加入灰度值权重,强调红外视频的成像特征;光流卷积神经网络特征是在原始视频对应的光流图序列中提取的,该特征具有较强的全局描述能力.通过自适应融合模型将2个通道特征的概率输出进行自适应融合,得到最终识别结果.实验结果表明,在现有红外行为识别数据集上,该算法有效地提高了识别准确率.