基于FDST和MSS的红外与可见光图像融合

为了提高低可见度情况下红外与可见光图像融合质量,提出了一种基于有限离散剪切波变换(FDST)和图像显著性检测算法(MSS)的融合方法。利用显著性检测算法对红外和可见光图像进行检测。采用有限离散剪切波变换对红外和可见光图像进行分解。根据显著性检测结果中亮度越高的区域属于显著性目标这一特点,指导低频子带图像融合。高频子带图像采用"绝对值和取大"的融合策略。实验结果表明提出的融合方法在主观视觉效果和客观性能指标上均取得了较好的效果。     

红外与可见光图像融合的人脸识别算法

红外图像为解决可见光图像中人脸部受光照的影响提供处理方法,但是红外图像有两大缺陷:一个是红外对周围环境温度变化比较敏感;另一个是红外对玻璃具有非穿透性.与红外图像相比,可见光图像能克服上述问题.由于以上原因,给出了一种基于小波变换的红外与可见光图像融合的人脸识别方法.该方法利用小波变换对每一图像进行多尺度分解,然后利用基于区域能量法寻找最优融合算子去构造融合图像对应的各小波系数,再根据融合图像的各小波系数重构融合图像.使用Equinox公司的人脸数据库,对融合图像和可见光图像分别进行了基于Fisher脸的人脸识别验证.仿真结果表明,利用该融合算法所获得的融合图像比单一可见光图像具有更好的识别性能.     

低秩表示和字典学习的红外与可见光图像融合算法

针对目前红外与可见光融合算法在保留可见光图像中的背景信息时无法同时有效地提取红外图像信息,提出了一种基于低秩表示和字典学习的红外与可见光的图像融合算法.首先,采用低秩表示对红外图像和可见光图像进行分解,分别获得源图像的低秩和稀疏成分,其中稀疏成分可以很好地表示源图像的边缘细节特征.其次,用OMP算法的字典学习方法和稀疏系数的最大范数规则,而最大范数规则在对图像背景恢复的同时能够提取目标信息.再次,对分解得到的2个分量进行融合.最后,利用融合稀疏系数和自适应字典重建融合图像.实验结果表明,本融合算法可以突出红外对象信息,同时能够保留可见光图像中的背景信息,达到良好的视觉效果.     

图像分割与平稳小波变换法融合红外与可见光图像

为改善红外与可见光图像融合后的视觉效果,提出一种基于图像分割和平稳小波变换的图像融合方法。首先,结合最大类间方差方法与边缘检测方法,将红外图像分割为背景部分和目标部分;然后利用平稳小波变换对红外图像的背景部分与可见光图像分别进行多尺度分解,低频部分采用区域空间频率取大融合准则,高频部分采用绝对值取大融合准则,对多尺度分解后的各层进行融合,再利用平稳小波逆变换得到融合结果;最后,对该融合结果与红外图像的目标部分采用加权求和的融合准则进行融合,得到最终的红外与可见光融合图像。实验结果表明,通过提出的方法进行红外与可见光图像融合,不仅很好地突出红外图像的目标信息,还较好地体现可见光图像的场景细节信息,视觉效果明显改善;其标准差、信息熵、互信息均优于拉普拉斯金字塔变换和小波变换等传统的融合算法。实验结果验证了方法的有效性。     

基于目标检测的红外和可见光动态图像融合

提出一种基于运动目标检测的红外和可见光动态图像融合方法，通过对红外序列图像中的运动目标进行检测，将运动目标信息融合到可见光序列图像中。试验结果表明，文中算法所得到的融合图像能够综合利用红外图像较好的目标指示特性与可见光图像较清晰的场景信息，有利于安全监视人员进行目标识别和情景感知。     

基于局部能量的多层级红外与可见光图像融合算法

针对传统的融合方法对于可见光图像丰富的背景信息不能有效地保留到融合图像的问题,本文结合像素级和特征级融合的优势,提出了一种新的图像融合算法.首先,对来自同一场景配准后的红外与可见光图像进行NSCT变换;其次,在保留红外图像中目标信息的基础上,出于尽可能比较完善地将可见光的背景信息融入到融合图像的目的,对于低频图像采用基于区域能量比的自适应加权平均的方法;再次,考虑到低频图像和高频方向子带中包含大量的边缘细节信息,本文在Petrovi'c多层级融合方法的基础上进行相应的改进,利用低频子带边缘特征的融合以指导高频方向子带系数的融合;最后,通过NSCT逆变换得到融合图像.对多组红外与可见光图像进行实验,并对融合图像进行主客观评价,实验结果表明,该算法得到的融合图像具有非常好的主观视觉效果和客观量化指标,融合性能显著地优于传统的融合方法.     

可见光与红外图像融合方法研究

针对红外图像中目标图像灰度值的分布特点,提出了一种以基于区域生长法为基础的先提取红外图像中的目标,然后再进行与可见光图像融合的方法,并与加权平均等融合方法做了仿真对比实验,实验结果表明,该方法在保留可见光图像高分辨率和纹理细节信息的同时,又突出了红外图像中的目标,并且计算量相对较小,有利于实现图像的实时融合处理.     

基于低秩稀疏表示的红外与可见光图像序列融合方法

考虑到红外与可见光图像序列间的高度相关性,本文提出了基于低秩稀疏表示的红外与可见光图像序列融合方法。首先,利用低秩稀疏表示理论分别将红外图像序列与可见光图像序列进行背景与目标分离,获取低秩分量与稀疏分量。其次,利用Laplace金字塔融合方法将每帧红外与可见光图像的低秩分量进行融合。再次,采用最大值选择规则将每帧红外与可见光图像的稀疏分量进行融合。最后,融合低秩分量与融合稀疏分量相加获得最终融合图像。本文算法在Nato-camp与Bristol Eden Project数据集上进行了性能验证。主观视觉分析与客观评价指标表明本文算法比传统的融合算法具有更优越的性能。     

基于残差密集块和自编码网络的红外与可见光图像融合

红外与可见光图像融合是复杂环境中获得高质量目标图像的一种有效手段,在目标检测与跟踪、图像增强、遥感、医疗等领域有广泛应用前景.为解决目前基于深度学习的红外与可见光图像融合方法中存在的网络无法充分提取特征、特征信息利用不充分和融合图像清晰度低的问题,本文提出了一种基于残差密集块的端到端自编码图像融合网络结构,利用基于残差密集块的编码器网络将图像分解成背景特征图和细节特征图,然后将两种特征图进行融合,再通过解码器进行重构,还原出最终的融合图像.测试结果表明,本文的方法可以得到清晰度高、目标突出、轮廓明显的融合图像,在SF、AG、CC、SCD、Qabf、SSIM 6个融合质量评估指标上与目前代表性融合方法相比均有不同程度的提升,特别是在融合图像清晰度上优势明显,且对于模糊、遮挡、逆光、烟雾等复杂环境图像有较好的融合效果.      

结合tetrolet与红外显著性特征提取的红外与可见光融合

针对红外与可见光图像融合过程中红外热目标不突出、纹理及边缘细节易缺失等问题,提出一种结合tetrolet变换域与红外显著目标特征提取的融合方法。首先,在SURF框架内构建基于HOG的特征点描述符实现红外与可见光图像的精确匹配;其次,基于贝塞尔面结合背景及目标进行自适应抑制完成红外目标显著性特征提取;接着,将处理后的红外与可见光图像通过tetrolet多尺度变换分解为低频和高频分量;然后,利用基于局部能量和相对亮度自适应规则对低频分量进行融合,对高频分量采用基于局部空间频率自适应融合规则;最后,将融合的低频分量与高频分量通过tetrolet逆变换,以获得最终的融合结果。实验结果表明,本文算法对不同场景下的红外与可见光图像的融合效果不但主观上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间较其它算法得到了明显提升,并且在客观评价指标上也取得了较好的效果。     

基于局部结构和视觉显著特征的红外和可见光图像泊松重构融合算法

研究了一种基于泊松重构的红外和可见光图像融合算法,算法在梯度域内实现图像信息的融合,可有效避免传统空域和变换域方法在融合图像中由于局部亮度不一致而产生伪边缘。另外,提出的算法在源图像梯度融合时,同时考虑了图像的局部结构显著和视觉显著特征,能够在保留源图像更多细节的同时突出输入图像的视觉显著目标信息。通过与其他最新融合算法的对比实验结果显示本文算法获得的融合图像既有突出的红外目标,又有清晰的可见光背景细节,并且不会产生伪影和噪声,同时客观评价指标也有显著的优势。     

一种听觉显著图提取模型

本文基于人耳听觉特性提出了一种改进的自下而上听觉显著图提取模型.该模型根据人耳听觉系统对声音分频道处理以及声音信号时间方向的差异更能有效表征听觉显著性这两个特点进行显著图提取.首先对输入声音信号进行短时傅立叶变换(SFFT)得到声音信号的听觉图谱,然后重新划分频带并在各频带上采用一维高斯滤波器组进行不同尺度的时域滤波,再利用中心-周边差算子计算各频带的听觉显著度并进行跨尺度整和,最后将各频带的听觉显著度线性合并之后得到最终的听觉显著图.仿真实验的结果表明该模型提取的听觉显著图更准确.     

基于无字典模型的红外与可见光图像融合分类

针对传统图像分类识别方法采用单一传感器获得图像存在的局限和不足,提出了一种基于红外和可见光融合的分类算法。首先分别对红外图像和可见光图像提取密集型尺度不变特征变换（D-SIFT）,然后采用无字典模型（CLM）变换,并利用空间金字塔匹配（SPM）进行精细划分,最后用混合核支持向量机（SVM-CK）方式将红外和可见光在特征级融合并分类。在VAIS和RGB-NIR两个数据库上对该方法进行验证,融合后分类精度分别比单一图像源均有较大提高;与BoVW方法比较,精度分别提高了4.7%和12.1%。证明多数据源融合的方法综合了红外和可见光各自成像的优势,使获得的特征信息更完善,分类效果显著高于单一数据源的分类结果。     

时空对比度引导的视频显著目标提取模型

针对经典视频显著目标提取模型没有充分利用时域显著性线索,易受背景噪声干扰,提取的显著目标不完整等问题,提出了一种在时空对比度指导下的视频显著目标提取模型.首先,自适应融合RGB颜色空间对比度和运动对比度,确定显著目标的先验信息;然后,利用当前帧的前景提取项和邻近帧位置约束项组成能量函数,指导时空显著性线索融合;最后,通...     

基于NSCT变换的红外与可见光图像融合新算法

考虑红外与可见光图像的成像机理,提出把非下采样Contourlet变换用于该类图像融合的改进措施.先用NSCT变换在多尺度和多方向上去分解已经配准的图像,可以得到低频系数部分和高频系数部分;再对低频子代部分应用归一化局部方差的差和融合阈值比较的融合规则,对于高频方向子代部分则使用拉普拉斯能量和的能量取大的融合方法;最后把NSCT逆变换应用在高低频部分,输出最后的图像.通过对比实验可知,提出的新方法较传统的图像融合方法更能准确地反映所要研究的场景.     

一种基于曲波变换与引导滤波增强的图像融合方法

针对可见光图像受光线、 天气等影响而成像不清导致图像融合效果差的问题, 提出一种基于曲波变换的红外与可见光图像增强融合方法. 首先, 利用引导滤波对可见光图像细节进行增强； 然后, 利用曲波变换将增强后的可见光图像和红外线图像分别进行分解, 对低频部分取系数最大值, 高频部分采用正方形邻域窗口中绝对值和所对应的像素最大值为融合图像的值； 最后, 利用曲波变换的逆变换得到融合后的结果. 实验结果表明, 该方法在细节处理、 保护边缘及源图像信息的保留上都有良好的效果.     

基于目标提取的红外与可见光图像融合新算法

针对灰色系统理论在空间域对红外与可见光图像融合的不足,以及非下采样Contourlet变换（ NSCT）在图像融合领域的优势,提出了一种基于目标提取的红外与可见光图像融合新算法。首先,对红外和可见光图像分别进行NSCT变换;其次,对红外低频分量应用灰色系统理论进行目标提取,并利用所提融合规则对低频分量进行融合,同时对高频分量采用常用融合规则进行融合;最后,对融合后高、低频分量进行NSCT逆变换,得到融合图像。通过与4种常用方法进行实验对比,结果表明,文中算法得到的融合图像视觉效果较好,某些客观评价指标提升明显。