低秩表示和字典学习的红外与可见光图像融合算法

针对目前红外与可见光融合算法在保留可见光图像中的背景信息时无法同时有效地提取红外图像信息,提出了一种基于低秩表示和字典学习的红外与可见光的图像融合算法.首先,采用低秩表示对红外图像和可见光图像进行分解,分别获得源图像的低秩和稀疏成分,其中稀疏成分可以很好地表示源图像的边缘细节特征.其次,用OMP算法的字典学习方法和稀疏系数的最大范数规则,而最大范数规则在对图像背景恢复的同时能够提取目标信息.再次,对分解得到的2个分量进行融合.最后,利用融合稀疏系数和自适应字典重建融合图像.实验结果表明,本融合算法可以突出红外对象信息,同时能够保留可见光图像中的背景信息,达到良好的视觉效果.     

结合tetrolet与红外显著性特征提取的红外与可见光融合

针对红外与可见光图像融合过程中红外热目标不突出、纹理及边缘细节易缺失等问题,提出一种结合tetrolet变换域与红外显著目标特征提取的融合方法。首先,在SURF框架内构建基于HOG的特征点描述符实现红外与可见光图像的精确匹配;其次,基于贝塞尔面结合背景及目标进行自适应抑制完成红外目标显著性特征提取;接着,将处理后的红外与可见光图像通过tetrolet多尺度变换分解为低频和高频分量;然后,利用基于局部能量和相对亮度自适应规则对低频分量进行融合,对高频分量采用基于局部空间频率自适应融合规则;最后,将融合的低频分量与高频分量通过tetrolet逆变换,以获得最终的融合结果。实验结果表明,本文算法对不同场景下的红外与可见光图像的融合效果不但主观上具有显著的目标特征,同时背景纹理和边缘细节清晰,整体对比度适宜,运行时间较其它算法得到了明显提升,并且在客观评价指标上也取得了较好的效果。     

一种边缘优化的红外与可见光图像模块化融合方法

针对红外与可见光图像融合中出现的对比度较低和图像模糊的问题,提出了一种边缘优化的模块化融合方法.首先,对红外图像进行局部对比度自适应增强,突出红外图像中的目标;然后分别对红外图像和可见光图像进行HSV色空间变换,在亮度分量中,对其进行边缘细节增强的模块化融合,进一步突出红外图像中的目标轮廓;最后,结合可见光图像的色调和饱和度分量,经过RGB色空间的转换,获取融合后的图像.结果表明,与简单加权平均算法和小波融合算法的融合结果相比较,该融合算法能够较好的保持原图像的细节和目标信息,图像的对比度和清晰度也有较大的提高.     

一种基于改进GFF和联合双边滤波的红外与可见光图像融合算法

针对传统红外与可见光融合图像伪影较多、边缘信息不够丰富等问题,提出一种基于改进GFF和联合双边滤波的图像融合算法.首先,使用高斯拉普拉斯算子、二维高斯算子分别对源图像进行高低通滤波.然后,对两幅图的低通滤波结果归一化,得到的显著图,再对显著图进行导向滤波并计算近似值,获得基础层和细节层的决策图,使用联合双边滤波器优化基础层决策图.其次,使用圆形均值滤波器对源图像进行多尺度分解,分解结果与决策图加权相加获得基础层和细节层的融合图像.最后,将两层融合图像进行线性叠加,得到最终的融合图像.实验结果表明,所提出的算法在客观评价指标上优于经典的融合算法,在视觉感知上边缘信息更加突出、细节轮廓更加明显.     

基于照明感知和密集网络的红外与可见光图像融合

针对现有方法忽略照明不平衡、存在对比度低、纹理细节丢失等问题,本研究提出一种基于照明感知和密集网络的红外与可见光图像融合方法。首先,从可见光图像中获取照明概率并计算照明感知权重以指导训练网络,通过特征提取与信息度量模块来计算源图像的自适应信息保留度,用于保持融合结果与源图像间的自适应相似性。同时,照明感知损失与相似性约束损失函数使模型在结构、对比度、亮度上能够全天候地生成包含显著目标和丰富纹理细节信息的融合图像。本研究在TNO与MSRS 2个公共数据集上进行主、客观评估。实验结果表明,本研究弥补了照明不平衡的缺陷,在保留更多红外目标的同时,也有效地保留了更多可见光图像的纹理细节信息。     

可见光与红外图像彩色融合中的热目标增强方法

研究树林、陆地场景下可见光与红外图像彩色融合中的热目标增强方法.利用拮抗视觉特性在YUV空间融合可见光与红外图像,增强二者的独有特征;在色彩传递阶段,使用3×3大小的十字形窗口定位红外图像的热目标,当窗口的局部均值大于红外图像的整体均值时,确定该像素点处于热目标区,表征红色与亮度(Y)差异的V分量值根据局部均值与整体均值之比进行增强.仿真结果表明,算法用浓烈的红色突出红外图像的热目标,有效地提醒观察者注意感兴趣的目标,同时,可见光图像的场景细节被赋予与白天光照下彩色图像类似的自然色彩,改善了场景的深度感知,提高了形势意识能力.     

基于自编码器的红外与可见光图像融合算法

基于深度学习的红外与可见光图像融合是图像处理领域的研究热点之一,为丰富融合图像的细节信息、突出红外目标,基于自编码器网络提出一种可进行端到端训练的融合算法。首先,将编码器设计成双分支结构,并针对红外与可见光图像的特性设置不同的特征提取方式;其次,为有效地融合红外与可见光的互补信息,设计了一种可学习的融合策略,并使整个框架能够进行端到端的学习;最后,解码器对通过融合策略所获得的特征进行重构,进而得到融合图像。基于TNO数据集进行实验验证,定性和定量的结果表明,算法能够生成红外目标突出、细节信息丰富的融合图像,相较于其他算法,融合性能更加优越。     

基于红外和可见光图像融合的夜间环境图像增强

图像增强技术可以有效提高图像的整体或局部特性增加图像有用信息,改善图像的视觉效果.夜间图像增强是图像处理领域中的关键技术,使用图像增强可以提高夜间环境图像的信息量.对于单一传感器采集的夜间可见光图像,传统算法通过提高图像的饱和度和对比度进行图像增强,处理后的夜间图像易出现边缘锐化或图像伪影的现象.相比于单一传感器的夜间图像增强,红外和可见光图像融合技术可以大幅度的提高图像信息有效率.利用红外和可见光图像的成像特点将两者进行融合,有效地提高夜间复杂环境下图像的信息量,从而达到夜间图像增强的效果.实验证明使用红外和可见光图像融合的夜间环境图像增强方法优于传统算法,有效抑制边缘锐化、图像伪影和图像过度增强的问题,同时提高了夜间环境下图像的主客观质量.     

可见光与红外图像融合方法研究

针对红外图像中目标图像灰度值的分布特点,提出了一种以基于区域生长法为基础的先提取红外图像中的目标,然后再进行与可见光图像融合的方法,并与加权平均等融合方法做了仿真对比实验,实验结果表明,该方法在保留可见光图像高分辨率和纹理细节信息的同时,又突出了红外图像中的目标,并且计算量相对较小,有利于实现图像的实时融合处理.     

深度玻尔兹曼机在图像融合中的应用

针对可见光与红外图像融合时出现的特征信息提取不足等问题,提出了一种基于非下采样剪切波变换(NSST)与深度玻尔兹曼机(DBM)的可见光与红外图像融合方法。首先,利用DBM实现红外图像的最优能量分割以提取其中的显著红外目标;其次,将分割得到的显著目标区域与背景区域分别投影至源图像,获得相关映射图;最后,使用NSST分别对可见光图像与红外投影图像进行多尺度、多方向稀疏分解,对源图像的一系列子图像进行融合,并采取NSST反变换重构获得最终融合图像。仿真实验结果表明:与现有的3种经典方法相比,本文方法在信息熵方面高于轮廓波变换法约4.1%,在平均梯度方面高于NSST法约1.0%,在互信息方面高于NSCT法约3.8%。获得的融合图像具有较高的对比度和丰富的细节信息。     

一种基于总变分与显著性检测的红外与可见光图像融合方法

红外与可见光图像融合是多源信息融合中的一个重要研究内容,它在军事侦察等方面有着广泛的应用.本文基于总变分模型和显著性检测方法,提出了一种有效的融合方法.首先,通过对红外与可见光图像的特征分布考察,构建了一个信息融合的总变分模型.其次,基于亮度对比度的显著性检测,给出了总变分模型中保真项权值的估计方法.实验仿真表明,无论是视觉观察还是客观评价,本文的方法均比一些现有方法体现了更好的结果.     

基于FDST和MSS的红外与可见光图像融合

为了提高低可见度情况下红外与可见光图像融合质量,提出了一种基于有限离散剪切波变换(FDST)和图像显著性检测算法(MSS)的融合方法。利用显著性检测算法对红外和可见光图像进行检测。采用有限离散剪切波变换对红外和可见光图像进行分解。根据显著性检测结果中亮度越高的区域属于显著性目标这一特点,指导低频子带图像融合。高频子带图像采用"绝对值和取大"的融合策略。实验结果表明提出的融合方法在主观视觉效果和客观性能指标上均取得了较好的效果。     

一种听觉显著图提取模型

本文基于人耳听觉特性提出了一种改进的自下而上听觉显著图提取模型.该模型根据人耳听觉系统对声音分频道处理以及声音信号时间方向的差异更能有效表征听觉显著性这两个特点进行显著图提取.首先对输入声音信号进行短时傅立叶变换(SFFT)得到声音信号的听觉图谱,然后重新划分频带并在各频带上采用一维高斯滤波器组进行不同尺度的时域滤波,再利用中心-周边差算子计算各频带的听觉显著度并进行跨尺度整和,最后将各频带的听觉显著度线性合并之后得到最终的听觉显著图.仿真实验的结果表明该模型提取的听觉显著图更准确.     

基于目标检测的红外和可见光动态图像融合

提出一种基于运动目标检测的红外和可见光动态图像融合方法,通过对红外序列图像中的运动目标进行检测,将运动目标信息融合到可见光序列图像中。试验结果表明,文中算法所得到的融合图像能够综合利用红外图像较好的目标指示特性与可见光图像较清晰的场景信息,有利于安全监视人员进行目标识别和情景感知。     

基于双通道PCNN的NSST域红外与可见光图像融合

针对传统红外与可见光图像融合中存在的一些不足,提出一种新的基于非下采样剪切波变换(NSST)和双通道脉冲耦合神经网络模型(2APCNN)的红外与可见光图像融合算法.该算法首先对红外图像进行预处理,提高源图像的对比度,再对红外与可见光图像进行NSST分解得到低频和高频子带系数;然后对分解后的低频子带系数进行二维小波分解再次得到相应的低频和高频子带,低频部分采用一种基于显著图的融合策略,高频部分采用绝对值取大的原则,之后再对低频和高频采用小波逆变换得到NSST重构所需的低频部分;接着对NSST分解后的高频子带采用双通道PCNN进行处理;最后对处理过的低频和高频子带进行NSST逆变换得到最终的融合图像.几组图像的实验结果对比显示,该算法相比其他算法在客观评价指标和视觉效果上均取得了一定的改进.     

图像分割与平稳小波变换法融合红外与可见光图像

为改善红外与可见光图像融合后的视觉效果,提出一种基于图像分割和平稳小波变换的图像融合方法。首先,结合最大类间方差方法与边缘检测方法,将红外图像分割为背景部分和目标部分;然后利用平稳小波变换对红外图像的背景部分与可见光图像分别进行多尺度分解,低频部分采用区域空间频率取大融合准则,高频部分采用绝对值取大融合准则,对多尺度分解后的各层进行融合,再利用平稳小波逆变换得到融合结果;最后,对该融合结果与红外图像的目标部分采用加权求和的融合准则进行融合,得到最终的红外与可见光融合图像。实验结果表明,通过提出的方法进行红外与可见光图像融合,不仅很好地突出红外图像的目标信息,还较好地体现可见光图像的场景细节信息,视觉效果明显改善;其标准差、信息熵、互信息均优于拉普拉斯金字塔变换和小波变换等传统的融合算法。实验结果验证了方法的有效性。     

基于显著点的感兴趣区域提取及评价

为降低数据规模,提高图像处理的效率,针对感兴趣区域（ROD提取的问题,提出了一种基于显著点的ROI提取算法．利用视觉注意模型（VAM）得到显著图,聚类显著图二值化后提取到的显著点,同时将原图像二值化,并以聚类点作为种子点填充,提取原图像的二值化图轮廓后与原图像掩膜,得到图像的ROI．实验结果表明：该算法的总体效果良好,运算速度可与显著点的个数成线性关系．同时以眼动实验数据为参照进行分析与评价,该算法ROI漏分率至少降低50％,而误分率无明显增加．