一种新的图像融合及性能评价方法

通过重新定义交叉熵,并将其与熵相结合,提出了一种新的评价图像融合性能的目标函数,即综合熵。将取亮度最大值和对两幅图像进行加权平均的两类图像融合方法相结合,对上述目标函数进行迭代寻优,给出了一种新的图像融合算法。对包括红外与可见光图像,雷达与可见光图像,以及不同性能的可见光图像等多组图像进行实验,结果表明图像融合新算法和性能评价指标都是有效的。     

基于区域和方向方差加权信息熵的图像融合

提出了一种基于非下采样Contourlet变换（nonsubsampled Contourlet transform, NSCT）的红外与可见光图像融合方法。首先对原红外图像进行图像分割,确定目标区域与背景区域,并将其映射到可见光图像中;然后对红外和可见光图像进行多尺度、多方向分解,分解后的低频部分在目标区域选择红外图像低频系数、在背景区域选择可见光图像低频系数,高频部分使用方向方差加权信息熵最大作为融合策略进行融合;最后对融合的系数进行重构得到融合图像。实验结果表明,本文算法在保留图像细节信息、增加信息量、方便目标检测方面都有显著地提高。     

基于双边与高斯滤波混合分解的图像融合方法

针对红外与可见光图像融合时,两种异质图像信息容易相互干扰,造成融合图像出现模糊、信息混乱和对比度降低等问题,提出了一种基于双边与高斯滤波混合分解的融合方法。首先采用双边和高斯滤波器对输入的红外与可见光图像进行混合信息分解,得到小尺度纹理细节、大尺度边缘和底层粗略尺度图像信息;其中的大尺度边缘信息包含红外图像的主要特征,依据该特征确定各分解子信息的融合权重,从而将重要的红外特征信息注入到可见光图像;最后通过对各融合子信息进行组合重构出融合图像。实验结果表明,该算法融合效果要优于传统基于多尺度分解的图像融合算法。     

基于图像质量因子的图像融合客观评价方法

针对图像融合技术中的效果评价问题,提出了一种基于图像质量因子的图像融合客观评价方法。该方法利用熵加权和均方根图像融合质量因子对融合图像与源图像间的相关性、亮度失真和对比度失真进行综合评价,因而在不同融合方法和不同源图像的条件下,可获得标准的评估统计量。采用加权平均、拉普拉斯塔形分解及基于小波变换的图像融合法为例,通过对多传感器图像进行融合评价实验,证明了该方法的有效性和鲁棒性。     

基于NSCT变换的红外与可见光图像融合算法

分析了非子采样Contourlet变换滤波器组的设计与实现方法,提出一种基于非子采样Contourlet变换的红外与可见光图像融合算法。首先将图像作非子采样拉普拉斯金字塔尺度分解,并在各个尺度层对高频子带作非子采样方向分解;然后分别采用基于区域能量和区域方差的的融合规则得到融合图像的非子采样Contourlet低频系数和高频系数;最后再进行非子采样Contourlet逆变换得到融合图像。实验结果表明,该方法的融合效果优于àtrous小波变换方法和Contourlet变换方法。     

注意力机制下双模态交互融合的目标跟踪网络

针对当前目标跟踪难以适应低光照、运动模糊、目标快速移动等挑战,提出了空间通道注意力下的红外与可见光双模态交互融合跟踪网络.首先,红外图像与可见光图像通过backbone三层卷积提取分层特征,并降维至统一分辨率,之后级联三层特征形成各模态特征.其次,多模态特征通过所设计的空间通道自注意力模块和跨模态交互注意力模块使得模态...     

基于小波变换和模糊数学的图像融合算法研究

提出了一种基于模糊数学的图像数据融合算法.作者针对可见光图像和红外图像融合的问题,分析了像素级融合的新方案,提出了基于多级小波分解的和模糊数学的融合算法.该算法首先衡量了两幅图像在小波变换域的相关性,并利用相关性的大小来计算模糊隶属度函数,最终通过对可见光图像和红外图像的加权平均完成像素级的融合.在本文的实验部分,作者针对两幅现场采集的实际数据验证了算法的有效性.     

基于多源信息融合的巡飞弹对地目标识别与毁伤评估

面向利用多枚巡飞弹对地面高防御移动目标进行打击的任务场景,提出一种基于多源信息融合的巡飞弹对地移动目标识别与毁伤评估方法。基于IoU判定实现红外图像与可见光图像的多源信息融合;提出一种基于YOLO-VGGNet的两阶段紧耦合的巡飞弹对地移动目标毁伤评估方法,利用卷积神经网络深度语义信息提取的优势,引入红外毁伤信息,实现对地面移动目标的在线实时毁伤评估。。实验结果表明：基于多源信息融合的目标识别算法有效提升了巡飞弹对地面移动目标识别的有效性;基于YOLO-VGGNet的在线实时毁伤等级评估方法较传统基于图像变化检测与基于两阶段卷积神经网络的方法评估准确率分别提升19%和10.25%。     

基于NSCT和ICA的红外和可见光图像融合方法

针对基于非下采样轮廓波变换（ｎｏｎ ｓｕｂｓａｍｐｌｅｄｃｏｎｔｏｕｒｌｅｔｔｒａｎｓｆｏｒｍ,ＮＳＣＴ）的红外和可见光图像 融合存在的目标信息不明确、融合图像对比度较低的问题,提出了ＮＳＣＴ 和独立分量分析（ｉｎｄｅｐｅｎｄｅｎｔｃｏｍｐｏ ｎｅｎｔａｎａｌｙｓｉｓ,ＩＣＡ）的红外和可见光图像融合方法。首先采用ＮＳＣＴ 对红外和可见光图像进行多尺度、多方向分 解,然后对分解后的红外和可见光图像的低通子带系数采用基于ＩＣＡ 的图像融合方法,得到低通融合图像。再使 用以邻域系数差和信息熵为标准的带通图像融合规则对带通子带系数进行融合,得到带通融合图像。最后对低 通融合图像和带通融合图像进行ＮＳＣＴ 的逆变换,从而得到最终的融合图像。仿真实验验证了本文方法的有 效性。     

基于NSCT和IHS变换域的灰度可见光与红外图像融合方法

针对灰度可见光与红外图像的融合问题,提出了一种基于非下采样轮廓波变换(non subsampled contourlet transform, NSCT)和IHS变换域的自适应融合方法。该方法利用IHS变换域的有效分离图像亮度信息和光谱信息的优势,对灰度可见光图像进行彩色传递并得到亮度、色调、饱合度(intensity hue saturation, IHS)三个分量的值;然后通过NSCT变换分别对可见光图像的I分量和红外图像进行多尺度和多方向分解,并采用一定的融合规则得到融合图像的低频分量和高频分量,而后进行NSCT逆变换得到灰度融合图像并将其作为最终融合图像的I分量,最后进行IHS逆变换得到红绿蓝(red green blue, RGB)彩色融合图像。理论分析和仿真实验验证了该算法的有效性。     

基于背景复杂程度估计的红外图像预处理

从频率意义上对红外小目标图像的基本特征进行了分析,提出了一种基于红外图像加权信息熵的背景复杂程度估计方法,及一种自适应巴特沃思(Butterworth)高通滤波器截止频率调整策略。实践证明,该方法可以较大程度地保留图像中小目标对象的频率信息,基本做到天空背景中处理质量较好,海杂波背景中保证小目标不丢失。图像预处理的良好鲁棒性得到了体现。     

基于光电融合的目标三维结构反演

针对同传感器视角下的空天目标光电特征融合问题, 提出一种综合利用散射中心参数及轮廓角点特征的目标三维结构反演方法。首先, 基于正交匹配追踪(orthogonal matching pursuit, OMP)算法估计出序列雷达图像中的二维散射中心特征, 并利用Freeman链码提取连续可见光图像的角点特征。然后, 基于图论思想分别对雷达及可见光图像中的二维特征点进行关联。最后, 通过特征点三维重构来实现散射中心特征与光学角点特征之间的融合, 从而反演出较单源特征更为丰富准确的目标结构信息。仿真试验结果验证了所提方法的有效性。     

基于空谱信息协同与Gram-Schmidt变换的多源遥感图像融合方法

多光谱和合成孔径雷达图像的融合可以保留每个数据的优势, 有利于提高土地覆盖分类精度。然而, 当前的一些图像融合方法不能完全利用原始数据的光谱信息与纹理细节。为了克服上述问题, 提出一种基于空谱信息协同和Gram-Schmidt变换的融合方法。在所提方法中, Sentinel-2A图像和高分三号(GaoFen-3, GF-3)图像分别经过不同的预处理操作。由于灰度共生矩阵能有效提取图像的纹理信息, 因此将其应用于Sentinel-2A图像以提取结构特征, 并将空谱信息协同的多光谱图像与GF-3图像通过Gram-Schmidt变换进行融合。实验采用主成分分析法和传统的Gram-Schmidt变换作为比较方法。为了确定融合算法的有效性, 采用5项评价指标(包括平均梯度、空间频率、均值、标准差和相关系数)来衡量融合图像的质量。此外, 由于随机森林具有优秀的训练速度和出色的分类性能, 将其用于土地覆盖分类。随机森林的分类精度、Kappa系数和分类结果图作为融合方法的评价标准。实验结果表明, 与单独使用原始Sentinel-2A相比, 所提方法可以将整体精度提高多达5%, 具有提高遥感卫星图像土地覆盖分类精度的潜力。     

结合FABEMD和改进的显著性检测的图像融合

针对红外与可见光图像融合中存在的显著目标不突出、对比度低、存在较多的伪影问题,提出了一种结合快速自适应二维经验模态分解(fast and adaptive bidimensional empirical mode decomposition, FABMED)和改进的显著性检测的图像融合算法。首先,通过FABEMD对红外和可见光图像进行多尺度分解得到对应的基础层和细节层。然后,对最大对称环绕显著性检测做暗抑制改进,将其用于基础层的融合上;结合改进的显著性检测和引导滤波,对细节层进行融合。最后,对各融合子图进行FABEMD逆变换重构出融合图像。与其他经典的融合算法相比,仿真实验验证了本文算法的有效性。     

基于NSST域的红外和彩色可见光图像融合

为了进一步提升彩色可见光和红外图像的融合质量,提出了基于NSST和颜色空间的彩色图像融合方法.首先将RGB空间的彩色可见光图像变换到更符合人类视觉系统的颜色空间,其次利用NSST可以更好提取图像细节信息的优势,对颜色空间的非彩色分量和红外图像进行NSST分解,对分解后的低频系数采用基于方向信息测度的系数选择方案,对高频系数则采用基于隐马尔可夫树(hidden Markov tree,HMT)模型的系数选择方案,然后对经过选择融合的低、高频系数进行NSST逆变换,得到的融合图像作为新的非彩色分量,结合已有的分量将其逆变换回RGB空间,得到最终的融合图像.仿真实验证明了方法的有效性.     

A New Method for Recognizing Point Targets

ＡＮｅｗＭｅｔｈｏｄｆｏｒＲｅｃｏｇｎｉｚｉｎｇＰｏｉｎｔＴａｒｇｅｔｓＬｉＨｏｎｇ，ＳｕｎＺｈｏｎｇｋａｎｇ＆ＸｕＨｕｉＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，ＮａｔｉｏｎａｌＵｎｉｖｅｒｓｉｔｙｏｆＤｅｆｅｎｓｅＴｅｃｈ...     

基于梯度域导向滤波器和改进PCNN的图像融合算法

为解决当前融合后图像存在的光晕伪影现象以及不利于视觉感知的问题, 提出了一种基于梯度域导向滤波(gradient domain guided filtering, GDGF)和改进的脉冲耦合神经网络(pulse-coupled neural network, PCNN)的图像融合算法。首先, 利用图像结构、清晰度以及对比度显著性的图像特征构建图像融合模型。其次, 采用梯度域导向滤波取代传统优化方法, 通过像素间相关性优化初始决策图。然后, 将优化决策图作为外部输入刺激改进PCNN模型, 得到融合权重图。最后, 对源图像和融合权重图进行加权操作得到最终融合图像。实验结果表明, 所提方法更好地保留图像边缘、纹理和细节信息, 避免目标边缘的光晕伪影现象, 且利于视觉观察。