基于小波框架变换的多聚焦图像融合新算法

在离散小波框架变换图像融合的基础上,从离散小波框架变换系数的特点出发,提出了一种基于离散小波框架变换的多聚焦图像融合算法。该算法通过计算低频系数加权窗口邻域的相似性度量和系数窗口邻域的信息熵来确定融合图像的低频系数;结合高频系数占优块和块与块之间的相关系数来确定融合后的高频系数。实验结果表明该算法提高了图像的融合质量。     

基于自编码器的红外与可见光图像融合算法

基于深度学习的红外与可见光图像融合是图像处理领域的研究热点之一,为丰富融合图像的细节信息、突出红外目标,基于自编码器网络提出一种可进行端到端训练的融合算法。首先,将编码器设计成双分支结构,并针对红外与可见光图像的特性设置不同的特征提取方式;其次,为有效地融合红外与可见光的互补信息,设计了一种可学习的融合策略,并使整个框架能够进行端到端的学习;最后,解码器对通过融合策略所获得的特征进行重构,进而得到融合图像。基于TNO数据集进行实验验证,定性和定量的结果表明,算法能够生成红外目标突出、细节信息丰富的融合图像,相较于其他算法,融合性能更加优越。     

基于投影权值归一化的立体图像质量评价方法

本文基于深度卷积神经网络和融合图像提出了一种引入投影权值归一化的立体图像质量评价方法.首先基于人眼双目竞争现象,提出对经过Gabor滤波后的左右视点图像进行彩色融合,从而得到单幅融合图像.卷积神经网络的输入即为预处理后的融合图像,通过卷积层自主对图像特征进行提取,采用池化层对特征信息降维,保留显著特征且减小网络计算复杂度;采用Re LU非线性激活函数缓解梯度消失,有效缓解了网络过拟合问题;网络引入数据批量归一化来规范各层输入数据的分布,引入投影权值归一化来保证权值参数的量级相同,有效地提升了算法的性能.本文在公开的立体图像库LIVE-Ⅰ和LIVE-Ⅱ上进行了实验.实验结果表明,本文方法在对称失真与非对称失真的立体图像质量评价上均具有较好的性能.     

双通道立体图像质量评价方法的研究

针对立体图像质量评价问题,基于人眼观测图像的感知特性,提出一种双通道立体图像质量评价算法。首先,获取双目视图的拉普拉斯金字塔序列构建融合图,采用并行域分解多权重化策略提取双目局部质量感知特征;然后,结合视觉平衡特性引入语义特征通道提取双目高层次语义特征;最后,在支持向量回归的基础上得到双通道主客观图像质量评价值的关系映射。双通道网络集成了包含视差信息的多局部细节特征与全局语义特征,在LIVE 3D 立体图像库进行性能测试,结果表明,算法所得预测值与主观评价值间具有良好的一致性。     

一种融合特征选择的AdaBoost集成算法

针对Ada Boost算法训练分类器的特征具有大量冗余问题,提出了一种融合特征选择的Ada Boost集成算法.首先,使用一种特征选取方法,选择图像特征之间冗余度最小的特征,构造最优训练集;其次,采用Ada Boost算法训练分类器,构建分类模型;最后,使用分类模型实现待标注图像的自动标注.实验使用华盛顿大学用于图像自动标注的数据集,结果验证算法的有效性,并且相比其他传统算法,该算法具有更高的分类精度.     

基于融合图像的无参考立体图像质量评价

长时间观看立体图像会导致视觉疲劳、恶心、头痛等不适感,如何结合人类的视觉特性对立体图像质量进行评价是近年来立体成像领域的研究热点.为此,本文提出了一种基于融合图像的无参考立体图像质量评价方法.为了更好地模拟人脑处理立体图像的过程,提出了一种先将左、右视图融合然后进行处理的融合图像算法.首先针对左、右视图分别在RGB 3个通道上进行Gabor滤波以模拟人眼的视觉多通道特性,获取其不同尺度和方向的结构特征,随后通过对比敏感度函数滤除图像的不重要频率信息,然后通过增益控制原理进行加权获得融合图像.相比之前无参考立体图像质量评价方法局限于提取手工裁剪的特征,本文采用直接将原始图像进行切块后,送入网络进行训练,让卷积神经网络自动地提取图像的特征,并且采用重叠切块的方法,相比于非重叠切块,重叠切块可以更好地保留相邻像素之间的关系,并且增加了训练的数据集.然而,与拥有几百万张图像组成的Imagenet数据库相比,立体图像数据库仅有几百张,而且构成图像的基向量是普适的,所以本文对在Imagenet数据库上训练好的Alexnet网络进行迁移学习,建立输入图像和输出质量值之间端到端的映射.迁移学习网络模型较传统卷积神经网络收敛快,而且具有更好的初始权重.最后,鉴于人眼在观看图像时总是倾向于从图像的中心开始寻找视觉注视点,然后其注意力由中央向四周递减,本文利用显著特性对图像小块的输出进行加权以更好地模拟人眼的视觉显著特性.在公开的LIVE3Dphase-Ⅰ、LIVE3Dphase-Ⅱ数据库上进行测试,结果表明本文所提方法在对称和非对称立体图像数据库上较其他方法均取得了较好的结果,能够与人类的主观感知保持良好的一致性.     

基于双目融合网络的立体图像质量评价

立体图像质量评价为3D技术的发展与应用提供了技术支撑.如何根据立体图像特点,构建更加符合立体视觉认知机制的立体图像质量评价模型,已成为该领域的关键问题之一.现有的立体图像质量评价方法要么先分别处理左右视图,然后结合左右视图质量得到立体图像质量分数;要么先对左右视图进行融合得到融合视图,然后评价平面的融合视图得到立体图像质量分数.事实上,大脑对立体视觉信号的处理是一个长期的复杂融合与处理的过程,并最终在视觉皮层完成对视觉信号的认知与判断.受大脑立体视觉认知机制的启发,本文提出一种基于双目融合网络的立体图像质量评价模型,实现了双目信息的多次融合与处理,模拟了大脑对双目信息进行处理和判决的视觉传导通路.所提出的双目融合网络包含左视图通道、右视图通道和融合通道,模拟立体视觉信息在视觉通路中的逐层并行处理过程;左右视图通道在网络中多次交互,模拟视觉通路中双目信息的多次融合与处理;网络末端的3个全连接层,模拟视觉信息经过视觉通路处理后复杂的质量判断过程.本文实验在两个公开立体图像库LIVE3D Phase Ⅰ和LIVE 3D Phase Ⅱ上进行,实验结果表明,该方法在对称与非对称失真立体图像上均能取得更好的结果,且较其他方法具有更强的普适性.     

基于奇异值分解的无参考立体图像质量评价

针对非对称失真立体图像,提出了一种基于奇异值分解的无参考评价算法.该方法首先考虑人眼对空间频率变化敏感的特性和双目融合特性,对立体图像进行Gabor滤波,基于奇异值分解的融合策略生成融合图.然后,采用亮度加权直方图的局部二值模式算法分别对融合图、左右子图像提取特征,并将左右子图像的特征向量融合、采用欧几里得距离和夹角余弦进行向量之间的比较;为度量非对称失真差异,利用图像相似度算法计算左右子图像之间的相似性.最后,将融合图的特征向量、子图像的融合及比较特征向量、子图像的相似度特征向量级联,利用支持向量回归(SVR)算法完成特征到主观质量分数的回归映射.在LIVE3DⅡ、Waterloo-IVCⅠ和Waterloo-IVCⅡ立体图像库上对本算法进行测试.实验结果表明,本算法性能良好,优于目前主流的立体图像质量评价算法.     

基于电路网络的多图融合

结合互联网图像搜索的特点,提出了一种适用于大数据集基于电路网络的线性多图融合框架.根据核矩阵对应图模型的马尔可夫网络特征,分析了电路网络描述马尔可夫网络和多马尔可夫网络融合的可行性.分析了单源单地电路网络和谱聚类在描述流形上的相似关系,并受此启发找到了对应于等周分割模型的单地多源电路网络模型,给出了它的希尔伯特空间解释.分析了电路网络和经典排序算法的联系,进而提出了一种新的快速迭代算法.在以上工作的基础上,提出了多图融合的电路网络模型,该模型可以方便的利用k近邻信息和相关信息.在多模态图像搜索的应用里,比较了单地多源电路网络模型和流形排序以及其他多图融合、相关性分析模型;实验结果验证了融合模型和快速算法的有效性.     

基于深度学习与狮群SVM算法的遥感场景分类

针对高分辨遥感图像样本量小,以及传统优化支持向量机(SVM)算法易陷入局部最优解、寻优速度慢等问题,提出一种基于深度迁移学习与狮群优化SVM(LSO-SVM)算法对遥感图像场景进行分类.首先,通过自适应对比度增强图像后利用颜色聚合向量提取图像颜色特征;其次,利用3种预训练网络分别提取图像的迁移学习深度特征;最后,将手工提取的图像特征与用3种预训练网络获取的特征使用系列特征融合方法进行融合,并将其输入LSO-SVM进行图像场景分类.结果表明,该算法解决了小样本情况下深度学习较难训练及传统优化SVM算法易陷入局部最优解、寻优速度慢的问题.在80%的训练条件下,数据集UCM Land-Use和RSSCN7的分类精度分别达到99.52%和98.57%.     

基于改进MGR融合算法的视频信息融合框架

针对视频信息具有的多模态性质,提出了融合视音频多种模态特征信息的视频融合分析框架,用以提高视频检索的正确率和效率.该框架根据从视频底层提取出的多种图像特征、音频特征,采用基于图嵌入框架的降维算法MFA降维,根据降维后得到的各种特征向量,训练SVM分类器进行分类,并用改进后的MGR融合算法对SVM分类器输出的序号矩阵进行融合分析.实验结果表明该融合框架融合多种特征提高了分类识别的效率,采用了改进的融合算法降低了计算复杂度,提高了系统的整体性能.     

基于稀疏理论与FFST-GIF的多聚焦图像融合算法

为解决稀疏理论融合后多聚焦图像细节特征模糊、综合效果不佳等问题,提出了一种将稀疏理论与快速有限剪切波变换联合引导滤波(FFST-GIF)相结合的图像融合算法.利用FFST从原始图像中分解出高频和低频子带系数,采用引导滤波的相对标准差算法融合细节信息丰富的高频系数;使用K-SVD方法训练得到完备字典,再结合稀疏理论融合低...     

基于视觉特性的图像融合质量评价新方法

建立图像融合质量评价标准是图像融合中急需解决的问题之一,本文在分析讨论了现有主、客观评价方法的基础上,提出的一种新的结合主观和客观因素的图像融合质量评价方法,该方法无需理想图像,同时充分考虑了人类视觉特性.通过对红外与微光图像在不同融合算法下的质量进行评价表明,该方法是一种实用的、有效的图像融合质量评价方法,可以为选择图像融合算法提供依据.     

基于小波包分解的无参考立体图像质量评价

立体图像质量评价在立体图像处理领域中应用广泛.基于小波包分解的精细分辨率,提出了一种全新的无参考立体图像质量评价算法.选取合值图和差值图作为融合图来评估立体图像,首先,对立体图像对进行小波包分解,基于双眼竞争和双眼抑制原理,将分解后的左右视图进行融合得到合值图和差值图.然后,分别在融合图上提取自然场景统计(NSS)特征和信息熵;另外,考虑到左右视图之间的内在相关联系,提取结构相似度特征.最后,运用支持向量回归(SVR)来建立感知特征和主观分数模型并预测得到客观评价分数.采用该算法在LIVE 3D立体图像数据库上进行测试,实验结果表明,该算法与人眼主观评价结果一致性较高,优于当前主流的立体图像质量评价算法,符合人眼视觉感知特性.     

基于块对称对叠的多幅图像超分辨率重建算法研究

在进行图像超分辨率重建时,使用多幅图像比使用一副图像能够得到更好的效果,但是目前基于多幅图像的超分辨率重建算法普遍存在重建速度慢、重建质量不够理想的问题。为此,本文构造了一种基于块对称对叠（PsyCo）的多幅图像超分辨率重建算法,首先对低分辨率图像序列进行基于ORB的图像配准,再对配准后的图像进行PSyCo重建,最后对重建的图像进行像素灰度最大值融合。实验结果表明,本文提出的重建算法具有更好的重建效果,并且具有较快的重建速度。     

多尺度生成对抗网络的图像超分辨率算法

基于神经网络的图像超分辨率方法往往存在重建图像纹理结构模糊、缺失高频信息的问题。为了解决该问题,在SRGAN的基础上提出一种多尺度并联学习的生成对抗网络结构,其中生成模型由两个不同尺度的残差网络块组成,首先对提取的低分辨率图像通过两个子网络的多尺度特征学习,然后使用融合网络进行残差融合,融合不同尺度高频信息,最终生成高分辨图像。在Set5、Set14、BSD100基准数据集以及SpaceNet卫星图像数据集上的实验结果证明了该算法在恢复低分辨率图像的细节纹理信息具有良好效果。     

基于不可分离小波框架变换的多聚焦图像融合算法

为解决多聚焦图像融合问题,提出了一种基于不可分离小波框架(NWF)变换的融合算法：首先,对各原图像进行NWF变换;然后,根据变换后系数计算图像的对比度量测,融合处理为基于对比度量测的系数选取过程,并对选取后的系数进行一致性校验;最后,对组合后的系数进行NWF逆变换,得到融合后的图像．实验结果表明,该算法能够较好地解决多聚焦图像融合问题．     

基于图像内容和双目特性的立体图像质量评价

为提高图像质量客观评价与主观评价的相关性,提出了一种基于图像内容和双目特性的立体图像质量评价方法。首先,分别对参考和失真图像的频域信息加权,提取感兴趣区域作为权重进行融合计算,得到基于图像内容的评价值;然后,利用拉普拉斯金字塔和双目加权模型实现对左右视点图像的逐层分解、融合,并重构合成图,得到基于双目特性的评价值;最后,结合两者得到立体图像质量评价值。以LIVE3D图像库为样本,将该方法与主观评价值作相关性分析。在相同条件下,对于五种失真类型的立体图像,其Spearman等级相关系数总体优于现有算法。结果表明,该评价方法对立体图像质量的预测结果与主观评价值具有较高的一致性。     

基于空间和光谱信息保持的多光谱图像融合算法

文章采用基于空间和光谱信息保持的多光谱图像融合框架,以生成具有高空间质量的多光谱图像。本文采用的融合框架的能量泛函包括四项,第一项为边缘自适应提取约束项,从全色图像中自适应提取边缘细节信息并注入多光谱图像中;第二项为线性组合系数约束项,基于对多光谱图像各波段线性组合系数的估计以改善融合图像的空间质量;第三项为光谱信息保持约束项,基于L2范数分波段估计模糊核以保持多光谱图像的光谱信息;第四项为波段比例关系保持约束项,基于融合前后波段之间的比例关系相等的假设以减轻融合图像光谱失真。在QuickBird和Pavia University图像数据上进行仿真实验,结果表明,与SFIM、MTF_GLP、MTF_GLP_HPM、PCA、GS、GSA、AIHS、GFPCA等算法相比,本文方法的融合图像具有较高的空间和光谱质量。     

基于改进生成对抗网络的多聚焦图像融合

针对多聚焦图像融合中权重分配和融合规则设计困难的问题,本文提出了一种基于改进生成对抗网络的多聚焦图像融合算法。首先,对生成器网络和判别器网络进行设计,为了避免图像在网络模型传递过程中造成的信息丢失,裁撤网络结构中的池化层,通过卷积层叠提取图像特征。其次,构建生成对抗网络的损失函数,优化网络参数,得到最佳的网络模型。最后,将实验结果与现有的几种融合算法相比较,通过5种客观评价指标来评价融合图像的效果。结果表明,本文提出的算法不仅在主观上有着良好的视觉效果,也在客观评价指标上有显著优势。