基于小波包分解的无参考立体图像质量评价

立体图像质量评价在立体图像处理领域中应用广泛.基于小波包分解的精细分辨率,提出了一种全新的无参考立体图像质量评价算法.选取合值图和差值图作为融合图来评估立体图像,首先,对立体图像对进行小波包分解,基于双眼竞争和双眼抑制原理,将分解后的左右视图进行融合得到合值图和差值图.然后,分别在融合图上提取自然场景统计(NSS)特征和信息熵;另外,考虑到左右视图之间的内在相关联系,提取结构相似度特征.最后,运用支持向量回归(SVR)来建立感知特征和主观分数模型并预测得到客观评价分数.采用该算法在LIVE 3D立体图像数据库上进行测试,实验结果表明,该算法与人眼主观评价结果一致性较高,优于当前主流的立体图像质量评价算法,符合人眼视觉感知特性.     

基于Seam Carving的双向接缝裁剪图像重定向

在比较现有图像重定向技术方法基础上,针对传统Seam Carving方法,其图像边缘重要度图的表征内容感知存在忽视了图像内容主体与边缘关系的问题,提出一种双向接缝裁剪的图像重定向改进方法.该方法通过结合检测边缘的梯度能量图和检测内容的显著性图,突出重要对象主体和保护重要边缘信息,同时延缓裁剪细缝穿过重要信息的可能性,能够保持重定向图像的重要部分与图像整体之间的布局合理关系.以SIFT Flow算法作为质量评估参考,利用实验数据集和多组对比实验,验证了本研究图像重定向改进方法具有良好的视觉改善效果.     

基于深度网络和视觉特性的无参考图像质量评价方法

图像质量评价是图像处理和计算机视觉领域的基础性问题,对于视觉信息的采集、处理和分析系统性能的评判具有重要的意义.现有的无参考型图像质量评价方法都是基于自然统计规律的,或者构建单一网络模型,并未考虑视觉感知特性,使得最终的评价结果与主观感受间存在较大差异.为此,本文提出一种结合多种网络特性和最差视觉感知特性的无参考型图像质量评价方法.首先,提取图像的去均值对比度归一化特征,将特征图进行重叠分块;然后,构建VGG与Inception相结合的深度网络,对图像块提取深度感知特征;最后,将分块图像的质量分数集合进行排序,利用视觉感知最差情况加权策略对序列进行加权求和,得到最终的图像质量分数.在国际公开的质量评价数据库CSIQ、LIVE和TID2013上的实验结果表明,本文方法取得了优于现有方法的主客观一致性性能.     

基于稀疏字典学习的立体图像质量评价

本文提出了一种基于稀疏字典学习的双通道立体图像质量评价方法.其中,一个通道结合视觉注意机制得到初始立体显著图,用中央偏移和中心凹特性对其进行优化得到最终的显著图,然后,对其进行稀疏字典训练获得显著字典;另一个通道将参考立体图像对进行SIFT特征变换,然后,对其进行稀疏字典训练获得SIFT字典.在测试阶段,利用已训练字典对参考图像和失真图像进行稀疏编码获得稀疏系数,并定义稀疏系数相似度指标以衡量参考图像和失真图像之间的信息差异;最后将两个通道的质量分数进行加权得到立体图像质量的客观分数.实验在两个公开LIVE库上进行测试,实验结果表明,本文算法的评价结果与主观评分具有更好的一致性,更加符合人类视觉系统的感知.     

一种基于知觉模拟的全参考图像质量评价方法

为提高客观图像质量评价与主观图像质量评价的一致性,提出一种模拟人类感知图像质量过程中,由生理因素主导的前期过程和由心理因素主导的后期过程的IQA 方法. 人类感知图像信息的过程依赖于人脑的内部生成机制,它主动预测图像中易被感知的简单结构且忽略难以被感知的复杂结构. 此方法利用贝叶斯预测模型将输入图像分为易感知区域和难感知区域,对具有各异感知特征的两区域通过不同特征进行分别评估. 最后采用关于视觉显着性和亮度掩蔽的整体综合策略,对两组评估结果统一进行计算. 基于整体感知的综合策略和基于局部感知的保真度测量在此方法中互为补充.TID2008 等4 个通用评测数据库的实验结果,指出了该方法具有良好的预测精度和稳定性.     

基于视差图指导的无参考立体图像质量评价

考虑到视差图在立体成像中的重要性,设计了一种双通道的卷积神经网络来实现无参考立体图像质量评价.首先,建立一个以密集连接网络为主体的卷积神经网络结构,用于提取特征.其次,基于人类视觉系统的双目融合和双目竞争的特性,将左右视图进行R、G、B三通道融合得到彩色融合图像,并将此融合图像作为卷积神经网络的一个通道的输入;另一通道的输入为视差图,视差图起到了特征补偿的作用.然后,通过改进挤压和激励模块来实现视差图对融合图像的加权指导.这种加权策略加强了融合图像的重要信息的比重,减轻了非重要信息的比重.最后,在卷积神经网络的末端,将视差图的特征和加权校正过的融合图像的特征进行融合得到总体特征,将总体特征与主观评价方法得分进行回归分析,得到待测立体图像的质量分数.在两个公开的LIVE立体数据库上进行实验验证.结果表明:所提出的无参考立体图像质量评价方法能够有效地应对对称和非对称失真类型的立体图像,并与主观评测方法保持高度一致.     

基于视觉感知特征融合的图像质量评价

在图像压缩,图像恢复和图像传输等领域中真实评价输出图像的视觉质量是一项重要的工作。图像质量评价(IQA)旨在开发一种与人眼视觉感知紧密相关的方法。本文提出一个新的图像质量评价模型VFDP,该模型首先在视觉显著性特征基础上,结合颜色特征和梯度特征来描述局部图像质量。其中,本文采用新的计算梯度特征相似性方法,该方法融合参考图像与对应失真图像的亮度通道,并计算该通道的梯度图与参考/失真图像梯度图之间的相似性。最后采用平均偏差加权的方法对视觉显著特征,颜色特征与改进的梯度特征融合,得到图像质量评价结果。在TID2013、TID2008与LIVE数据库测试,结果表明VFDP所预测的PLCC与SROCC值优于8种主流算法预测的结果,其预测结果与人眼主观评价有较好的一致性。     

基于哈尔特征及结构复杂度的视觉显著性模型

提出了一种基于哈尔特征及结构复杂度的视觉显著性计算模型.首先,将输入图像从物理颜色空间RGB转换到感知颜色空间LAB.然后,用积分图快速计算出图像在LAB颜色空间各颜色通道中不同尺度下的哈尔特征图.最后,将所有特征图根据各自的结构复杂度融合为最终的显著图.实验结果表明,该模型总体上优于当前的6种典型算法,与心理学实验结果有较好的一致性.     

基于残差密集块和自编码网络的红外与可见光图像融合

红外与可见光图像融合是复杂环境中获得高质量目标图像的一种有效手段,在目标检测与跟踪、图像增强、遥感、医疗等领域有广泛应用前景.为解决目前基于深度学习的红外与可见光图像融合方法中存在的网络无法充分提取特征、特征信息利用不充分和融合图像清晰度低的问题,本文提出了一种基于残差密集块的端到端自编码图像融合网络结构,利用基于残差密集块的编码器网络将图像分解成背景特征图和细节特征图,然后将两种特征图进行融合,再通过解码器进行重构,还原出最终的融合图像.测试结果表明,本文的方法可以得到清晰度高、目标突出、轮廓明显的融合图像,在SF、AG、CC、SCD、Qabf、SSIM 6个融合质量评估指标上与目前代表性融合方法相比均有不同程度的提升,特别是在融合图像清晰度上优势明显,且对于模糊、遮挡、逆光、烟雾等复杂环境图像有较好的融合效果.      

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.     

双通道立体图像质量评价方法的研究

针对立体图像质量评价问题,基于人眼观测图像的感知特性,提出一种双通道立体图像质量评价算法。首先,获取双目视图的拉普拉斯金字塔序列构建融合图,采用并行域分解多权重化策略提取双目局部质量感知特征;然后,结合视觉平衡特性引入语义特征通道提取双目高层次语义特征;最后,在支持向量回归的基础上得到双通道主客观图像质量评价值的关系映射。双通道网络集成了包含视差信息的多局部细节特征与全局语义特征,在LIVE 3D 立体图像库进行性能测试,结果表明,算法所得预测值与主观评价值间具有良好的一致性。     

基于视觉显著性的分块自适应压缩感知算法

针对SAR图像的压缩感知重建问题,在分块压缩感知框架的基础上,提出了基于视觉显著性的分块自适应压缩感知算法.在采样阶段,每个子块的采样率依据显著信息自适应的变化;在重建阶段,根据不同图像显著信息的差异,自适应地滤波.实验结果表明:该方法不仅重建结果的整体质量更优,视觉效果更好,而且在重建后的图像中能更好地保持边缘和目标等重要特征.     

基于递归卷积神经网络的行人检测方法

为了提高视频中行人检测的准确度,提出了一种基于递归卷积神经网络的行人检测方法.该方法利用递归卷积神经网络融合视频中连续图像的上下文信息,以实现准确的行人检测.首先,利用卷积神经网络提取连续图像的多个特征图组;然后,根据先后次序,将多个特征图输入到递归卷积神经网络中,形成一张关于行人位置的掩码图;最后,通过在掩码图上预测行人的检测框,获得视频中当前图像的行人检测结果.实验结果表明:相比于其他行人检测方法,该方法在ETH、CUHK和PETS 2007三个数据集上都取得较准确的行人检测结果.     

基于深度学习模型的图像质量评价方法

为了有效提取与视觉感知质量高度相关的图像特征,改进图像质量评价方法,在深度学习的框架下,提出一个全新的卷积神经网络IQF-CNN结构,能自动学习判别性更强的图像质量特征,并利用学习的特征进行图像质量评价.同时,该算法采用局部亮度系数归一化、dropout等技术进一步提高网络学习能力.实验结果表明:该算法能较准确地评估五种常用的图像失真,尤其在JPEG压缩、JPEG2000压缩和高斯模糊图像失真上与人眼主观感知质量具有很高的一致性,整体性能比较优于其他经典评价方法.     

一种新的结构特征全参考图像质量评价方法

提出一种基于单演信号理论提取结构特征的全参考图像质量评价方法。方法首先利用单演信号理论将图像分解为幅值、方向和相位3个特征分量,构造单演相位一致映射图和特征分量相似度比较函数;然后对相位一致映射图进行Riesz变换,其变换后的一阶、二阶系数作为结构特征相似度比较函数,最后将单演信号的特征分量和结构特征相似度比较函数归一化加权计算得出最终的图像质量评价值。实验结果表明,由于单演相位一致具有较好的抗噪声能力,特征分量和结构特征相似度更加全面考虑到对于人眼感知图像结构的重要性,因此评价结果与图像主观质量评价具有较好的一致性。     

基于对抗样本的深度学习图像压缩感知方法

压缩感知是研究数据采样压缩与重构的信号处理新理论,近年来研究人员将深度学习运用到图像压缩感知算法中,显著提高了图像重构质量.然而,图像信息常与隐私关联,高质量的重构图像在方便人们观赏的同时,带来了隐私保护的问题.本文基于深度学习理论,提出一种对抗的图像压缩感知方法.该方法将压缩理论和对抗样本技术统一于同一个压缩感知算法,通过设计损失函数,联合重构误差和分类误差来训练压缩感知深度神经网络,使得压缩感知重构样本同时也是一个对抗样本.因此,重构图像在保证重构质量的同时,也能对抗图像分类算法,降低其识别率,达到保护图像隐私的效果.在Cifar-10和MNIST图像集上进行的实验结果表明,和已有的压缩感知方法相比,我们提出的对抗压缩感知方法以损失仅10%的图像重构质量为代价,使得图像分类精度下降了74%,获得了很好的对抗性能.     

基于Zernike矩和水平集的超声图像分割

为了提高超声图像的分割精确率,提出了一种基于Zernike矩和水平集的超声图像分割方法.首先,利用9个具有不同阶数和重复度的Zernike矩提取超声图像的纹理特征,保留矩的幅值和相位,获得18个特征图,同时在每一特征图目标区域内外采样,利用采样值计算出特征图的权值.然后,将特征图与高斯算子进行卷积,计算其边缘检测函数,将所有特征图的边缘检测函数与对应的特征图权值相乘,所得结果之和即为该超声图像的边缘检测函数.最后,利用基于变分函数的水平集方法对超声图像进行分割.基于前列腺超声图像的实验结果显示,相比基于梯度的水平集方法和基于Zernike矩幅值的水平集方法,所提方法具有更高的分割精度,dice相似系数达到95%以上.     

基于感知意象的图像检索技术

鉴于用户在图像检索过程中具有对检索结果的感知意向需求,构建了感知意象模型,并设计了基于该模型的检索系统.该系统运用距离直方图提取和表示图像形态特征,采用傅里叶变换的纹理特征方法提取图像的纹理特征,并运用相似性度量和图像意象的相关度标注技术进行系统的扩充和标注.该系统充分体现了用户意象需求,用户利用意象词汇能够检索符合其意象认知的图像.实验证明,利用感知意向模型进行图像检索具有较好的效果.     

基于IGM和深度感知的立体图像质量评价

根据人类视觉系统的特点,提出了一种基于内在推理机制(internal generative mechanism, IGM)和深度感知的半参考立体图像质量评价(stereoscopic image quality assessment,SIQA)方法,用图像质量和深度感知质量2个因素来评估立体图像的体验质量(quality of experience, QoE).首先,对于图像质量,根据大脑的内在推理机制将左右视点分别分解成可预测部分和不确定部分,用基于灰度共生矩阵(gray level co-occurrence matrices, GLCM)和基于视觉信息量的质量评价方法计算这2个部分的质量;然后,对于深度感知质量,采用一种改进的自然场景统计(natural scene statistics, NSS)模型来预测这部分质量;最后,将图像质量和深度感知质量融合为立体图像体验质量.实验结果表明,该算法在常用视频库上的结果优于现有的评价方法,且与主观感知具有较高一致性.     

基于小波变换的图像零树压缩感知方法

稀疏性是压缩感知的前提,然而,自然图像通常不是稀疏的,因此对图像直接应用压缩感知算法很难取得高压缩效率.针对图像信号,将编码思想融入压缩感知理论,提出一种简单有效的零树压缩感知方法.该方法先利用零树思想辅助压缩感知测量,在得到测量值的同时编码重要系数的位置;然后提出零树追踪重构算法,通过精确解码重要系数位置来重构原始图像小波系数,提高重构精度.实验结果表明,相比于现有匹配追踪算法和EZW算法,本文方法有更高的压缩比和更好的图像重构质量.