基于BJND和JNDD的立体视频深度感知增强技术综述

人类视觉系统是一个具有多种视觉特性的复杂处理系统,视觉感知是人眼多种视觉特性共同作用的结果。立体视频图像因视差和深度的存在有着与平面图像不同的视觉感受,且深度感与视差有着紧密的关系。恰可察觉差别(Just Noticeable Difference,JND)或者称为恰可察觉失真(Just Noticeable Distortion,JND)是一种基于视觉心理学和生理学的视觉特性,双目恰可察觉差别(Binocular JND,BJND)和恰可察觉深度差别(Just Noticeable Depth Difference,JNDD)影响人们对立体视频的用户体验。在阐述JND基础上,综述人类视觉感知立体视频的BJND、JNDD模型及国内外研究现状,分析视差图质量和深度图信息对立体视频感知影响,提出了基于JNDD的深度图处理方法,寻求人眼对立体视频深度感知增强技术,建立基于BJND和JNDD的立体视频图像质量客观评价方法,为立体视频图像处理及应用提供指导。     

基于人类视觉系统的特征相似性图像质量评价

为克服现有特征相似性(FSIM)图像质量评价算法对图像信息无序部分及边缘信息度量能力的不足,利用人类视觉系统的内在推导机制,提出基于人类视觉系统的特征相似性图像质量评价算法HFSIM.该算法采用自回归预测模型分解并解读图像内容的预测部分和无序部分;联合FSIM与边缘结构相似性算法度量预测部分,采用多尺度峰值信噪比(PSNR)度量无序部分的衰减情况,最后根据噪声能量融合图像信息预测部分与无序部分的评价结果得到图像质量评价.在6个公开基准数据库上的实验结果表明,该算法与人类主观感知具有高度的一致性,且在各类型失真图像的评价上具有较好的性能.     

基于视觉感知的立体图像零水印算法研究

人眼感知立体图像,主要是对图像内容和深度信息的感知,而视点之间的差异是形成立体图像深度感知的一个重要原因。本文基于人眼视觉感知特性,提出了视点零水印和视差零水印算法,视点零水印将视点图像的亮度Y分量分块做DCT变换,并根据DCT域中低频系数的大小关系来构造视点零水印,提高了水印的鲁棒性和不可见性;视差零水印通过求取左右视图的视差值,搜索得到左右视图的匹配区域,根据匹配区域内左右图像块的DC系数大小关系来构造视差零水印。统计两类零水印恢复率,达到对立体图像质量和立体感知质量客观评价的目的。实验结果表明,该水印算法具有良好的鲁棒性和不可见性,通过水印恢复率客观评价图像质量和立体感知质量,与人眼主观评价具有一致性。     

基于小波包分解的无参考立体图像质量评价

立体图像质量评价在立体图像处理领域中应用广泛.基于小波包分解的精细分辨率,提出了一种全新的无参考立体图像质量评价算法.选取合值图和差值图作为融合图来评估立体图像,首先,对立体图像对进行小波包分解,基于双眼竞争和双眼抑制原理,将分解后的左右视图进行融合得到合值图和差值图.然后,分别在融合图上提取自然场景统计(NSS)特征和信息熵;另外,考虑到左右视图之间的内在相关联系,提取结构相似度特征.最后,运用支持向量回归(SVR)来建立感知特征和主观分数模型并预测得到客观评价分数.采用该算法在LIVE 3D立体图像数据库上进行测试,实验结果表明,该算法与人眼主观评价结果一致性较高,优于当前主流的立体图像质量评价算法,符合人眼视觉感知特性.     

基于深度网络和视觉特性的无参考图像质量评价方法

图像质量评价是图像处理和计算机视觉领域的基础性问题,对于视觉信息的采集、处理和分析系统性能的评判具有重要的意义.现有的无参考型图像质量评价方法都是基于自然统计规律的,或者构建单一网络模型,并未考虑视觉感知特性,使得最终的评价结果与主观感受间存在较大差异.为此,本文提出一种结合多种网络特性和最差视觉感知特性的无参考型图像质量评价方法.首先,提取图像的去均值对比度归一化特征,将特征图进行重叠分块;然后,构建VGG与Inception相结合的深度网络,对图像块提取深度感知特征;最后,将分块图像的质量分数集合进行排序,利用视觉感知最差情况加权策略对序列进行加权求和,得到最终的图像质量分数.在国际公开的质量评价数据库CSIQ、LIVE和TID2013上的实验结果表明,本文方法取得了优于现有方法的主客观一致性性能.     

基于双重注意力和分层感知表征的IQA方法

图像质量评价在图像处理领域有着广泛的应用．基于深度学习的方法以多通道特征的形式获取图像信息,但在特征下采样过程中会丢失局部空间细节,导致对于图像信息的表征能力不足．针对以上问题,本文基于人类视觉系统的分层感知机制,提出了一种全参考图像质量评价方法,采用Siamese结构的卷积神经网络实现非线性映射,从不同尺度和视觉复杂度表征图像信息,并通过双重注意力模拟人类在评价图像质量时对视觉注意力的调控过程．此方法在特征提取阶段引入空间注意力机制,对特征图的二维空间位置赋以权重,计算人在感知图像失真信息时对空间区域的注意力差别．在特征融合阶段利用分组通道注意力模块显式建模通道间的依赖关系,对感知差异特征进行自适应的校准,使网络关注对于图像质量评价影响大的通道特征．实验结果表明,该方法在LIVE、TID2013和CSIQ3个公开数据集上的斯皮尔曼相关系数分别达到0.975、0.938和0.963,在应对复杂失真类型图像时的性能提升显著,与人类主观评价的一致性良好．     

基于视觉感知特征融合的图像质量评价

在图像压缩,图像恢复和图像传输等领域中真实评价输出图像的视觉质量是一项重要的工作。图像质量评价(IQA)旨在开发一种与人眼视觉感知紧密相关的方法。本文提出一个新的图像质量评价模型VFDP,该模型首先在视觉显著性特征基础上,结合颜色特征和梯度特征来描述局部图像质量。其中,本文采用新的计算梯度特征相似性方法,该方法融合参考图像与对应失真图像的亮度通道,并计算该通道的梯度图与参考/失真图像梯度图之间的相似性。最后采用平均偏差加权的方法对视觉显著特征,颜色特征与改进的梯度特征融合,得到图像质量评价结果。在TID2013、TID2008与LIVE数据库测试,结果表明VFDP所预测的PLCC与SROCC值优于8种主流算法预测的结果,其预测结果与人眼主观评价有较好的一致性。     

基于视觉感知高度相关的图像质量评价

评估并监控图像质量是数字图像处理技术的基础工作。客观图像质量评价(IQA)旨在通过计算机开发与人眼视觉感知密切相关的算法。本文充分模拟人眼视觉系统(HVS)和大脑机制,提出了一种新的基于机器学习的全参考型图像质量评价模型CGDR。该模型融合了图像的色度特征、梯度特征、对比敏感度函数(CSF)特征以及Gauss差分(DOG)频带特征。其中,改进后的梯度算法不仅包含更丰富的相邻信息和多方向边缘信息,同时强调了参考图像和失真图像的边缘相关性。在三个基准图像数据库上的实验结果表明,CGDR的预测性能优于八种主流方法,跨数据库测试体现出其强大的鲁棒性,预测结果能够与人眼主观感知保持高度一致性。     

基于卷积神经网络的立体图像质量评价

随着立体图像的广泛应用,迫切需要一个具有通用性的工具来评估立体图像的视觉质量,因此提出一种基于卷积神经网络的无参考立体图像质量评价算法。首先使用平面图像数据集对算法框架的主体结构质量图生成网络进行训练;然后使用训练好的网络预测立体图像融合视点图像的质量;最后使用一种加权融合方法得到最终的立体图像质量分数。试验结果表明,算法框架具有相对较好的准确性和鲁棒性。     

基于注意力和最小可觉差的GAN生成图像质量评价

现有的客观图像质量评价方法用于GAN生成图像质量评价时，往往出现与人的主观评价不一致的情况.针对这个问题，提出了一种更符合人类视觉感知的GAN生成图像质量客观评价方法AJ-GIQA(attention and just noticeable difference based generated image quality assessment).首先，模拟人类视觉系统的失真敏感度特性，对GAN生成图像进行预处理，得到其最小可觉差图；然后，将注意力模块引入特征提取网络，模拟人类视觉系统的注意力机制，获取图像的显著性特征；最后，将图像特征输入结合语义信息的质量预测网络，基于图像内容综合评价GAN生成图像的质量.在GAN生成图像数据集上的实验结果表明，AJ-GIQA的评价结果与主观平均意见得分有更高的一致性；在图像质量排序一致性上的实验结果表明，AJ-GIQA的准确率在LGIQA-LSUN-cat数据集上达到了最优，和SFA方法相比性能提高了0.267;在泛化性能上的实验结果表明，与最先进的HyperIQA方法相比，AJ-GIQA在数据集PIPAL的Pearson线性相关系数提高了0.027...     

基于PSNR立体图像质量客观评价方法

立体图像技术的发展为其质量评价提出了新的课题．为此,以平面图像的客观评价方法PSNR为基础。通过分析人类立体视觉,提出了一种立体图像质量评价方法．该方法分两部分进行立方体图像质量评价,分别是图像质量客观评价与立体感觉客观评价．实验结果表明,该方法的评价结果与主观评价结果基本一致,能够反映图像质量以及立体感的优劣度．     

基于权重组合学习的无参考立体图像质量评价

深度学习被广泛应用于2D 图像的质量评价(2D-IQA) 研究中,而在3D 图像质量评价(3D-IQA) 中还没有展开深入研究.针对对齐失真立体图像,本文提出了一种基于权重组合学习的无参考立体图像质量评价模型.通过有效融合两支独立的单视图质量评价深度网络模型,将左右眼视图作为整体对象进行评估; 再根据双目竞争原理,又设计了一种权重深度网络用以估计左右眼的不同能量分布; 最后,这两个子网络组合成端到端的权重组合学习深度质量网络.实验结果证明: 该模型对于对称失真的立体图像质量评价有显著提升.     

基于双目融合网络的立体图像质量评价

立体图像质量评价为3D技术的发展与应用提供了技术支撑.如何根据立体图像特点,构建更加符合立体视觉认知机制的立体图像质量评价模型,已成为该领域的关键问题之一.现有的立体图像质量评价方法要么先分别处理左右视图,然后结合左右视图质量得到立体图像质量分数;要么先对左右视图进行融合得到融合视图,然后评价平面的融合视图得到立体图像质量分数.事实上,大脑对立体视觉信号的处理是一个长期的复杂融合与处理的过程,并最终在视觉皮层完成对视觉信号的认知与判断.受大脑立体视觉认知机制的启发,本文提出一种基于双目融合网络的立体图像质量评价模型,实现了双目信息的多次融合与处理,模拟了大脑对双目信息进行处理和判决的视觉传导通路.所提出的双目融合网络包含左视图通道、右视图通道和融合通道,模拟立体视觉信息在视觉通路中的逐层并行处理过程;左右视图通道在网络中多次交互,模拟视觉通路中双目信息的多次融合与处理;网络末端的3个全连接层,模拟视觉信息经过视觉通路处理后复杂的质量判断过程.本文实验在两个公开立体图像库LIVE3D Phase Ⅰ和LIVE 3D Phase Ⅱ上进行,实验结果表明,该方法在对称与非对称失真立体图像上均能取得更好的结果,且较其他方法具有更强的普适性.     

基于初级视皮层视觉特性的图像质量评价方法

针对现有的图像质量评价方法多从特征提取角度考虑图像的失真,忽视初级视皮层是视觉信息处理和认知推理的前提的问题,受人类视觉系统特性的启发,提出一种基于初级视皮层视觉特性的图像质量评价算法;该方法基于对初级视皮层视觉特性的学习,利用初级视皮层中感受野对视觉感知信息的稀疏编码特性,提取模拟初级视皮层感受野特性的基函数,结合独立成分分析和结构相似度算法构建一种初级视觉相似性测度法,并在LIVE图像数据库中进行实验。结果表明,该模型的预测结果与主观质量评价有很好的一致性,并优于已有的结构相似度算法。     

基于小波域数字水印的图像质量评价方法

为了进一步提高部分参考型图像质量评价方法的准确性和水印隐藏性,提出了一种基于小波域数字水印的图像质量评价方法.首先结合人类视觉系统的特性检测原始图像的纹理丰富区域,获得水印嵌入指示图;然后将原始图像进行3层小波分解,根据水印嵌入指示图,在每个小波系数块内嵌入自定义水印,运用量化参数自动调节系统确保数字水印的隐藏性;最后通过失真图像的水印复原率实现对图像的客观质量评价.与传统的图像客观质量评价方法(PSNR)和部分参考型图像质量评价方法(RRIQA)的对比实验表明,文中提出的方法在预测精确性上分别高出8.5%和4.4%,单调性上分别高出5.4%和2.2%,一致性上分别高出5.7%和3.4%.     

一种基于知觉模拟的全参考图像质量评价方法

为提高客观图像质量评价与主观图像质量评价的一致性,提出一种模拟人类感知图像质量过程中,由生理因素主导的前期过程和由心理因素主导的后期过程的IQA 方法. 人类感知图像信息的过程依赖于人脑的内部生成机制,它主动预测图像中易被感知的简单结构且忽略难以被感知的复杂结构. 此方法利用贝叶斯预测模型将输入图像分为易感知区域和难感知区域,对具有各异感知特征的两区域通过不同特征进行分别评估. 最后采用关于视觉显着性和亮度掩蔽的整体综合策略,对两组评估结果统一进行计算. 基于整体感知的综合策略和基于局部感知的保真度测量在此方法中互为补充.TID2008 等4 个通用评测数据库的实验结果,指出了该方法具有良好的预测精度和稳定性.     

基于失真类型预测的图像质量评价方法

目的克服单个图像质量评价方法针对各种失真类型的性能表现不均衡的问题。方法首先从多个角度测量参考与测试图像的视觉相似性(包括人眼视觉系统,低层次视觉处理和本地纹理),接着分别利用粗糙集和支持向量机完成特征简化与图像失真类型预测,并最终根据测试图像所遭受的失真类型选取适当的质量评价算法。结果提出一种基于失真类型预测的图像质量评价算法。结论该算法在整体性能上要优于传统的图像质量评价算法,更好地体现了主客观评价的一致性;针对单个失真类型开发性能优的质量评价方法,可以进一步提升该算法的性能。     

基于图像内容和双目特性的立体图像质量评价

为提高图像质量客观评价与主观评价的相关性,提出了一种基于图像内容和双目特性的立体图像质量评价方法。首先,分别对参考和失真图像的频域信息加权,提取感兴趣区域作为权重进行融合计算,得到基于图像内容的评价值;然后,利用拉普拉斯金字塔和双目加权模型实现对左右视点图像的逐层分解、融合,并重构合成图,得到基于双目特性的评价值;最后,结合两者得到立体图像质量评价值。以LIVE3D图像库为样本,将该方法与主观评价值作相关性分析。在相同条件下,对于五种失真类型的立体图像,其Spearman等级相关系数总体优于现有算法。结果表明,该评价方法对立体图像质量的预测结果与主观评价值具有较高的一致性。     

基于彩色空间视觉相似分解的图像质量评价方法

针对视觉感知和结构化图像质量评价方法中均存在与视觉感受不吻合的现象,在建立亮度空间视觉相似分解方法的基础上,依据韦伯定律的基本概念并将其扩展到RGB三基色彩色空间,由此提出了一种基于彩色空间视觉相似分解的图像质量评价方法.该方法在保证误差图像和标准图像间的形状和色彩均完全相似的基础上,将误差图像分解为均值分量、交变相似分量和交变无关分量.由于这三个分量在视觉感受上截然不同,从而依据对视觉感知差异起到主导作用的交变无关分量来评价彩色图像质量.实验结果表明,该彩色空间图像质量评价模型与主观视觉感受吻合较好.     

数字图像质量评价方法研究

图像质量评价方法在数字图像处理方法的研究中起重要的作用.本文深入剖析了评价图像质量的主 观方法和客观方法.试验结果表明,评价方法各有优缺点,而基于图像局部特性的质量评价方法更符合人的视觉对图像的感知,能够使客观评价和主观评价相一致.最后指出了图像质量评价研究的发展方向.