双通道立体图像质量评价方法的研究

针对立体图像质量评价问题,基于人眼观测图像的感知特性,提出一种双通道立体图像质量评价算法。首先,获取双目视图的拉普拉斯金字塔序列构建融合图,采用并行域分解多权重化策略提取双目局部质量感知特征;然后,结合视觉平衡特性引入语义特征通道提取双目高层次语义特征;最后,在支持向量回归的基础上得到双通道主客观图像质量评价值的关系映射。双通道网络集成了包含视差信息的多局部细节特征与全局语义特征,在LIVE 3D 立体图像库进行性能测试,结果表明,算法所得预测值与主观评价值间具有良好的一致性。     

基于视差图指导的无参考立体图像质量评价

考虑到视差图在立体成像中的重要性,设计了一种双通道的卷积神经网络来实现无参考立体图像质量评价.首先,建立一个以密集连接网络为主体的卷积神经网络结构,用于提取特征.其次,基于人类视觉系统的双目融合和双目竞争的特性,将左右视图进行R、G、B三通道融合得到彩色融合图像,并将此融合图像作为卷积神经网络的一个通道的输入;另一通道的输入为视差图,视差图起到了特征补偿的作用.然后,通过改进挤压和激励模块来实现视差图对融合图像的加权指导.这种加权策略加强了融合图像的重要信息的比重,减轻了非重要信息的比重.最后,在卷积神经网络的末端,将视差图的特征和加权校正过的融合图像的特征进行融合得到总体特征,将总体特征与主观评价方法得分进行回归分析,得到待测立体图像的质量分数.在两个公开的LIVE立体数据库上进行实验验证.结果表明:所提出的无参考立体图像质量评价方法能够有效地应对对称和非对称失真类型的立体图像,并与主观评测方法保持高度一致.     

基于融合图像的无参考立体图像质量评价

长时间观看立体图像会导致视觉疲劳、恶心、头痛等不适感,如何结合人类的视觉特性对立体图像质量进行评价是近年来立体成像领域的研究热点.为此,本文提出了一种基于融合图像的无参考立体图像质量评价方法.为了更好地模拟人脑处理立体图像的过程,提出了一种先将左、右视图融合然后进行处理的融合图像算法.首先针对左、右视图分别在RGB 3个通道上进行Gabor滤波以模拟人眼的视觉多通道特性,获取其不同尺度和方向的结构特征,随后通过对比敏感度函数滤除图像的不重要频率信息,然后通过增益控制原理进行加权获得融合图像.相比之前无参考立体图像质量评价方法局限于提取手工裁剪的特征,本文采用直接将原始图像进行切块后,送入网络进行训练,让卷积神经网络自动地提取图像的特征,并且采用重叠切块的方法,相比于非重叠切块,重叠切块可以更好地保留相邻像素之间的关系,并且增加了训练的数据集.然而,与拥有几百万张图像组成的Imagenet数据库相比,立体图像数据库仅有几百张,而且构成图像的基向量是普适的,所以本文对在Imagenet数据库上训练好的Alexnet网络进行迁移学习,建立输入图像和输出质量值之间端到端的映射.迁移学习网络模型较传统卷积神经网络收敛快,而且具有更好的初始权重.最后,鉴于人眼在观看图像时总是倾向于从图像的中心开始寻找视觉注视点,然后其注意力由中央向四周递减,本文利用显著特性对图像小块的输出进行加权以更好地模拟人眼的视觉显著特性.在公开的LIVE3Dphase-Ⅰ、LIVE3Dphase-Ⅱ数据库上进行测试,结果表明本文所提方法在对称和非对称立体图像数据库上较其他方法均取得了较好的结果,能够与人类的主观感知保持良好的一致性.     

基于小波包分解的无参考立体图像质量评价

立体图像质量评价在立体图像处理领域中应用广泛.基于小波包分解的精细分辨率,提出了一种全新的无参考立体图像质量评价算法.选取合值图和差值图作为融合图来评估立体图像,首先,对立体图像对进行小波包分解,基于双眼竞争和双眼抑制原理,将分解后的左右视图进行融合得到合值图和差值图.然后,分别在融合图上提取自然场景统计(NSS)特征和信息熵;另外,考虑到左右视图之间的内在相关联系,提取结构相似度特征.最后,运用支持向量回归(SVR)来建立感知特征和主观分数模型并预测得到客观评价分数.采用该算法在LIVE 3D立体图像数据库上进行测试,实验结果表明,该算法与人眼主观评价结果一致性较高,优于当前主流的立体图像质量评价算法,符合人眼视觉感知特性.     

基于权重组合学习的无参考立体图像质量评价

深度学习被广泛应用于2D 图像的质量评价(2D-IQA) 研究中,而在3D 图像质量评价(3D-IQA) 中还没有展开深入研究.针对对齐失真立体图像,本文提出了一种基于权重组合学习的无参考立体图像质量评价模型.通过有效融合两支独立的单视图质量评价深度网络模型,将左右眼视图作为整体对象进行评估; 再根据双目竞争原理,又设计了一种权重深度网络用以估计左右眼的不同能量分布; 最后,这两个子网络组合成端到端的权重组合学习深度质量网络.实验结果证明: 该模型对于对称失真的立体图像质量评价有显著提升.     

基于图像内容和双目特性的立体图像质量评价

为提高图像质量客观评价与主观评价的相关性,提出了一种基于图像内容和双目特性的立体图像质量评价方法。首先,分别对参考和失真图像的频域信息加权,提取感兴趣区域作为权重进行融合计算,得到基于图像内容的评价值;然后,利用拉普拉斯金字塔和双目加权模型实现对左右视点图像的逐层分解、融合,并重构合成图,得到基于双目特性的评价值;最后,结合两者得到立体图像质量评价值。以LIVE3D图像库为样本,将该方法与主观评价值作相关性分析。在相同条件下,对于五种失真类型的立体图像,其Spearman等级相关系数总体优于现有算法。结果表明,该评价方法对立体图像质量的预测结果与主观评价值具有较高的一致性。     

基于奇异值分解的无参考立体图像质量评价

针对非对称失真立体图像,提出了一种基于奇异值分解的无参考评价算法.该方法首先考虑人眼对空间频率变化敏感的特性和双目融合特性,对立体图像进行Gabor滤波,基于奇异值分解的融合策略生成融合图.然后,采用亮度加权直方图的局部二值模式算法分别对融合图、左右子图像提取特征,并将左右子图像的特征向量融合、采用欧几里得距离和夹角余弦进行向量之间的比较;为度量非对称失真差异,利用图像相似度算法计算左右子图像之间的相似性.最后,将融合图的特征向量、子图像的融合及比较特征向量、子图像的相似度特征向量级联,利用支持向量回归(SVR)算法完成特征到主观质量分数的回归映射.在LIVE3DⅡ、Waterloo-IVCⅠ和Waterloo-IVCⅡ立体图像库上对本算法进行测试.实验结果表明,本算法性能良好,优于目前主流的立体图像质量评价算法.     

基于网格与韦泊统计特性的立体图像质量评价

针对立体图像失真会改变图像对比度、边缘和结构等信息的特性,提出一种无参考立体图像质量评价方法.首先,利用韦泊分布的尺度参数β和形状参数η分别描述合成图、左右视图及视差图的梯度图像特征;然后用网格强度及其规律性分别描述合成图、左右视图及视差图的网格图像特征;最后,将所得特征输入支持向量回归(SVR)网络中训练模型,获得特征到质量分数之间映射关系的模型,从而预测立体图像质量.通过利用LIVE-3D I数据库和LIVE-3DⅡ数据库进行性能测试,证明了本文提出的方法与人眼视觉特性具有很高的一致性,且性能优于目前主流的图像质量评价算法.     

基于稀疏字典学习的立体图像质量评价

本文提出了一种基于稀疏字典学习的双通道立体图像质量评价方法.其中,一个通道结合视觉注意机制得到初始立体显著图,用中央偏移和中心凹特性对其进行优化得到最终的显著图,然后,对其进行稀疏字典训练获得显著字典;另一个通道将参考立体图像对进行SIFT特征变换,然后,对其进行稀疏字典训练获得SIFT字典.在测试阶段,利用已训练字典对参考图像和失真图像进行稀疏编码获得稀疏系数,并定义稀疏系数相似度指标以衡量参考图像和失真图像之间的信息差异;最后将两个通道的质量分数进行加权得到立体图像质量的客观分数.实验在两个公开LIVE库上进行测试,实验结果表明,本文算法的评价结果与主观评分具有更好的一致性,更加符合人类视觉系统的感知.     

基于视差分析的3D电视质量评价系统的设计与实现

在众多影响3D舒适度的因素中,制作人员更多的会选择视差信息来检测、调整、优化3D节目的质量,因此3D电视素材的左右图像的视差分析成了关键问题。本文设计了一种基于双目立体视觉的3D电视视差检测系统,该系统应用了双边滤波及SGBM立体匹配算法,计算左右图像的视差,并根据视差与立体视觉舒适度的关系,将可能会引起观众不适的图像部分进行分级标注,便于后续的3D调整工作。     

基于投影权值归一化的立体图像质量评价方法

本文基于深度卷积神经网络和融合图像提出了一种引入投影权值归一化的立体图像质量评价方法.首先基于人眼双目竞争现象,提出对经过Gabor滤波后的左右视点图像进行彩色融合,从而得到单幅融合图像.卷积神经网络的输入即为预处理后的融合图像,通过卷积层自主对图像特征进行提取,采用池化层对特征信息降维,保留显著特征且减小网络计算复杂度;采用Re LU非线性激活函数缓解梯度消失,有效缓解了网络过拟合问题;网络引入数据批量归一化来规范各层输入数据的分布,引入投影权值归一化来保证权值参数的量级相同,有效地提升了算法的性能.本文在公开的立体图像库LIVE-Ⅰ和LIVE-Ⅱ上进行了实验.实验结果表明,本文方法在对称失真与非对称失真的立体图像质量评价上均具有较好的性能.     

基于功能磁共振成像的立体图像分辨

视觉是人与外界互动获取信息的主要手段,而双目视差信息是人脑估计外界环境深度结构的重要视觉线索之一.因此,研究人脑处理双目视差的神经机制对了解人类的视觉系统意义重大.功能磁共振成像(f MRI)技术为双目视差研究提供了有效手段.目前在f MRI研究中,虽然已经有很多研究利用f MRI技术深入探究了人脑处理双目视差信息的神经机制,但是利用该技术采集的人脑信号如何分辨包含双目视差信息的立体图像依然有待研究.针对这一问题,设计了一种基于f MRI的实验,该实验选用随机点图生成人造立体视图像作为实验刺激;相较于自然立体图像,该种立体图像可以更加方便地提取出立体图像中包含的图像特征.结合实验特性提出了一种基于lasso回归算法的体素编码模型,该模型利用了视觉感受野的稀疏特性,可以较好地借助立体图像中的二维特征并对fMRI数据进行编码分析和解码分析.其编码分析结果表明利用体素编码模型可以较好预测人脑接收立体图像的脑信号的体素广泛分布在人脑的各个视觉区中,并且大部分体素分布在初级视区V1、V2d和V3d中.解码分析结果表明,初级视觉区V1可以利用立体图像中的二维特征实现立体图像的识别,并且背侧视觉区V3d、V7和h MT+/V5可以与V1协同工作进行立体图像的识别.     

双目立体视觉系统的研究

随着视觉神经学、计算机技术、图像处理技术以及人工智能技术等的发展,使得机器人模仿人的视觉系统成为可能。为了重建三维场景,研究了基于双目摄像机的双目立体视觉系统。融合人的眼睛处理视觉景物的方式,获取三维场景的深度信息。通过双目摄像头获取了被测物体不同位置的两幅图像,通过采集卡将图像信息传输给计算机,计算机通过图像预处理、选取颜色空间、图像分割、特征提取、立体匹配、三维重建等图像处理,真实再现了三维场景的几何信息。     

基于视觉感知的立体图像零水印算法研究

人眼感知立体图像,主要是对图像内容和深度信息的感知,而视点之间的差异是形成立体图像深度感知的一个重要原因。本文基于人眼视觉感知特性,提出了视点零水印和视差零水印算法,视点零水印将视点图像的亮度Y分量分块做DCT变换,并根据DCT域中低频系数的大小关系来构造视点零水印,提高了水印的鲁棒性和不可见性;视差零水印通过求取左右视图的视差值,搜索得到左右视图的匹配区域,根据匹配区域内左右图像块的DC系数大小关系来构造视差零水印。统计两类零水印恢复率,达到对立体图像质量和立体感知质量客观评价的目的。实验结果表明,该水印算法具有良好的鲁棒性和不可见性,通过水印恢复率客观评价图像质量和立体感知质量,与人眼主观评价具有一致性。     

基于初级视皮层视觉特性的图像质量评价方法

针对现有的图像质量评价方法多从特征提取角度考虑图像的失真,忽视初级视皮层是视觉信息处理和认知推理的前提的问题,受人类视觉系统特性的启发,提出一种基于初级视皮层视觉特性的图像质量评价算法;该方法基于对初级视皮层视觉特性的学习,利用初级视皮层中感受野对视觉感知信息的稀疏编码特性,提取模拟初级视皮层感受野特性的基函数,结合独立成分分析和结构相似度算法构建一种初级视觉相似性测度法,并在LIVE图像数据库中进行实验。结果表明,该模型的预测结果与主观质量评价有很好的一致性,并优于已有的结构相似度算法。     

基于IGM和深度感知的立体图像质量评价

根据人类视觉系统的特点,提出了一种基于内在推理机制(internal generative mechanism, IGM)和深度感知的半参考立体图像质量评价(stereoscopic image quality assessment,SIQA)方法,用图像质量和深度感知质量2个因素来评估立体图像的体验质量(quality of experience, QoE).首先,对于图像质量,根据大脑的内在推理机制将左右视点分别分解成可预测部分和不确定部分,用基于灰度共生矩阵(gray level co-occurrence matrices, GLCM)和基于视觉信息量的质量评价方法计算这2个部分的质量;然后,对于深度感知质量,采用一种改进的自然场景统计(natural scene statistics, NSS)模型来预测这部分质量;最后,将图像质量和深度感知质量融合为立体图像体验质量.实验结果表明,该算法在常用视频库上的结果优于现有的评价方法,且与主观感知具有较高一致性.     

一个基于多视图立体视觉的三维重建方法

研究了基于多视图立体视觉的三维重建方法.给定一组待重建物体的图像,利用传统的立体视觉技术计算每幅图像的深度信息;然后设计一个基于体素划分的模型融合方法,将图像的深度信息融合为一个完整的三维初始模型;随后,对初始模型进行全局的迭代优化,输出最终的重建模型.在构造体素网络图时,充分利用图像一致性度量建立体素之间的连接关系;在对模型迭代优化时,结合图像一致性度量和网格的光顺性准则.该方法能很好地处理纹理缺失的区域,获得完整的三维模型.实验结果证明:该方法能够重建高质量完整的三维模型.     

基于卷积神经网络的立体图像质量评价

随着立体图像的广泛应用,迫切需要一个具有通用性的工具来评估立体图像的视觉质量,因此提出一种基于卷积神经网络的无参考立体图像质量评价算法。首先使用平面图像数据集对算法框架的主体结构质量图生成网络进行训练;然后使用训练好的网络预测立体图像融合视点图像的质量;最后使用一种加权融合方法得到最终的立体图像质量分数。试验结果表明,算法框架具有相对较好的准确性和鲁棒性。     

基于深度网络和视觉特性的无参考图像质量评价方法

图像质量评价是图像处理和计算机视觉领域的基础性问题,对于视觉信息的采集、处理和分析系统性能的评判具有重要的意义.现有的无参考型图像质量评价方法都是基于自然统计规律的,或者构建单一网络模型,并未考虑视觉感知特性,使得最终的评价结果与主观感受间存在较大差异.为此,本文提出一种结合多种网络特性和最差视觉感知特性的无参考型图像质量评价方法.首先,提取图像的去均值对比度归一化特征,将特征图进行重叠分块;然后,构建VGG与Inception相结合的深度网络,对图像块提取深度感知特征;最后,将分块图像的质量分数集合进行排序,利用视觉感知最差情况加权策略对序列进行加权求和,得到最终的图像质量分数.在国际公开的质量评价数据库CSIQ、LIVE和TID2013上的实验结果表明,本文方法取得了优于现有方法的主客观一致性性能.     

基于视觉感知特征融合的图像质量评价

在图像压缩,图像恢复和图像传输等领域中真实评价输出图像的视觉质量是一项重要的工作。图像质量评价(IQA)旨在开发一种与人眼视觉感知紧密相关的方法。本文提出一个新的图像质量评价模型VFDP,该模型首先在视觉显著性特征基础上,结合颜色特征和梯度特征来描述局部图像质量。其中,本文采用新的计算梯度特征相似性方法,该方法融合参考图像与对应失真图像的亮度通道,并计算该通道的梯度图与参考/失真图像梯度图之间的相似性。最后采用平均偏差加权的方法对视觉显著特征,颜色特征与改进的梯度特征融合,得到图像质量评价结果。在TID2013、TID2008与LIVE数据库测试,结果表明VFDP所预测的PLCC与SROCC值优于8种主流算法预测的结果,其预测结果与人眼主观评价有较好的一致性。