基于图像内容和双目特性的立体图像质量评价

为提高图像质量客观评价与主观评价的相关性,提出了一种基于图像内容和双目特性的立体图像质量评价方法。首先,分别对参考和失真图像的频域信息加权,提取感兴趣区域作为权重进行融合计算,得到基于图像内容的评价值;然后,利用拉普拉斯金字塔和双目加权模型实现对左右视点图像的逐层分解、融合,并重构合成图,得到基于双目特性的评价值;最后,结合两者得到立体图像质量评价值。以LIVE3D图像库为样本,将该方法与主观评价值作相关性分析。在相同条件下,对于五种失真类型的立体图像,其Spearman等级相关系数总体优于现有算法。结果表明,该评价方法对立体图像质量的预测结果与主观评价值具有较高的一致性。     

双通道立体图像质量评价方法的研究

针对立体图像质量评价问题,基于人眼观测图像的感知特性,提出一种双通道立体图像质量评价算法。首先,获取双目视图的拉普拉斯金字塔序列构建融合图,采用并行域分解多权重化策略提取双目局部质量感知特征;然后,结合视觉平衡特性引入语义特征通道提取双目高层次语义特征;最后,在支持向量回归的基础上得到双通道主客观图像质量评价值的关系映射。双通道网络集成了包含视差信息的多局部细节特征与全局语义特征,在LIVE 3D 立体图像库进行性能测试,结果表明,算法所得预测值与主观评价值间具有良好的一致性。     

基于投影权值归一化的立体图像质量评价方法

本文基于深度卷积神经网络和融合图像提出了一种引入投影权值归一化的立体图像质量评价方法.首先基于人眼双目竞争现象,提出对经过Gabor滤波后的左右视点图像进行彩色融合,从而得到单幅融合图像.卷积神经网络的输入即为预处理后的融合图像,通过卷积层自主对图像特征进行提取,采用池化层对特征信息降维,保留显著特征且减小网络计算复杂度;采用Re LU非线性激活函数缓解梯度消失,有效缓解了网络过拟合问题;网络引入数据批量归一化来规范各层输入数据的分布,引入投影权值归一化来保证权值参数的量级相同,有效地提升了算法的性能.本文在公开的立体图像库LIVE-Ⅰ和LIVE-Ⅱ上进行了实验.实验结果表明,本文方法在对称失真与非对称失真的立体图像质量评价上均具有较好的性能.     

基于稀疏字典学习的立体图像质量评价

本文提出了一种基于稀疏字典学习的双通道立体图像质量评价方法.其中,一个通道结合视觉注意机制得到初始立体显著图,用中央偏移和中心凹特性对其进行优化得到最终的显著图,然后,对其进行稀疏字典训练获得显著字典;另一个通道将参考立体图像对进行SIFT特征变换,然后,对其进行稀疏字典训练获得SIFT字典.在测试阶段,利用已训练字典对参考图像和失真图像进行稀疏编码获得稀疏系数,并定义稀疏系数相似度指标以衡量参考图像和失真图像之间的信息差异;最后将两个通道的质量分数进行加权得到立体图像质量的客观分数.实验在两个公开LIVE库上进行测试,实验结果表明,本文算法的评价结果与主观评分具有更好的一致性,更加符合人类视觉系统的感知.     

基于奇异值分解的无参考立体图像质量评价

针对非对称失真立体图像,提出了一种基于奇异值分解的无参考评价算法.该方法首先考虑人眼对空间频率变化敏感的特性和双目融合特性,对立体图像进行Gabor滤波,基于奇异值分解的融合策略生成融合图.然后,采用亮度加权直方图的局部二值模式算法分别对融合图、左右子图像提取特征,并将左右子图像的特征向量融合、采用欧几里得距离和夹角余弦进行向量之间的比较;为度量非对称失真差异,利用图像相似度算法计算左右子图像之间的相似性.最后,将融合图的特征向量、子图像的融合及比较特征向量、子图像的相似度特征向量级联,利用支持向量回归(SVR)算法完成特征到主观质量分数的回归映射.在LIVE3DⅡ、Waterloo-IVCⅠ和Waterloo-IVCⅡ立体图像库上对本算法进行测试.实验结果表明,本算法性能良好,优于目前主流的立体图像质量评价算法.     

基于卷积神经网络的立体图像质量评价

随着立体图像的广泛应用,迫切需要一个具有通用性的工具来评估立体图像的视觉质量,因此提出一种基于卷积神经网络的无参考立体图像质量评价算法。首先使用平面图像数据集对算法框架的主体结构质量图生成网络进行训练;然后使用训练好的网络预测立体图像融合视点图像的质量;最后使用一种加权融合方法得到最终的立体图像质量分数。试验结果表明,算法框架具有相对较好的准确性和鲁棒性。     

基于双目融合网络的立体图像质量评价

立体图像质量评价为3D技术的发展与应用提供了技术支撑.如何根据立体图像特点,构建更加符合立体视觉认知机制的立体图像质量评价模型,已成为该领域的关键问题之一.现有的立体图像质量评价方法要么先分别处理左右视图,然后结合左右视图质量得到立体图像质量分数;要么先对左右视图进行融合得到融合视图,然后评价平面的融合视图得到立体图像质量分数.事实上,大脑对立体视觉信号的处理是一个长期的复杂融合与处理的过程,并最终在视觉皮层完成对视觉信号的认知与判断.受大脑立体视觉认知机制的启发,本文提出一种基于双目融合网络的立体图像质量评价模型,实现了双目信息的多次融合与处理,模拟了大脑对双目信息进行处理和判决的视觉传导通路.所提出的双目融合网络包含左视图通道、右视图通道和融合通道,模拟立体视觉信息在视觉通路中的逐层并行处理过程;左右视图通道在网络中多次交互,模拟视觉通路中双目信息的多次融合与处理;网络末端的3个全连接层,模拟视觉信息经过视觉通路处理后复杂的质量判断过程.本文实验在两个公开立体图像库LIVE3D Phase Ⅰ和LIVE 3D Phase Ⅱ上进行,实验结果表明,该方法在对称与非对称失真立体图像上均能取得更好的结果,且较其他方法具有更强的普适性.     

基于融合图像的无参考立体图像质量评价

长时间观看立体图像会导致视觉疲劳、恶心、头痛等不适感,如何结合人类的视觉特性对立体图像质量进行评价是近年来立体成像领域的研究热点.为此,本文提出了一种基于融合图像的无参考立体图像质量评价方法.为了更好地模拟人脑处理立体图像的过程,提出了一种先将左、右视图融合然后进行处理的融合图像算法.首先针对左、右视图分别在RGB 3个通道上进行Gabor滤波以模拟人眼的视觉多通道特性,获取其不同尺度和方向的结构特征,随后通过对比敏感度函数滤除图像的不重要频率信息,然后通过增益控制原理进行加权获得融合图像.相比之前无参考立体图像质量评价方法局限于提取手工裁剪的特征,本文采用直接将原始图像进行切块后,送入网络进行训练,让卷积神经网络自动地提取图像的特征,并且采用重叠切块的方法,相比于非重叠切块,重叠切块可以更好地保留相邻像素之间的关系,并且增加了训练的数据集.然而,与拥有几百万张图像组成的Imagenet数据库相比,立体图像数据库仅有几百张,而且构成图像的基向量是普适的,所以本文对在Imagenet数据库上训练好的Alexnet网络进行迁移学习,建立输入图像和输出质量值之间端到端的映射.迁移学习网络模型较传统卷积神经网络收敛快,而且具有更好的初始权重.最后,鉴于人眼在观看图像时总是倾向于从图像的中心开始寻找视觉注视点,然后其注意力由中央向四周递减,本文利用显著特性对图像小块的输出进行加权以更好地模拟人眼的视觉显著特性.在公开的LIVE3Dphase-Ⅰ、LIVE3Dphase-Ⅱ数据库上进行测试,结果表明本文所提方法在对称和非对称立体图像数据库上较其他方法均取得了较好的结果,能够与人类的主观感知保持良好的一致性.     

基于小波包分解的无参考立体图像质量评价

立体图像质量评价在立体图像处理领域中应用广泛.基于小波包分解的精细分辨率,提出了一种全新的无参考立体图像质量评价算法.选取合值图和差值图作为融合图来评估立体图像,首先,对立体图像对进行小波包分解,基于双眼竞争和双眼抑制原理,将分解后的左右视图进行融合得到合值图和差值图.然后,分别在融合图上提取自然场景统计(NSS)特征和信息熵;另外,考虑到左右视图之间的内在相关联系,提取结构相似度特征.最后,运用支持向量回归(SVR)来建立感知特征和主观分数模型并预测得到客观评价分数.采用该算法在LIVE 3D立体图像数据库上进行测试,实验结果表明,该算法与人眼主观评价结果一致性较高,优于当前主流的立体图像质量评价算法,符合人眼视觉感知特性.     

基于网格与韦泊统计特性的立体图像质量评价

针对立体图像失真会改变图像对比度、边缘和结构等信息的特性,提出一种无参考立体图像质量评价方法.首先,利用韦泊分布的尺度参数β和形状参数η分别描述合成图、左右视图及视差图的梯度图像特征;然后用网格强度及其规律性分别描述合成图、左右视图及视差图的网格图像特征;最后,将所得特征输入支持向量回归(SVR)网络中训练模型,获得特征到质量分数之间映射关系的模型,从而预测立体图像质量.通过利用LIVE-3D I数据库和LIVE-3DⅡ数据库进行性能测试,证明了本文提出的方法与人眼视觉特性具有很高的一致性,且性能优于目前主流的图像质量评价算法.     

基于非全连接卷积神经网络的无参考图像质量评价方法

针对图像传统质量评价方法难以对人脑评价图像的复杂模型进行模拟的问题,提出了一种基于双路卷积神经网络的深度学习无参考质量评价方法. 该模型通过两路卷积网络的卷积层和池化层来提取图像特征,分别选用不同大小输入以保证每次对图像小范围进行评价,通过输入的卷积网络对周围环境进行参考,最终对图片进行综合评价时,使每幅图像之间都能相互关联. 实验结果表明,该模型在现有无参考图像质量评价方法效果突出,SROCC 值与PLCC 值均在0.95 以上,其质量评价结果与图像库中的人眼主观质量评价结果之间具有较好的一致性.     

联合加权聚合深度卷积特征的图像检索方法

针对图像特征提取不充分影响图像检索平均精确率的问题,提出了一种基于联合加权聚合深度卷积特征的图像检索方法。该方法将图像输入到预先训练好的卷积神经网络中,提取最后一个卷积层输出作为图像的深度卷积特征;通过计算空间权重矩阵突出图像的显著性区域并抑制背景噪声区域,然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵,将原始深度卷积特征加权聚合为列向量;通过区分性地对待不同通道的特征图,计算出通道权重向量与上述列向量点乘得到最终的全局特征向量。公开数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,在图像检索的平均精确率上优于其他同类方法,可以有效地应用到图像检索相关领域。     

基于光线跟踪的虚拟场景立体图像对视差研究

立体图像对的视差是立体显示的基础,双目立体显示的基本原理就是将具有视差的立体图像对中的左右眼图像分别送入左右眼中,从而产生立体感.本文给出了一种在虚拟场景中利用光线跟踪计算立体图像对视差的方法,生成了视差图和深度图,并对视差的特点和影响视差的因素进行了分析.     

基于功能磁共振成像的立体图像分辨

视觉是人与外界互动获取信息的主要手段,而双目视差信息是人脑估计外界环境深度结构的重要视觉线索之一.因此,研究人脑处理双目视差的神经机制对了解人类的视觉系统意义重大.功能磁共振成像(f MRI)技术为双目视差研究提供了有效手段.目前在f MRI研究中,虽然已经有很多研究利用f MRI技术深入探究了人脑处理双目视差信息的神经机制,但是利用该技术采集的人脑信号如何分辨包含双目视差信息的立体图像依然有待研究.针对这一问题,设计了一种基于f MRI的实验,该实验选用随机点图生成人造立体视图像作为实验刺激;相较于自然立体图像,该种立体图像可以更加方便地提取出立体图像中包含的图像特征.结合实验特性提出了一种基于lasso回归算法的体素编码模型,该模型利用了视觉感受野的稀疏特性,可以较好地借助立体图像中的二维特征并对fMRI数据进行编码分析和解码分析.其编码分析结果表明利用体素编码模型可以较好预测人脑接收立体图像的脑信号的体素广泛分布在人脑的各个视觉区中,并且大部分体素分布在初级视区V1、V2d和V3d中.解码分析结果表明,初级视觉区V1可以利用立体图像中的二维特征实现立体图像的识别,并且背侧视觉区V3d、V7和h MT+/V5可以与V1协同工作进行立体图像的识别.     

基于改进的多通道卷积神经网络模型的图像分类方法

为了充分提取图像特征信息,同时减轻模型过拟合,提出了一种改进的多通道卷积神经网络模型。首先,利用三条卷积通道提取图像特征信息,各通道选择不同的卷积核大小,并利用小卷积核堆叠代替大卷积核的方法减少模型参数,再采用特征融合与批标准化技术对特征信息进行处理,最后输入到softmax分类器进行分类。将改进模型、单通道模型、多通道模型、传统图像分类模型用于对CIFAR-10数据集进行分类。实验结果表明,改进模型可以有效提取图像特征信息,减轻过拟合,进而提升模型的分类精度。     

自适应构造与聚合多尺度代价体的双目立体匹配

基于卷积神经网络的双目立体匹配算法取得了重要进展，但现有方法在弱纹理区域、细节和边缘等位置仍然存在匹配不准确的问题.立足于双目立体匹配任务中常用的匹配代价体(cost volume),提出自适应构造与聚合多尺度代价体的双目立体匹配网络.首先将多个尺度的输入特征融合成为重组特征；然后设计可学习的特征增强模块，为各个尺度的匹配代价体恢复所需的细节信息；最后基于全局注意力对各尺度匹配代价体进行尺度内聚合，并提出自适应多尺度加权方法进行尺度间聚合，筛选出适用于回归各尺度视差的匹配特征.在SceneFlow和KITTI2015数据集上的实验表明：所提方法在较小网络规模的情况下取得了有竞争力的性能表现，验证了所提方法的有效性.     

基于递归卷积神经网络的行人检测方法

为了提高视频中行人检测的准确度,提出了一种基于递归卷积神经网络的行人检测方法.该方法利用递归卷积神经网络融合视频中连续图像的上下文信息,以实现准确的行人检测.首先,利用卷积神经网络提取连续图像的多个特征图组;然后,根据先后次序,将多个特征图输入到递归卷积神经网络中,形成一张关于行人位置的掩码图;最后,通过在掩码图上预测行人的检测框,获得视频中当前图像的行人检测结果.实验结果表明:相比于其他行人检测方法,该方法在ETH、CUHK和PETS 2007三个数据集上都取得较准确的行人检测结果.     

基于CNN多层特征加权融合的闭环检测算法

针对深度学习用于闭环检测中存在空间细节特征丢失的问题,提出基于卷积神经网络(CNN)多层特征加权融合(CNN-F)的闭环检测算法.首先,采用预训练的CNN模型作为特征提取器,从网络中提取输入图像的浅层几何特征和深层语义特征;然后,调整特征图数据进行加权融合,将融合的特征图进行主成分分析(PCA)降维处理后,计算相似性得分用于闭环检测;最后,将算法在数据集New College和City Centre上进行测试.实验结果表明:CNN-F可以有效改善图像特征描述效果,相比于直接使用CNN的闭环检测算法,该算法有更好的准确性和鲁棒性.     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于视觉感知特征融合的图像质量评价

在图像压缩,图像恢复和图像传输等领域中真实评价输出图像的视觉质量是一项重要的工作。图像质量评价(IQA)旨在开发一种与人眼视觉感知紧密相关的方法。本文提出一个新的图像质量评价模型VFDP,该模型首先在视觉显著性特征基础上,结合颜色特征和梯度特征来描述局部图像质量。其中,本文采用新的计算梯度特征相似性方法,该方法融合参考图像与对应失真图像的亮度通道,并计算该通道的梯度图与参考/失真图像梯度图之间的相似性。最后采用平均偏差加权的方法对视觉显著特征,颜色特征与改进的梯度特征融合,得到图像质量评价结果。在TID2013、TID2008与LIVE数据库测试,结果表明VFDP所预测的PLCC与SROCC值优于8种主流算法预测的结果,其预测结果与人眼主观评价有较好的一致性。