基于双目融合网络的立体图像质量评价

立体图像质量评价为3D技术的发展与应用提供了技术支撑.如何根据立体图像特点,构建更加符合立体视觉认知机制的立体图像质量评价模型,已成为该领域的关键问题之一.现有的立体图像质量评价方法要么先分别处理左右视图,然后结合左右视图质量得到立体图像质量分数;要么先对左右视图进行融合得到融合视图,然后评价平面的融合视图得到立体图像质量分数.事实上,大脑对立体视觉信号的处理是一个长期的复杂融合与处理的过程,并最终在视觉皮层完成对视觉信号的认知与判断.受大脑立体视觉认知机制的启发,本文提出一种基于双目融合网络的立体图像质量评价模型,实现了双目信息的多次融合与处理,模拟了大脑对双目信息进行处理和判决的视觉传导通路.所提出的双目融合网络包含左视图通道、右视图通道和融合通道,模拟立体视觉信息在视觉通路中的逐层并行处理过程;左右视图通道在网络中多次交互,模拟视觉通路中双目信息的多次融合与处理;网络末端的3个全连接层,模拟视觉信息经过视觉通路处理后复杂的质量判断过程.本文实验在两个公开立体图像库LIVE3D Phase Ⅰ和LIVE 3D Phase Ⅱ上进行,实验结果表明,该方法在对称与非对称失真立体图像上均能取得更好的结果,且较其他方法具有更强的普适性.     

基于网格与韦泊统计特性的立体图像质量评价

针对立体图像失真会改变图像对比度、边缘和结构等信息的特性,提出一种无参考立体图像质量评价方法.首先,利用韦泊分布的尺度参数β和形状参数η分别描述合成图、左右视图及视差图的梯度图像特征;然后用网格强度及其规律性分别描述合成图、左右视图及视差图的网格图像特征;最后,将所得特征输入支持向量回归(SVR)网络中训练模型,获得特征到质量分数之间映射关系的模型,从而预测立体图像质量.通过利用LIVE-3D I数据库和LIVE-3DⅡ数据库进行性能测试,证明了本文提出的方法与人眼视觉特性具有很高的一致性,且性能优于目前主流的图像质量评价算法.     

基于小波包分解的无参考立体图像质量评价

立体图像质量评价在立体图像处理领域中应用广泛.基于小波包分解的精细分辨率,提出了一种全新的无参考立体图像质量评价算法.选取合值图和差值图作为融合图来评估立体图像,首先,对立体图像对进行小波包分解,基于双眼竞争和双眼抑制原理,将分解后的左右视图进行融合得到合值图和差值图.然后,分别在融合图上提取自然场景统计(NSS)特征和信息熵;另外,考虑到左右视图之间的内在相关联系,提取结构相似度特征.最后,运用支持向量回归(SVR)来建立感知特征和主观分数模型并预测得到客观评价分数.采用该算法在LIVE 3D立体图像数据库上进行测试,实验结果表明,该算法与人眼主观评价结果一致性较高,优于当前主流的立体图像质量评价算法,符合人眼视觉感知特性.     

基于图像内容和双目特性的立体图像质量评价

为提高图像质量客观评价与主观评价的相关性,提出了一种基于图像内容和双目特性的立体图像质量评价方法。首先,分别对参考和失真图像的频域信息加权,提取感兴趣区域作为权重进行融合计算,得到基于图像内容的评价值;然后,利用拉普拉斯金字塔和双目加权模型实现对左右视点图像的逐层分解、融合,并重构合成图,得到基于双目特性的评价值;最后,结合两者得到立体图像质量评价值。以LIVE3D图像库为样本,将该方法与主观评价值作相关性分析。在相同条件下,对于五种失真类型的立体图像,其Spearman等级相关系数总体优于现有算法。结果表明,该评价方法对立体图像质量的预测结果与主观评价值具有较高的一致性。     

双通道立体图像质量评价方法的研究

针对立体图像质量评价问题,基于人眼观测图像的感知特性,提出一种双通道立体图像质量评价算法。首先,获取双目视图的拉普拉斯金字塔序列构建融合图,采用并行域分解多权重化策略提取双目局部质量感知特征;然后,结合视觉平衡特性引入语义特征通道提取双目高层次语义特征;最后,在支持向量回归的基础上得到双通道主客观图像质量评价值的关系映射。双通道网络集成了包含视差信息的多局部细节特征与全局语义特征,在LIVE 3D 立体图像库进行性能测试,结果表明,算法所得预测值与主观评价值间具有良好的一致性。     

基于奇异值分解的无参考立体图像质量评价

针对非对称失真立体图像,提出了一种基于奇异值分解的无参考评价算法.该方法首先考虑人眼对空间频率变化敏感的特性和双目融合特性,对立体图像进行Gabor滤波,基于奇异值分解的融合策略生成融合图.然后,采用亮度加权直方图的局部二值模式算法分别对融合图、左右子图像提取特征,并将左右子图像的特征向量融合、采用欧几里得距离和夹角余弦进行向量之间的比较;为度量非对称失真差异,利用图像相似度算法计算左右子图像之间的相似性.最后,将融合图的特征向量、子图像的融合及比较特征向量、子图像的相似度特征向量级联,利用支持向量回归(SVR)算法完成特征到主观质量分数的回归映射.在LIVE3DⅡ、Waterloo-IVCⅠ和Waterloo-IVCⅡ立体图像库上对本算法进行测试.实验结果表明,本算法性能良好,优于目前主流的立体图像质量评价算法.     

基于投影权值归一化的立体图像质量评价方法

本文基于深度卷积神经网络和融合图像提出了一种引入投影权值归一化的立体图像质量评价方法.首先基于人眼双目竞争现象,提出对经过Gabor滤波后的左右视点图像进行彩色融合,从而得到单幅融合图像.卷积神经网络的输入即为预处理后的融合图像,通过卷积层自主对图像特征进行提取,采用池化层对特征信息降维,保留显著特征且减小网络计算复杂度;采用Re LU非线性激活函数缓解梯度消失,有效缓解了网络过拟合问题;网络引入数据批量归一化来规范各层输入数据的分布,引入投影权值归一化来保证权值参数的量级相同,有效地提升了算法的性能.本文在公开的立体图像库LIVE-Ⅰ和LIVE-Ⅱ上进行了实验.实验结果表明,本文方法在对称失真与非对称失真的立体图像质量评价上均具有较好的性能.     

基于IGM和深度感知的立体图像质量评价

根据人类视觉系统的特点,提出了一种基于内在推理机制(internal generative mechanism, IGM)和深度感知的半参考立体图像质量评价(stereoscopic image quality assessment,SIQA)方法,用图像质量和深度感知质量2个因素来评估立体图像的体验质量(quality of experience, QoE).首先,对于图像质量,根据大脑的内在推理机制将左右视点分别分解成可预测部分和不确定部分,用基于灰度共生矩阵(gray level co-occurrence matrices, GLCM)和基于视觉信息量的质量评价方法计算这2个部分的质量;然后,对于深度感知质量,采用一种改进的自然场景统计(natural scene statistics, NSS)模型来预测这部分质量;最后,将图像质量和深度感知质量融合为立体图像体验质量.实验结果表明,该算法在常用视频库上的结果优于现有的评价方法,且与主观感知具有较高一致性.     

基于视觉感知的立体图像零水印算法研究

人眼感知立体图像,主要是对图像内容和深度信息的感知,而视点之间的差异是形成立体图像深度感知的一个重要原因。本文基于人眼视觉感知特性,提出了视点零水印和视差零水印算法,视点零水印将视点图像的亮度Y分量分块做DCT变换,并根据DCT域中低频系数的大小关系来构造视点零水印,提高了水印的鲁棒性和不可见性;视差零水印通过求取左右视图的视差值,搜索得到左右视图的匹配区域,根据匹配区域内左右图像块的DC系数大小关系来构造视差零水印。统计两类零水印恢复率,达到对立体图像质量和立体感知质量客观评价的目的。实验结果表明,该水印算法具有良好的鲁棒性和不可见性,通过水印恢复率客观评价图像质量和立体感知质量,与人眼主观评价具有一致性。     

立体视频质量客观评价方法研究

提出1种部分参考立体视频质量评价方法.首先,在立体视频传输系统的发送端提取参考立体视频的特征信息,将其通过无损的辅助信道传输;然后,在接收端计算失真立体视频的局部结构相似度以及清晰度,并结合运动权重得到立体视频的全局质量结构相似度指标、清晰度指标和深度结构相似度指标;最后,通过回归分析,赋予各指标不同的权重,从而建立部分参考立体视频质量客观评价模型.实验结果表明,所提立体视频质量客观评价模型与主观实验结果具有很好的一致性,而且符合人眼视觉特性,为立体视频领域的发展提供了新的理论依据.     

面向各向异性3D-MRI图像超分辨率 重建的ESRGAN网络

高分辨率磁共振图像(MRI, magnetic resonance images)能够提高疾病诊断精度,但高分辨率MRI图像的获取十分困难。基于深度学习的图像超分辨率(SR, super resolution)技术可有效地提高图像分辨率。近年来,生成对抗网络(GANs, generative adversarial networks)为3D-MRI图像SR重建提供了新思路。相较于传统的基于深度卷积神经网络(DCNN, deep convolutional neural network)的SR算法,GANs网络以人类视觉机制为目标,且引入判别函数,使重建3D-MRI图像更接近真实图像。研究采用增强超分辨率生成对抗网络(ESRGAN, enhanced super-resolution generative adversarial networks)对3D-MRI图像进行SR重建;并利用3D-MRI图像的跨层面自相似性,将重建任务降维到2D,在保证重建效果的基础上,减少了网络训练时间和内存需求。通过与其他传统算法和基于DCNN算法对比实验表明,提出的算法能够进一步提高3D-MRI图像的视觉...     

Fusing Geometrical and Visual Information via Superpoints for the Semantic Segmentation of 3D Road Scenes

This paper addresses the problem of the semantic segmentation of large-scale 3D road scenes by incorporating the complementary advantages of point clouds and images.To make full use of geometrical and visual information, this paper extracts 3D geometric features from a point cloud using a deep neural network for 3D semantic segmentation and extracts 2D visual features from images using a Convolutional Neural Network(CNN)for 2D semantic segmentation.In order to bridge the features of the two modalities, this paper uses superpoints as an intermediate representation to connect the 2D features with the 3D features.A superpoint-based pooling method is proposed to fuse the features from the two different modalities for joint learning.To evaluate the approach, the paper generates 3D scenes from the Virtual KITTI dataset.The results of the experiments demonstrate that the proposed approach is capable of segmenting large-scale 3D road scenes based on the compact and semantically homogeneous superpoints, and that it achieves considerable improvements over the 2D image and 3D point cloud semantic segmentation methods.     

基于众源影像的三维重建方法

目前,众源影像存在获取数据难以筛选,进而导致从影像中生成的点云数据产生几何缺失和含有大量噪声等问题。针对此,论文实现了一种基于众源影像的三维重建方法。首先,采用基于网站Application Programming Interface（API）和基于网页解析的方法获取众源影像数据,然后借助深度学习对获取得到的众源影像进行筛选,获取高质量的众源影像数据,最后运用运动恢复结构（Structure from motion,SFM）算法完成三维重建。论文利用众源影像获取场景的三维结构,对生成的点云模型进行对比和分析,得到了经深度学习算法筛选的图片集更适用于三维重建的结论,以解决众源影像这一新兴数据源在三维建模应用时出现的弊端和不足。     

基于遗传BP神经网络的COSM图像复原算法

提出了一种基于遗传BP人工神经网络的COSM图像复原算法,利用BP神经网络的学习记忆和泛化能力,通过用一组COSM样本图像对网络进行训练,建立含有离焦模糊的模糊三维图像与清晰三维图像之间的非线性映射关系,然后利用训练好的BP神经网络对待复原的COSM图像进行复原处理,从而实现COSM图像复原.复原的三维图像无论在主观视觉还是定量分析上都取得了很好的效果.与传统的图像复原算法不同,该算法免去了解卷积等复杂的运算,不存在病态问题,可广泛应用于模糊图像的复原中并且效果较好.     

小波模拟CSF加权的失真图像质量评价

提出一种基于小波变换模拟对比敏感度(CSF)特性的加权结构相似度(W-MSSIM)评价方法.采用表达直观、计算简便的结构相似度(SSIM)模型替代模拟人眼视觉因素的各种公式,利用不同空间频带的小波系数进行对比敏感度特性加权,从而分别对被测试图像和参考图像提取出人眼感兴趣的中高频信息,然后进行结构相似度对比,以克服SSIM方法不能对失真图像有效评价的缺陷.经过实验验证,该方法的评价结果与HVSNR和ESSIM方法相比更符合主观评价.     

基于对抗样本的深度学习图像压缩感知方法

压缩感知是研究数据采样压缩与重构的信号处理新理论,近年来研究人员将深度学习运用到图像压缩感知算法中,显著提高了图像重构质量.然而,图像信息常与隐私关联,高质量的重构图像在方便人们观赏的同时,带来了隐私保护的问题.本文基于深度学习理论,提出一种对抗的图像压缩感知方法.该方法将压缩理论和对抗样本技术统一于同一个压缩感知算法,通过设计损失函数,联合重构误差和分类误差来训练压缩感知深度神经网络,使得压缩感知重构样本同时也是一个对抗样本.因此,重构图像在保证重构质量的同时,也能对抗图像分类算法,降低其识别率,达到保护图像隐私的效果.在Cifar-10和MNIST图像集上进行的实验结果表明,和已有的压缩感知方法相比,我们提出的对抗压缩感知方法以损失仅10%的图像重构质量为代价,使得图像分类精度下降了74%,获得了很好的对抗性能.     

应用人类视觉特性的立体图像质量评价方法

提出了一种适合立体图像的质量评价方法,该方法基于平面图像的加权平均结构相似性评价规则,考虑了心理立体视觉的物理线索,联合了心理、生理立体视觉特性,最终给出了2种不同复杂度的实现方法．实验结果表明,2种复杂度不同的方法均能很好地用于立体图像的质量评价,且评价结果与主观评价结果相关性很强．     

基于java平台上的分屏立体显示技术

以java3D为图形开发工具,介绍同一视场分屏显示左、右眼图像的立体显示方法,以及该方法所要求的技术细节,并讨论了几种影响显示效果的因素以及解决方案.该方法以虚拟现实理论为基础,为在java平台上的3D开发提供参考及理论支持.     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。