基于视差变化连续性调节的3D视频舒适度增强

为解决3D 视频因视差变化不连续而引起的视觉疲劳, 提出一种非舒适帧视差调节方法。该方法根据舒适度评价模型, 利用JMVC(Joint Multi-view Video Coding)多视点编码系统中的当前帧运动矢量和视差矢量信息, 找到影响舒适度的视频帧。通过非舒适帧的视差调节方法, 对影响舒适度的视频帧进行视差调节, 得到提高人眼观视舒适度的新视频。观视者根据自身生理症状和疲劳反应进行主观打分。通过多组实验前后对比的结果表明, 通过非舒适帧的视差调节后得到的立体视频观看舒适度比处理前提高5. 13%, 而且在保证视频质量的基础上, 提高了立体视频观视舒适度。     

基于立体图像显著区域的舒适亮度定量研究

研究立体图像观看舒适度的影响因素已成为立体显示领域的关键技术之一.本文首次结合视觉注意机制定量研究了亮度因素对立体图像观看舒适度的影响.首先,采用视差图和平面图像显著图相结合的方法获得显著立体图像;然后采用改进的逐级逼近法进行主观实验,得到显著立体图像的舒适亮度匹配图和差异图.本文所得亮度范围能够更好地反映立体图像的舒适度,为立体图像舒适度评价及立体显示技术的改进提供了新的依据.此外,论文采用眼动仪验证了所得立体图像显著区域的正确性.     

立体视频质量客观评价方法研究

提出1种部分参考立体视频质量评价方法.首先,在立体视频传输系统的发送端提取参考立体视频的特征信息,将其通过无损的辅助信道传输;然后,在接收端计算失真立体视频的局部结构相似度以及清晰度,并结合运动权重得到立体视频的全局质量结构相似度指标、清晰度指标和深度结构相似度指标;最后,通过回归分析,赋予各指标不同的权重,从而建立部分参考立体视频质量客观评价模型.实验结果表明,所提立体视频质量客观评价模型与主观实验结果具有很好的一致性,而且符合人眼视觉特性,为立体视频领域的发展提供了新的理论依据.     

基于BJND和JNDD的立体视频深度感知增强技术综述

人类视觉系统是一个具有多种视觉特性的复杂处理系统,视觉感知是人眼多种视觉特性共同作用的结果。立体视频图像因视差和深度的存在有着与平面图像不同的视觉感受,且深度感与视差有着紧密的关系。恰可察觉差别(Just Noticeable Difference,JND)或者称为恰可察觉失真(Just Noticeable Distortion,JND)是一种基于视觉心理学和生理学的视觉特性,双目恰可察觉差别(Binocular JND,BJND)和恰可察觉深度差别(Just Noticeable Depth Difference,JNDD)影响人们对立体视频的用户体验。在阐述JND基础上,综述人类视觉感知立体视频的BJND、JNDD模型及国内外研究现状,分析视差图质量和深度图信息对立体视频感知影响,提出了基于JNDD的深度图处理方法,寻求人眼对立体视频深度感知增强技术,建立基于BJND和JNDD的立体视频图像质量客观评价方法,为立体视频图像处理及应用提供指导。     

一种基于背景重建和视差图的立体视频对象分割算法

提出了一种基于背景重建和视差图的立体视频分割算法,利用背景、视差和边缘等信息进行运动对象分割。该算法首先采用基于块的背景重建方法获取视频序列的背景信息,再利用背景相减法获得运动对象的初步分割结果,然后利用立体匹配获得的视差图对初步分割结果进行修正,最后利用边缘信息和后处理操作获得最终的立体视频运动对象。实验表明,该算法能够有效地从运动背景中将视频运动对象完整地提取出来。     

影响立体图像舒适度的饱和度范围测定

针对立体成像领域的视觉舒适度问题,结合人眼视觉系统的特性定量研究了饱和度因素对观看双目立体图像舒适度的影响．采用三级步长逼近法,通过大量主观实验定义了双目立体图像舒适饱和度匹配图和舒适饱和度差异图,得到了立体图像饱和度匹配范围,并进一步验证了两图的普适性,根据两图判定立体图像是否舒适的准确率达到92％．实验结果能够为立体图像舒适度的主客观评价提供依据．     

面向网络传输的立体视频QoE评价模型

面向立体视频网络传输业务,分析影响用户感知质量的关键因素,提出了一种网络立体视频用户感知质量的多指标评价模型.该模型融合了网络服务质量因素、立体视频内容质量因素、用户互动质量因素及终端设备质量因素,利用模糊层次分析法对立体视频感知质量影响因素进行层次分析,建立评估指标体系.计算得到各指标权重,并建立最终的评价模型.通过网络仿真实验,并利用主观评测值,验证各个指标对网络传输中立体视频用户感知质量的影响.实验结果表明,此方法与用户主观评价值相关性较高,能够更全面地反映网络传输中立体视频的用户感知质量.     

基于视差图指导的无参考立体图像质量评价

考虑到视差图在立体成像中的重要性,设计了一种双通道的卷积神经网络来实现无参考立体图像质量评价.首先,建立一个以密集连接网络为主体的卷积神经网络结构,用于提取特征.其次,基于人类视觉系统的双目融合和双目竞争的特性,将左右视图进行R、G、B三通道融合得到彩色融合图像,并将此融合图像作为卷积神经网络的一个通道的输入;另一通道的输入为视差图,视差图起到了特征补偿的作用.然后,通过改进挤压和激励模块来实现视差图对融合图像的加权指导.这种加权策略加强了融合图像的重要信息的比重,减轻了非重要信息的比重.最后,在卷积神经网络的末端,将视差图的特征和加权校正过的融合图像的特征进行融合得到总体特征,将总体特征与主观评价方法得分进行回归分析,得到待测立体图像的质量分数.在两个公开的LIVE立体数据库上进行实验验证.结果表明:所提出的无参考立体图像质量评价方法能够有效地应对对称和非对称失真类型的立体图像,并与主观评测方法保持高度一致.     

基于网格与韦泊统计特性的立体图像质量评价

针对立体图像失真会改变图像对比度、边缘和结构等信息的特性,提出一种无参考立体图像质量评价方法.首先,利用韦泊分布的尺度参数β和形状参数η分别描述合成图、左右视图及视差图的梯度图像特征;然后用网格强度及其规律性分别描述合成图、左右视图及视差图的网格图像特征;最后,将所得特征输入支持向量回归(SVR)网络中训练模型,获得特征到质量分数之间映射关系的模型,从而预测立体图像质量.通过利用LIVE-3D I数据库和LIVE-3DⅡ数据库进行性能测试,证明了本文提出的方法与人眼视觉特性具有很高的一致性,且性能优于目前主流的图像质量评价算法.     

立体压缩图像的客观质量评价方法

针对立体图像的客观质量评价问题,提出了一种适合于立体压缩图像的质量评价方法．该方法基于平面图像的人类视觉系统评价模型,考虑了人类视觉系统的多通道特性和对比度敏感度特性,使用Contourlet变换实现多通道分解,将立体图像对的差值信号进行评价．实验结果表明,该方法得到的质量评价结果符合人眼视觉特性,与主观质量评价方法的一致性较好,能够客观反映压缩立体图像的质量．     

时空对比度引导的视频显著目标提取模型

针对经典视频显著目标提取模型没有充分利用时域显著性线索,易受背景噪声干扰,提取的显著目标不完整等问题,提出了一种在时空对比度指导下的视频显著目标提取模型.首先,自适应融合RGB颜色空间对比度和运动对比度,确定显著目标的先验信息;然后,利用当前帧的前景提取项和邻近帧位置约束项组成能量函数,指导时空显著性线索融合;最后,通...     

基于汇聚面对3D影像观影舒适性影响的研究

分析汇聚面与舒适性的关联性是研究汇聚面对3D影像观影舒适性影响的基础,通过从摄像机汇聚面参数、影像创作中的视觉语言的表现方式、3D影像的观看条件这3方面发现汇聚面对观影舒适性所产生的影响,整理汇聚面与感知深度、视差距离值、物镜间距等之间的关联依据,总结出在拍摄、非线性编辑、放映这3个环节中,汇聚面参数调整的规律和方法.通过实验获取汇聚面参数调整的有效数据范围,为制作出具有观看舒适性的3D影像作品提供了必要的依据.     

视频监控中可变人体行为的识别

为有效识别视频监控中的人体行为,提出了新的人体行为识别模型和前景提取方法.对前景提取,采用背景边缘模型与背景模型相结合的前景检测方法,有效避免了光照、阴影等外部因素的影响.为了快速发现人体运动过程中产生的新行为,采用分层Dirichlet过程聚类人体特征数据来判断是否有未知人体行为产生,用无限HMM对含有未知行为模式的...     

基于视频流的运动人体检测方法研究

提出一种基于对称帧间差分与背景减除相结合的运动目标检测和自适应背景更新方法.该方法首先建立背景模型,采用帧间差分法将当前帧图像分别与其相邻两帧图像相比较得到运动目标前景部分,并将三帧中变化率小于某一阈值的像素点以一定的更新率实时更新到背景模型中.同时,采用背景减除法对所建立的背景模型进行前景提取,将两种方法所获得的前景图像进行融合,再通过数学形态学运算去除噪声及小面积非人体运动部分,最终得到完整可靠的运动人体二值图像.实验结果表明该方法准确高效,能很好地克服光线的影响,提高监控系统的稳定性.     

基于前景概率函数的目标跟踪

针对不规则目标跟踪中初始窗口内包含背景像素导致特征模板不准确的问题,提出前景概率函数以及基于前景概率函数的目标跟踪算法.首先根据目标所在区域与背景区域的颜色分布建立前景概率函数,并以此计算目标区域中像素的前景概率,削弱背景像素的干扰,得到更准确的目标特征模板.将目标区域像素的前景概率引入均值迁移跟踪框架中,实现目标的迭代定位;在跟踪收敛后重新计算收敛区域中的前景概率分布,根据其反向投影图的尺度变化调整跟踪窗宽;最后利用Bhattacharyya相关系数对目标特征模板进行自适应更新.实验表明,该算法能够有效抑制背景像素的干扰,在目标尺度变化时能够准确调整跟踪窗宽,减少迭代次数,满足实时跟踪的需要.在复杂背景中跟踪性能也始终优于传统的均值迁移跟踪算法.     

New auto color correction algorithm for microscopic imaging system

Color difference may exist between two views of stereoscopic images acquired with stereomicroscope,which makes trouble for the following image processing or observation.A color correction method based on the nearest cumulative histogram matching is proposed.Histogram-based contrast(HC)method is proposed to define saliency value of each pixel,then auto Grabcut segmentation method is used to segment the salient region so as to obtain a region of interest(ROI).After that,normalized histograms and cumulative histograms for ROI and region of background(ROB) are calculated.The mapping functions of the corresponding regions are derived from reference image to distorted image through the nearest cumulative histogram matching method,so that color correction can be finally achieved.Experimental results show that benefitting from the separate treatment to ROI and ROB,the proposed color correction method could avoid error propagation between the two different regions,which achieves good color correction result in comparison with other correction methods.     

基于流行排序的前景背景显著性检测算法

为准确提取图像显著区域,提出基于流行排序的前景背景显著性检测算法。首先,采用SLIC(simple linear iterative clustering)方法对经平滑处理的图像进行超像素分割。然后以超像素作为图中节点,采用自适应参数计算节点之间的权重以解决因采用固定值导致的图像效果不理想的问题。其次,在计算背景查询节点时,通过阈值剔除边界超像素中不属于背景的像素,以保留合适的查询节点,避免因显著目标位于图像边界而错把非背景像素标记为背景查询节点的问题。最后,因前景优先方法可以有效抑制背景噪声,而背景优先方法对背景噪声抑制不足,但可均匀突出前景目标。因此,采用相乘或者取平均的方式融合前景背景显著图以得到最终的显著图。在公开数据集MSRA、SED2及ECSSD上与其他算法进行实验对比,实验结果证明了算法的有效性。     

一种基于目标定位的背景建模与视觉跟踪方法

提出一种基于目标定位的背景建模方法,通过对视频序列中运动目标的位置进行预估,将前景点与背景点初步分离,进而构建背景模型,有效避免了传统时间平均法构造背景时产生的前景目标与背景混合的现象.实验结果表明,该方法无需预先存储背景图像即可实现场景中运动目标的提取与跟踪,弥补了传统背景差法需要事先提供背景帧以及对背景变化缺乏适应性的缺陷.     

边缘特征与局部纹理特性融合的阴影消除算法

针对视频分割中的阴影消除问题,提出了一种以置信度为桥梁,前景边缘投影特征与局部纹理特性相融合的阴影提取算法.采用自适应高斯法获得动态背景,提取包含阴影的前景,计算出当前帧和背景帧在前景最小外接矩形坐标范围内的边缘差异,得到低干扰的车辆和阴影边缘信息.利用大津阈值算法进行投影分割,在阴影连续性前提下,高置信度区域确认为阴影,低置信度区域确认为车辆,而一般置信度区域,进一步结合局部纹理在当前帧和背景帧间的跳变程度,搜索出与车辆相连的阴影.结果表明:该方法能够去除导致前景严重变形的大面积阴影,去除有效率在90%以上,保障了车辆的有效提取;算法实时性好,可应用于智能视频监控的目标检测及跟踪中.