多视成像实时校正与立体显示

手工摆放的平行摄像机阵列所拍摄的多视点立体图像往往会产生垂直视差. 为了消除多视点图像的垂直视差, 必须进行多视点图像的校正. 提出一种简单有效的多视图校正算法, 并基于该算法构建了自由立体显示系统. 应用多线程进行摄像机软同步以及后续的实时优化. 当摄像机图像的上传分辨率为1 280×960、上传速率为25 帧/s、目标3D 显示器的分辨率为1 920×1 080 时, 采用双线性插值, 可达到20 帧/s 左右的显示速率; 若采用复杂度更低的插值方法, 则可达到20 帧/s以上的显示速率. 该算法实现了8路摄像机实时校正和立体显示的3D电视系统.     

基于视觉感知的立体图像零水印算法研究

人眼感知立体图像,主要是对图像内容和深度信息的感知,而视点之间的差异是形成立体图像深度感知的一个重要原因。本文基于人眼视觉感知特性,提出了视点零水印和视差零水印算法,视点零水印将视点图像的亮度Y分量分块做DCT变换,并根据DCT域中低频系数的大小关系来构造视点零水印,提高了水印的鲁棒性和不可见性;视差零水印通过求取左右视图的视差值,搜索得到左右视图的匹配区域,根据匹配区域内左右图像块的DC系数大小关系来构造视差零水印。统计两类零水印恢复率,达到对立体图像质量和立体感知质量客观评价的目的。实验结果表明,该水印算法具有良好的鲁棒性和不可见性,通过水印恢复率客观评价图像质量和立体感知质量,与人眼主观评价具有一致性。     

基于深度学习的虚拟视点重建研究

基于人眼立体视觉的裸眼3D显示技术通过虚拟视点快速渲染可以获得具有密集视点的3D内容,让用户不需要任何辅助设备就可以身临其境地感受三维场景.针对传统获取方法因渲染速度慢、重建质量不高、视差受限等问题,提出基于无监督神经网络的虚拟视点重建方法,基于单目立体深度估计和傅里叶切片理论将2D图像直接生成任意视角虚拟视点.试验结果表明,本文算法比传统方法对任意视角视点的理论渲染速度大幅提升,空洞区域修复更自然.     

基于保持内容的变形算法的虚拟展示系统

采用基于图像渲染的算法实现了三维虚拟展示系统.该系统可以从不同角度,以不同放缩比例交互式浏览真实物体.首先基于SfM算法来重建原始摄像机轨迹和稀疏的三维点云,并拟合摄像机轨迹为三维平面圆.在两连续视点之间使用对极变换算法,将特征点集投射到新视图,最后使用基于保持内容的变形算法生成新视图图像.两视点都能生成对应的新视点图像,连续两个视点可以生成内部新视点的两幅新视图.最后新视图和原始视图合成视频.该系统通过操作视频实现放缩和旋转的交互式浏览方式,优点在于不需要对物体做三维重建,仅基于图片的方式来展示物体.和基于三维重建的三维展示系统不同的是,该系统基于图像渲染,运算量小,交互方式简洁、更真实.     

一种基于两视点DIBR的改进虚拟视点合成方法

虚拟视点合成是裸眼3D电视的关键技术,而基于深度的图像渲染(depth-image-based rendering,DIBR)则是一种经典的虚拟视点合成方法。为解决经典DIBR方法存在的空洞问题,提高虚拟视点图像质量,提出了一种基于DIBR的改进虚拟视点合成方法。首先,只在深度边缘处进行深度图的预处理,这可减少空洞数量且不产生大的几何失真;其次,为得到既没有伪影也没有大空洞的虚拟视点图像,提出了基于距离与深度的图像融合方法,并在融合左右两侧参考视点目标图像前,对其空洞掩膜图进行膨胀;最后,利用逐层收缩的融合后空洞填充方法对剩余小空洞进行迭代填充。实验的主观质量与客观评价都显示本文方法能够取得令人满意的结果。     

基于仿射投影的光线空间插值方法

为有效处理不同视点图像中对应区域的不同形变和噪声污染,提高所绘制的视点图像的质量和速度,提出了一种基于仿射投影的光线空间插值方法.该方法首先利用尺度不变特征变换进行特征检测和图像配准,计算出相应图像对之间的仿射变换矩阵,然后利用仿射变换投影进行光线空间插值,并在小波变换域绘制出虚拟视点图像.实验结果表明,采用文中方法绘制的虚拟视点图像的峰值信噪比和计算时间均优于传统的块匹配插值和视差域滤波插值方法.     

自由立体显示的自适应图像合成算法

现有的自由立体显示图像合成算法存在合成倾斜角度调整不灵活、合成速度慢、效果差等问题.为此,文中在自由立体显示的双目视差原理基础上,提出了在图像合成过程中对图像排布的倾斜角度进行调整的自适应立体图像合成算法.为减少子像素的判决次数,加快立体图像的合成速度,文中首先提出了一种新的判决准则——首列子像素视点判决准则,然后在图像合成过程中根据已经完成排布的部分图像的倾斜角度对将要排布图像的倾斜角度进行自动调整.仿真结果表明:文中算法能够适用于光栅倾斜角度为任意值的自由立体显示设备,并且能够得到排布更为合理的合成图像.     

基于SVD变换的立体图像零水印算法

深度信息是立体图像最重要的特征,而常见的鲁棒性数字水印算法可能使立体图像深度信息遭到破坏而使其视觉效果下降.针对这个问题,提出了一种基于SVD变换的零水印算法.首先,对立体图像的左右视点图像块分别进行SVD变换,得到第一奇异值对应的左奇异向量;其次,分别计算出左右视点图像块的左奇异向量的方差;最后,利用第一奇异值对应的左奇异变量具有很好的稳定性这一特性,通过比较二者大小关系构造出零水印.同时,引入了时间戳机制,减弱了解释攻击带来的影响.仿真实验结果证明,此算法能够避免零水印的虚警概率,同时能够抵抗JPEG压缩攻击和高斯攻击,具有很好的均衡性、相似性和鲁棒性.     

基于奇异值分解的无参考立体图像质量评价

针对非对称失真立体图像,提出了一种基于奇异值分解的无参考评价算法.该方法首先考虑人眼对空间频率变化敏感的特性和双目融合特性,对立体图像进行Gabor滤波,基于奇异值分解的融合策略生成融合图.然后,采用亮度加权直方图的局部二值模式算法分别对融合图、左右子图像提取特征,并将左右子图像的特征向量融合、采用欧几里得距离和夹角余弦进行向量之间的比较;为度量非对称失真差异,利用图像相似度算法计算左右子图像之间的相似性.最后,将融合图的特征向量、子图像的融合及比较特征向量、子图像的相似度特征向量级联,利用支持向量回归(SVR)算法完成特征到主观质量分数的回归映射.在LIVE3DⅡ、Waterloo-IVCⅠ和Waterloo-IVCⅡ立体图像库上对本算法进行测试.实验结果表明,本算法性能良好,优于目前主流的立体图像质量评价算法.     

基于MapReduce模型的立体图像合成方法

随着多媒体信息的爆炸性增长,海量图像的快速处理逐渐成为当前的研究热点.针对单机模式下立体合成算法存在运行效率较低的问题,提出了一种基于Map Reduce模型的立体合成改进方法.首先利用分布式计算和云存储技术的优势,对立体合成算法进行并行化设计;然后通过视差自适应调整和边缘锐化,对原有合成算法进行优化,从而提高立体显示质量.实验结果表明:提出的方法能够很好地提高立体合成算法的运算速度,同时合成出的立体图像具有较好的立体显示效果.     

基于java平台上的分屏立体显示技术

以java3D为图形开发工具,介绍同一视场分屏显示左、右眼图像的立体显示方法,以及该方法所要求的技术细节,并讨论了几种影响显示效果的因素以及解决方案.该方法以虚拟现实理论为基础,为在java平台上的3D开发提供参考及理论支持.     

Dynamic programming based ray-space interpolation for free-viewpoint video system

This paper presents a free viewpoint video (FVV) system based on ray-space interpolation method. The new algorithm matches individual pixels in corresponding scanline pairs by using a dynamic programming technique. A sparse intermediate view disparity map is projected from matched pixels firstly, and the holes (occluded pixels) are filled in by propagating the disparity of neighboring background pixels. After interpolating dense view images, an arbitrary virtual view image can be easily rendered from the dense ray-space converted from these view images. The proposed method is evaluated on the Middlebury data set and compared with other methods, experimental results show that the better quality of the intermediate view is obtained and the corresponding computational complexity is reduced significantly.     

从低分辨率图像序列重构高分辨率图像

从多视图几何技术出发,利用透视同伦变换技术、切点累积生成和运动估计及几何校正等技术将一组真实场景照片重构出一幅高分辨率的柱面全景图。由此研发的交互式全景漫游生成系统ADPW具有全景图生成、基于超媒体架构的多媒体信息融合、交互式全景漫游、发行(脱离系统运行)等功能,不仅实现了高度真实感的多媒体实时交互漫游,还可以发行相应的虚拟场景浏览器,脱离ADPW开发工具单独运行,可作为用户二次开发工具以便用户进一步开发。     

基于WebGL和AJAX的WEB3D应用研究——以在线3D协作交互式设计为例

WEB3D(虚拟三维)是一种利用3D互联网平台和虚拟现实技术将现实世界通过互联网进行三维立体展示及实现互动浏览操作的技术。相比于目前互联网上主流的视觉展示方式,如图片,FLASH,3D动画等,WEB3D技术使用户更具浏览和操作的自主感。本文首先以WebGL和AJAX技术为基础,提出了一套WEB3D引擎的构建方案。然后以多人在线协作式3D设计为例,给出整套架构方案的代码实现,论证了该方案的可行性。     

基于边缘的面向虚拟视绘制的深度编码算法

深度图由锐边缘包围纹理的匀质区域组成, 因此边缘信息对于虚拟视的绘制至关重要. 由于深度图不同区域的失真会对绘制虚拟视质量产生不同的影响, 提出一种基于边缘的面向虚拟视绘制的深度编码算法. 将深度图划分为边缘区域和平坦区域: 对于边缘区域, 采用全搜索策略, 以提高边缘区域的编码质量; 对于平坦区域, 采用SKIP模式和16×16模式, 以提高编码效率. 除此之外, 在去块滤波中, 提出一种利用纹理图和深度图边缘相似性的可保护深度图片边缘的中值三边滤波器. 实验结果表明, 与JM编码方案相比, 该方法在码率基本不变的前提下, 提高了编码效率和虚拟视绘制的主观质量.     

Semi-reference image quality metric for virtual view images in free-viewpoint television

A semi-reference image quality assessment metric based on similarity measurement for synthesized virtual viewpoint image (VVI) in free-viewpoint television system (FTV) is proposed in this paper. The key point of the proposed metric is taking resemblant information between VVI and its neighbor view images for quality assessment to make our metric to be extended to multi-semi-reference image quality assessment easily. The proposed metric first extracts impact factors from image features, then combines an image synthesis technique and similarity functions, in which, disparity information are taken into account for registering the resemblant regions. Experiments are divided into three phases. Phase I is to verify the validation of the proposed metric by taking impaired images and original reference into account. The experimental results show the agreement between evaluation scores and bio-characteristic of human visual system. Phase II shows the accordance with Phase I by taking neighbor view as reference. The proposed metric can be taken as a full reference one to evaluate the image quality even though the original reference is absent. Phase III is then performed to evaluate the quality of VVI. Evaluation scores in the experimental results are able to evaluate the quality of VVI.     

基于NSCT和图像融合的中间视点合成算法研究

本文提出了一种中间视图合成技术的新方法。它可以应用于3D电视等领域。该方法采用NSCT变换域图像融合、IBR技术、空洞处理和分块效应处理等算法,仿真结果结果表明该方法具有较好的视图合成效果。     

基于特征提取的虚拟现实中全景图像生成算法研究

当前全景图像生成算法通常依据计算机图形实现,建模时间较长,且生成的全景图像效果不佳,无法满足人们的需求。为此,提出一种新的基于特征提取的虚拟现实中全景图像生成算法,对图像中各像素点的Hessian矩阵行列式进行计算,获取SURF特征点值,通过特征点之间的欧氏距离对图像间的相似性进行衡量,实现特征匹配。通过正投影把所有待合成图像投影至圆柱面上,相邻图像将重合部分融合,获取投影图像后,通过特征匹配实现无缝拼接,将正投影过程生成的立体图像从某一位置剖开,并投影至某一平面上,获取视觉一致的全景图像。实验结果表明,采用所提算法生成的全景图像重叠区域之间几乎没有缝隙,亮度差异不大,可消除“鬼影”现象,且占用内存与消耗时间少。     

基于虚拟现实技术的电机的虚拟运行

介绍和分析了虚拟现实技术,提出了基于3DS MAX和VRML的产品网上三维虚拟的展示方法.以典型的三相绕线式异步电动机为对象,基于面向对象的方法来描述其基本结构、主要部件的几何特征、运动特性和功能特点,运用3DS MAX对其进行三维建模、建立其虚拟展示的场景模型,并结合VRML的虚拟交互技术和外部编程接口技术EAI对已建立起来的电动机虚拟场景进行交互式虚拟操作.在此基础上,构建了基于VRML的电动机运行状态模拟的网上展示系统,使得用户可基于Web的互动方式远程、透明地访问、浏览、观看和了解该设备不同视觉角度的三维结构、动画演示、主要特征等.