基于微透镜阵列的光场图像深度估计

针对光场相机同时记录光线位置信息和角度信息,提出估计光场图像深度的新方法。根据光场摄像技术的数字重聚焦原理,产生场景不同焦深的图像序列;采用基于目标区域的可变窗口清晰度评价算子对目标在图像序列中的聚焦度进行测量,通过高斯插值获得最清晰的成像位置作为深度求取结果。以基于微透镜阵列的Lytro光场相机为例,实验结果表明,在降低现有算法时间复杂度的基础上,该方法提取的深度图可靠,证明了该方法的可行性与优越性。     

一种基于微透镜阵列的图像全聚焦方法

光场相机捕获了光线的位置信息和方向信息;但牺牲了一定的方向分辨率,降低了图像的清晰度。目前,一款消费级光场相机Lytro虽小巧便携,拍摄方便,但其提取的图像分辨率很低。针对这一问题,提出了一种基于微透镜阵列的图像序列全聚焦方法。首先对采集到的原始光场图像进行编码、标定及颜色校正等处理,再构造子图像序列模型,从处理后的图像信息中提取出不同的图像序列,在空间域积分重聚焦的原理上,用清晰度评价算子确定子图像的最佳聚焦点,再经过图像融合完成图像的全聚焦。实验结果表明,使用该方法提高了图像的空间分辨率,得到更加清晰的全聚焦图像。     

基于Lytro光场相机的数字重聚焦研究

传统相机只能聚焦拍摄一定距离范围的清晰图像,而光场相机可以实现先拍照后聚焦,该相机无需在拍摄时对焦,通过对光场图像的后期处理实现任意距离处的数字重聚焦。对Lytro光场相机的数字重聚焦技术进行了研究,首先采用高曝光图像峰值检测法对微透镜阵列中心进行标定,再利用标定得到的中心坐标数据对原始光场数据进行重映射得到4D光场;最后对4D光场进行基变换和重积分得到任意距离处的重聚焦图像。实验结果验证了本文所提方法可实现光场图像任意焦面处的重聚焦。     

光场成像系统仿真分析与深度标定研究

微透镜阵列的光场相机可以根据微透镜阵列与传感器之间的距离分成非聚焦（传统型）、聚焦开普勒型和聚焦伽利略型3种光场相机,使用光学仿真软件Zemax对这3种光场相机进行模拟,对得到的白板图进行微透镜中心标定以及对原始光场图片进行渲染处理,得到系统的空间分辨率（重聚焦图片分辨率）、角度分辨率（多视角数）等信息。利用重聚焦系数...     

基于分割的立体匹配法提取光场视差图

为了解决从光场相机采集的图像中提取物体深度信息的问题,提出一种利用Lytro光场相机设备,基于图像分割的立体匹配方法估计光场图像深度。首先对Lytro相机采集的原始灰度图进行解码和颜色校正,提取相应的子光圈图像;在Matlab环境下,结合图像颜色分割、自适应立体匹配对子图像进行处理,通过平面拟合技术和BP优化得到相应的深度估计图。实验结果表明,该方法提取到深度图在视觉精度上有了明显的提高。     

光场成像系统仿真分析与深度标定研究

微透镜阵列的光场相机可以根据微透镜阵列与传感器之间的距离分成非聚焦(传统型)、聚焦开普勒型和聚焦伽利略型3种光场相机,使用光学仿真软件Zemax对这3种光场相机进行模拟,对得到的白板图进行微透镜中心标定以及对原始光场图片进行渲染处理,得到系统的空间分辨率(重聚焦图片分辨率)、角度分辨率(多视角数)等信息.利用重聚焦系数...     

基于光场数据的无纹理景物视差估计方法

为了提高无纹理区域视差计算结果, 在利用光场子孔径图像立体匹配估计无纹理区域的视差时, 采用量化的光场子孔径图像之间的几何关系代替像素值进行立体匹配。根据光场子孔径图像之间的几何关系, 计算像素点的极线分割比, 用极线分割比代替子孔径图像像素值, 提高了像素可区分性。实验结果表明, 利用分割比图像得到的视差图结果明显优于利用子孔径图像得到的结果。     

融合全局和局部特征的光场图像空间超分辨率算法

光场相机传感器有限的空间分辨率阻碍了光场图像处理相关研究的进展.提出一种融合全局和局部特征的光场图像空间超分辨率算法,提高了对光场子视点全局关系建模的能力.由于光场相机捕捉的图像亮度较低,严重影响了超分辨率图像的质量,提出一个改进的4D零参考深度曲线估计网络（4D Zero-DCE-Net）,充分利用光场全部子视点信息来提高光场图像的亮度.为了解决光场图像空间分辨率低的问题,提出一个基于生成对抗网络的光场图像空间超分辨率网络模型.生成器包含三个部分：第一部分是Transformer和4D卷积以并行方式结合的网络结构,能以较浅的网络层捕捉图像的全局和局部细节信息;第二部分是一个交互融合注意力模块IFAM(Interactive Fusion Attention Module),能有效地融合上述两个分支得到的全局自注意力和局部细节信息;第三部分是一个重建模块PS-PA(Pixel Shuffle-Pixel Attention),能提高整个光场的空间分辨率.最后,利用相对判别器来指导生成器的训练.实验结果表明,提出的算法和其他算法相比,峰值信号比（PSNR）至少提升了1 dB.     

基于微透镜阵列的光场成像系统

传统成像系统在拍摄过程中需要对目标物体准确对焦,这在拍摄快速变化的物体时显得非常无力.为了克服这一缺陷,本文以Levoy的光场渲染理论为基础,利用光学设计软件ZEMAX在普通成像系统中加入一个微透镜阵列,设计出一个由成像主镜、微透镜阵列和像面CCD探测器三部分组成的光场成像系统,并仿真模拟了光场图像的采集.这样的设计能够同时记录光线的强度和方向信息,对光场图像的后处理以傅里叶切片理论为基础,通过Matlab编程,实现了光场图像的重新聚焦.本文使用普通相机镜头、微透镜阵列和CCD探测器搭建了光场成像实验系统,实验采集光场图像并进行重聚焦处理,实现了三维物体的光场成像,验证了理论及算法的正确性.     

一种基于NSCT和图像融合的多视点图像编码方法

提出了一种基于相邻视点图像融合的多视点图像编码方法。该方法首先将多幅同一场景的多视点视频图像进行融合,得到一幅含有大部分信息的融合图像、边信息和视差矢量。之后对融合图像作基于NSCT的类SPIHT编,对边信息和视差矢量进行熵编码。该编码方案,通过图像融合,有效降低了多视点视频图像传输和存储过程中的信息量。解码后的图像视觉质量和实验结果表明,该方法能更有效地表示图像的边缘信息,获得比传统编码方法更高的峰值信噪比,具有实践意义。     

编码孔径相机获取优化全景图的新方法

提出一种利用编码孔径相机拍摄照片并进行全景图拼接的方法. 首次将深度相机和全景摄影结合起来,利用编码孔径相机获得的场景深度信息,可得到只含感兴趣部分的全景图以及细节清晰的全聚焦全景图. 与传统直接将源照片按照几何分布拼接在一起的全景图拼接方法相比,本文方法能够有效去除场景中近景物体在全景拼接中的错误,避免中距离物体破坏远景场景的完整性,同时获得全景图的模糊部分进行优化. 在这个框架下,运用本文方法对各种全景图拼接进行了大量实验,展示了拼接的过程以及拼接结果,结果表明本文提出的计算框架能够有效达到优化全景图的目的.      

3D视频中基于前景的过渡像素深度划归方法

DIBR(Depth Image Based Rendering)算法的提出,使得3D视频只需要一个原始视点的纹理信息及其对应的深度信息就能绘制出新的虚拟视点,因此深度信息的精准与否将直接影响到绘制的虚拟视点质量。由于深度失真经常发生在前景与背景的过渡区域,本文对该区域像素定义为过渡像素,针对这种过渡像素的深度失真问题进行了分析,并提出了一种基于前景的过渡像素深度划归方法。主要思想是:通过阈值判断找出过渡像素的位置,然后将前景的深度值赋予过渡像素。实验表明,这种方法能够有效的减少绘制过程的失真,提高虚拟视点的质量。     

融合边缘语义信息的单目深度估计

单目深度估计研究是许多视觉任务的基础,从图像中得到边缘清晰,细节丰富的深度图对于后续任务具有重要的作用.针对当前单目深度估计模型中不能深度融合图像语义信息以及不能较好地利用图像对象的边缘信息问题,首先构建了超像素拓扑关系图,使用图神经网络提取局部边缘信息之间的相互关系,得到以超像素为节点的拓扑关系图,其次构建了基于编解...     

基于RGB-D的室内场景实时三维重建算法

针对基于视觉的室内场景三维重建过程中存在三维点云匹配不准确、过程耗时和深度信息部分缺失的问题,提出一种带有深度约束和局部近邻约束的基于RGB-D的室内场景实时三维重建算法.该算法首先利用RGB-D相机采集到的RGB图像做哈里斯角点检测,再用SURF特征点描述方法对检测到的特征点生成64维特征描述子.接着利用特征点集合的深度信息和局部近邻特征点信息作为约束,初步筛选出相邻帧间正确的匹配点对,再结合随机抽样一致性(RANSAC)算法去除外点,以此得到相机的姿态估计.最后利用RGB-D的深度图像,在图优化方法(g2o)的基础上生成三维点云,实现室内场景的三维重建.实验中,RGB-D摄像头装载在自主移动导航的小车上,实时重构的三维场景验证了所提算法的可行性和准确性.     

多特征融合的道路场景语义分割算法

为提升道路场景语义分割的性能以及实际应用性,本文将传统的图像处理算法与深度学习技术相结合,提出了一种多特征融合的轻量级道路场景语义分割网络模型。该模型首先利用颜色空间转化、图像均衡化、边缘检测等算法来对图像多种特征信息进行增强;其次,以深度可分离卷积为基本单元搭建高效率特征提取结构,对特征增强后的图像进行信息融合和提取,并结合跳层上采样操作完成初步分割;最后,引入边缘检测支路来对分割图像的目标边界信息进行细化,保障网络高精度分割。通过实验结果表明,所提网络在分割精度、计算效率上得到了较好的平衡,同时,在实际变电站道路场景应用中,该网络也能实现高效语义分割,为巡检机器人提供有效的道路信息。     

基于多幅不同曝光量照片的场景高动态范围图像合成

提出了一种恢复相机成像系统光照响应曲线,合成场景高动态范围图像的方法.在满足光学成像系统相反法则的前提下,利用多幅同一场景不同曝光量的照片图像,结合最小二乘原理和B样条函数拟合方法,恢复了相机的光照响应曲线,获得图像中像素值与曝光量之间的映射关系,进而将不同曝光量的场景照片图像融合成一幅高动态范围图像.图像中的像素值与场景中对应点的真实亮度值成正比,扩大了场景图像的表示范围,增加了场景图像中高亮区和暗区的细节特征.实验表明,合成的高动态范围图像效果满意.     

基于ASAM注意力机制的光场图像压缩方法

为了研究光场图像的空间信息和相似角度信息之间的差异性,提高光场图像的传输效率,提出了一种基于端到端网络的角度空间注意力模型（ASAM）注意力机制的光场图像压缩方法 .以卷积块注意力模型（CBAM）的注意力机制为基础,增强了相对角度特征,提高了压缩编码效率.稀疏图像采用H.266/VVC视频编解码器进行压缩,通过子孔径图像（SAI）网络恢复编码后的图像.结果表明,与现有的光场图像压缩方法相比,所提出的光场图像压缩方法具有较高的图像压缩性能,Bj?ntegaard-Delta比特率（BD-BR）降低了52.30%,Bj?ntegaard-Delta峰值信噪比（BD-PSNR）提高了3.33 dB.     

柱透镜光栅立体显示的串扰度

为实现对柱透镜光栅立体显示串扰的定量分析,提出了一种串扰度的计算方法.首先,创建了用于描述显示屏上子像素视差图像的视点矩阵.然后,基于几何光学并结合视点矩阵,创建了用于描述观看位置上观看到的各幅视差图像信息量的视区矩阵.最后,由视区矩阵推导出串扰度的计算公式.实验测量结果与计算结果相近.验证了该计算方法的有效性.该方法可用于分析光栅倾斜角度、视点数及观看位置等因素对串扰的影响,且在定义串扰度阈值的基础上可确定最佳立体观看区域.     

变电站巡检机器人道路语义分割方法及其应用

为提升变电站巡检机器人对道路场景的识别理解能力,将深度学习技术应用于变电站巡检机器人中,提出了一种适用于变电站道路场景的全卷积语义分割网络。该网络借鉴ENet编码结构提取图像特征,同时融入多种解码结构来获取更多有效特征,恢复图像目标信息。同时,针对巡检机器人以及变电站道路特点,将语义分割结果转化为机器人前方目标信息以及机器人偏离情况信息,辅助机器人导航避障。实验结果表明:所提出的网络有效地提升了图像分割精度,并能较好地适应于实际变电站环境中。研究结果为机器人提供了有效的道路场景信息,辅助机器人导航避障。     

基于局部语义上下文的场景分类方法

针对现有方法难以解决复杂场景图像分类的问题,本文提出一种基于局部语义上下文的场景分类方法。该方法将整个图像分割为一系列超像素,从超像素提取局部特征表示图像的局部观察;在观察图像和场景类别标签之间引入表示超像素区域语义的随机变量,通过不同随机变量之间的依赖关系引入局部语义上下文信息,较好地描述了图像观察、图像内容与场景类别标签之间的语义关联度,最后定义判别图像场景类别的目标函数,采用优化方法推断图像的场景类别。在标准图像库进行的实验证明了该方法的有效性。