基于微透镜阵列的光场图像深度估计

针对光场相机同时记录光线位置信息和角度信息,提出估计光场图像深度的新方法。根据光场摄像技术的数字重聚焦原理,产生场景不同焦深的图像序列;采用基于目标区域的可变窗口清晰度评价算子对目标在图像序列中的聚焦度进行测量,通过高斯插值获得最清晰的成像位置作为深度求取结果。以基于微透镜阵列的Lytro光场相机为例,实验结果表明,在降低现有算法时间复杂度的基础上,该方法提取的深度图可靠,证明了该方法的可行性与优越性。     

光场深度估计方法分类及性能比较研究

根据不同的光场特征,将现有的光场深度估计方法分为基于极平面、基于多视角、基于焦点堆栈和基于深度学习4类方法.比较和分析这4类方法的特点,阐述了光场参数化表征和光场可视化.在合成和真实光场数据集上,对5种典型深度估计方法分别进行了定量和定性的实验对比分析,研究结果表明,基于深度学习的深度估计方法在运行效率和估计精度上都明...     

基于姿态估计和Transformer模型的遮挡行人重识别

行人重识别是利用人工智能解决边防检查、人员追踪等公共安全应用问题的技术,具有从跨设备采集的图像中识别某一特定行人的能力。但是在人员追踪等问题中,往往会出现行人刻意遮挡、复杂场景环境遮挡等因素,大大提高了行人重识别的难度。针对行人重识别遮挡问题,基于ResNet50网络,结合姿态估计（Pose estimation）和转换器（Transformer）模型,提出了一种改进的行人重识别网络PT-Net,以提高遮挡条件下的行人重识别能力。该方法首先利用现有的姿态估计方法对输入图像进行关键点检测,并将关键点信息与行人特征图像结合起来生成一个基于姿态的行人特征表示;然后利用Transformer模型对基于姿态的行人特征表示编码,用来实现特征对齐和特征融合。论文基于国际公开的数据集Occluded-Duke开展实验验证,结果表明,PT-Net方法相对于基线模型,其均值精度mAP和相似度排序Rank-1指标分别提高了1.3和1.5个百分点,验证了该方法的有效性和优越性。     

基于CBAM-ResNet50的民国纸币图像检索系统

利用残差网络（ResNet）50,结合卷积块注意力模块（CBAM）机制,提出了一种基于CBAM-ResNet50的民国纸币图像检索技术,提升了对相似纸币的检索能力.设计并实现了基于Windows和Ubuntu系统环境下的民国纸币图像检索系统,并搭建了基于Flask的Web应用服务.所提取的民国纸币图像特征具有更强的辨识度,大幅提高了检索速度,在图形处理器（GPU）上可达毫秒级.使用缩略图搜索民国纸币图片,对相似度排名第1的图像的检索准确率可以达76.3%,相似度排名前6的图像检索准确率可以达92.5%.     

基于深度学习的二维人体姿态估计综述

人体姿态估计是近年来计算机视觉问题中的一个热门话题,它在改善人类生活方面具有巨大的益处和潜在的应用。近年来深度神经网络得到快速发展,相较于传统方法而言,采用深度学习的方法更能提取图像表征信息。综合分析近年来人体姿态估计的进展,根据检测人数分为单人和多人人体姿态估计。针对单人姿态估计,介绍了基于直接预测人体坐标点的坐标回归方法及基于预测人体关键点高斯分布的热图检测方法;针对多人姿态估计,采用解决多人到解决单人过程的自顶向下方法和直接处理多人关键点的自底向上方法。总结了各方法网络结构的特点和优缺点,并阐述当前面临的问题及未来发展趋势。     

基于重计算的深度学习加速器容错设计

2D计算阵列由于高并行性且通信简单,在深度学习加速器(deep learning accelerator, DLA)中经常负责处理卷积的大量计算,若出现硬件故障,则会导致计算错误,从而造成预测精度大幅下降。为了修复2D计算阵列中的故障,文章提出一种用于容错DLA的重计算结构(recomputing architecture, RCA),与传统的在阵列中添加冗余的即时故障修复策略不同,它具有一组基于冗余的重计算单元(recomputing unit, RCU),可以在稍后的周期中一对一地进行故障单元的重新计算。实验结果表明,与之前的容错方案相比,该文提出的方法显示出更高的故障修复能力和可扩展性,并且芯片面积占用更少。     

基于深度学习的障碍物检测与深度估计

提出了一种针对交通场景的基于深度学习的障碍物检测与深度估计方法。该方法对现有的YOLOv3模型进行改进,使用DenseNet网络代替原网络尺度较小的传输层,得到一种新的障碍物检测模型Dense-YOLO。然后采用立体匹配模型PSMNet得到双目图像的视差图,根据双目测距原理对被测目标深度进行估计。在KITTI数据集和实际交通场景中的实验结果表明,与YOLOv3模型相比,Dense-YOLO模型有效地提高了交通场景中障碍物检测的可靠性和正确率,对轿车、行人、骑行者和卡车这4类障碍物检测的平均精确率（average precision, AP）提高了3%～5%,平均精确率均值（mean average precision, mAP）提高了约4%。障碍物深度估计结果与真实值的平均相对误差约为3%。     

基于深度学习和光场成像的火焰三维温度场重建算法

提出一种基于深度学习和光场成像的火焰三维温度场快速重建算法.该算法利用卷积神经网络对火焰光场图像进行深层特征提取,建立了光场图像与三维温度场之间的映射关系,从而实现火焰三维温度场的快速重建;利用视在光线法构建了火焰光场图像和三维温度场数据集,对卷积神经网络进行训练,利用测试集对训练结果进行了验证和评价,并将卷积神经网络算法与传统非负最小二乘(NNLS)算法的重建结果进行了对比.结果 表明,基于深度学习和光场成像的火焰三维温度场重建算法可准确重建火焰温度场,同时具有较高的计算效率(火焰的网格划分为10×8×15,NNLS算法的重建时间为4759 s,深度学习算法的重建时间为830 μs),平均相对误差为0.14％,且对于图像噪声具有良好的鲁棒性.     

基于光场图像信息解耦超分辨率重建研究

光场（LF）信息具有高维特性,重建任务中所需要的空间信息与角度信息在宏像素图中高度耦合.为了充分利用空间角度信息,提高超分辨率（SR）重建质量,提出一个改进的基于光场空间角度解耦机制的LF图像角度SR重建网络设计.考虑到图像中的不同特征对重建质量的影响,通过不同的通道分配机制改变各特征的影响程度,提高重建准确性,在堆叠特征提取层的同时,引入注意力机制,获取更加丰富的空间角度信息.在测试场景上的实验结果表明,所提出的重建网络在合成与真实场景里都有较好的重建效果.在两个合成场景数据集上峰值信噪比/结构相似性（PSNR/SSIM）参数分别为34.62/0.964与42.68/0.972,在真实场景上的PSNR/SSIM均值为39.67/0.990.     

光场成像系统仿真分析与深度标定研究

微透镜阵列的光场相机可以根据微透镜阵列与传感器之间的距离分成非聚焦(传统型)、聚焦开普勒型和聚焦伽利略型3种光场相机,使用光学仿真软件Zemax对这3种光场相机进行模拟,对得到的白板图进行微透镜中心标定以及对原始光场图片进行渲染处理,得到系统的空间分辨率(重聚焦图片分辨率)、角度分辨率(多视角数)等信息.利用重聚焦系数...     

基于多掩膜技术的无监督深度与光流估计方法

针对自动驾驶领域现有方法在处理动态、遮挡等复杂实际场景时存在的估计不准确问题,提出了一种以多掩膜技术为基础的无监督深度与光流估计方法,通过无监督学习从单目视频序列中提取目标深度、相机运动位姿和光流信息。根据不同外点类型设计了多种特定掩膜,以有效抑制外点对光照一致性损失函数的干扰,并在位姿估计和光流估计任务中起到剔除外点的作用。引入预训练的光流估计网络,协助深度和位姿估计网络更好地利用三维场景的几何约束,从而增强联合训练性能。最后,借助训练得到的深度和位姿信息,以及计算得到的掩膜,对光流估计网络进行了优化训练。在KITTI数据集上的实验结果表明,该策略能够显著提升模型的性能,并优于其他同类型方法。     

基于MRF与纹理特征的图像深度信息估计

提出了一种基于马尔科夫随机场(MRF)模型与多尺度纹理特征的单幅图像深度信息估计方法,该方法采用了Laws滤波器分别对图像的边缘、梯度、点进行滤波,捕捉二维场景图像中不同尺度的纹理能量以获得深度信息的特征.并根据纹理特征在不同尺度范围的不同值,计算出纹理线索与场景深度间的概率关系,在此基础上,构建MRF概率模型.MRF模型通过分析邻域系统和设计迭代准则很好地描述了纹理特征与场景深度之间的关系,最后通过迭代算法获得二维场景图像的深度信息.实验结果表明,该方法对场景深度信息的提取具有较好的效果,对于二维场景图像的场景结构、空间布局的约束较少,算法鲁棒性好.     

基于增量方法的卷积语音情感识别网络

提出了一种新颖的语音情感识别结构,从声音文件中提取梅尔频率倒谱系数(Melscale frequency cepstral coefficients,MFCCs)、线性预测倒谱系数(linear predictive cepstral coefficients,LPCCs)、色度图、梅尔尺度频谱图、Tonnetz表示和频谱对比度特征,并将其作为一维卷积神经网络(convolutional neural network,CNN)的输入.构建由一维卷积层、Dropout层、批标准化层、权重池化层、全连接层和激活层组成的网络,并使用Ryerson情感说话/歌唱视听(Ryerson audio-visual database of emotional speech and song,RAVDESS)数据集、柏林语音数据集(Berlin emotional database,EMO-DB)、交互式情绪二元运动捕捉(interactive emotional dyadic motion capture,IEMOCAP)数据集这3个数据集的样本来识别情感.为提高分类精度,利用增量方法修改初始模型.为...     

基于多尺度特征提取的单目图像深度估计

在目前基于深度学习的单目图像深度估计方法中,由于网络提取特征不够充分、边缘信息丢失从而导致深度图整体精度不足。因此提出了一种基于多尺度特征提取的单目图像深度估计方法。该方法首先使用Res2Net101作为编码器,通过在单个残差块中进行通道分组,使用阶梯型卷积方式来提取更细粒度的多尺度特征,加强特征提取能力;其次使用高通滤波器提取图像中的物体边缘来保留边缘信息;最后引入结构相似性损失函数,使得网络在训练过程中更加关注图像局部区域,提高网络的特征提取能力。在NYU Depth V2室内场景深度数据集上对本文方法进行验证,实验结果表明所提方法是有效的,提升了深度图的整体精度,其均方根误差(RMSE)达到0.508,并且在阈值为1.25时的准确率达到0.875。     

基于虚拟深度的聚焦型显微光场相机深度测量标定

针对聚焦型显微光场相机在内部光学参数未知的情况下,进行了基于虚拟深度的深度测量标定。首先基于高斯光学建立光场成像模型,推导出虚拟深度与实际深度间的函数关系。然后选择单一角点的标定板,在不同深度位置进行拍摄;该角点在多个宏像素中重复成像,相邻重复像点的间距随深度位置改变而变化;利用图像匹配的方法计算相邻重复像点的距离和虚拟深度值,并与实际深度一一对应进行曲线拟合。根据拟合结果,分析了不同深度位置下,该光场成像系统的深度测量分辨率。最后,通过拍摄已知倾角的倾斜棋盘格标定板,进行深度测量并分析测量误差,在主镜头工作距离靠近镜头方向2 mm(10倍景深)范围内,测量误差小于5.35%。     

基于ASAM注意力机制的光场图像压缩方法

为了研究光场图像的空间信息和相似角度信息之间的差异性,提高光场图像的传输效率,提出了一种基于端到端网络的角度空间注意力模型（ASAM）注意力机制的光场图像压缩方法 .以卷积块注意力模型（CBAM）的注意力机制为基础,增强了相对角度特征,提高了压缩编码效率.稀疏图像采用H.266/VVC视频编解码器进行压缩,通过子孔径图像（SAI）网络恢复编码后的图像.结果表明,与现有的光场图像压缩方法相比,所提出的光场图像压缩方法具有较高的图像压缩性能,Bj?ntegaard-Delta比特率（BD-BR）降低了52.30%,Bj?ntegaard-Delta峰值信噪比（BD-PSNR）提高了3.33 dB.