融合全局和局部特征的光场图像空间超分辨率算法 |
| |
引用本文: | 井花花,晏涛,刘渊.融合全局和局部特征的光场图像空间超分辨率算法[J].南京大学学报(自然科学版),2022(2):298-308. |
| |
作者姓名: | 井花花 晏涛 刘渊 |
| |
作者单位: | 江南大学人工智能与计算机学院 |
| |
基金项目: | 国家自然科学基金(61902151); |
| |
摘 要: | 光场相机传感器有限的空间分辨率阻碍了光场图像处理相关研究的进展.提出一种融合全局和局部特征的光场图像空间超分辨率算法,提高了对光场子视点全局关系建模的能力.由于光场相机捕捉的图像亮度较低,严重影响了超分辨率图像的质量,提出一个改进的4D零参考深度曲线估计网络(4D Zero-DCE-Net),充分利用光场全部子视点信息来提高光场图像的亮度.为了解决光场图像空间分辨率低的问题,提出一个基于生成对抗网络的光场图像空间超分辨率网络模型.生成器包含三个部分:第一部分是Transformer和4D卷积以并行方式结合的网络结构,能以较浅的网络层捕捉图像的全局和局部细节信息;第二部分是一个交互融合注意力模块IFAM(Interactive Fusion Attention Module),能有效地融合上述两个分支得到的全局自注意力和局部细节信息;第三部分是一个重建模块PS-PA(Pixel Shuffle-Pixel Attention),能提高整个光场的空间分辨率.最后,利用相对判别器来指导生成器的训练.实验结果表明,提出的算法和其他算法相比,峰值信号比(PSNR)至少提升了1 dB.
|
关 键 词: | 光场图像 超分辨率 Transformer 4D卷积 |
|
|