基于LoFTR算法的图像拼接算法研究与实现

针对传统算法图像匹配准方法提取特征点不精确、鲁棒性低、低纹理下很难识别到特征点等问题。本文提出一种新的局部图像特征匹配方法，替代传统的顺序执行图像特征检测，描述和匹配的步骤。首先在原图像提取分辨率为1/8的粗略特征，然后平铺为一维向量，并为其添加位置编码，将组合结果输入到Transformers模块中的自注意力层和交叉注意力层，最后输入可微分匹配层后得到置信矩阵，为该矩阵设置阈值和相互最近标准，从而得到粗略的匹配预测。其次是在精细层次上细化良好的匹配，在建立精匹配之后，通过变换矩阵到统一的坐标下，实现图像重叠区域对齐，最后通过加权平局融合算法对图像进行融合，实现对图像的无缝拼接。本文使用Transformers中的自注意力层和交叉注意力层来获取图像的特征描述符。实验结果表明，在特征点提取方面，LoFTR算法比传统的SIFT算法，无论在低纹理区域还是纹理比较丰富的区域提取的都更精确，同时使用此方法得到的拼接效果比传统经典算法拼接的效果更好。

Image mosaic research and realization based onLoFTR algorithm