基于增强现实技术的圆明园景观数字重现

提出基于关键帧匹配的增强现实跟踪注册算法,实现圆明园大水法遗址的数字重现。并采用随机树的方法将特征点的匹配问题转化为特征模式分类问题,解决图像间的宽基线特征匹配。基于该算法构建出基于视频透视式头盔显示器的移动增强现实系统。实验验证表明,该方法具有实时、鲁棒,适用于户外跟踪注册。     

一种基于自然纹理特征的增强现实跟踪算法

给出了一种面向增强现实(augmented reality,AR)的基于自然纹理特征的实时跟踪算法,算法分为目标检测与跟踪两个过程.以真实场景中的目标物体的表面纹理图像作为模板,用基于朴素贝叶斯分类的宽基线匹配方法进行目标检测与方位参数估计;将分层L-K光流算法与鲁棒的IC算法结合,提出一种基于角点与纹理的混合跟踪算法,并用于其跟踪过程.实验结果表明,所提算法具有较好的实时性、准确性与鲁棒性,并解决了宽基线匹配算法在AR应用中出现的抖动现象.     

基于CSS角点提取的红外与可见光图像匹配算法

针对红外与可见光图像中特征点匹配的难题,提出了一种基于曲率尺度空间（curvature scale space,CSS)角点提取的特征点匹配算法。首先采用基于曲率尺度空间的角点检测算法进行特征点提取;其次利用三维二次函数剔除低对比度的特征点;然后以特征点所在曲线的法线作为主方向,避免了图像的旋转代价;再通过计算构建特征点邻域的梯度方向在［0,π)范围的分布直方图,计算其统计特征并构造一个64维的特征点描述符,并进行归一化;最后采用最近邻算法实现直线匹配。实验结果表明,该算法能够有效地实现对红外与可见光图像特征点的精确匹配。     

基于快速鲁棒性特征的景象匹配

针对光电成像制导景象匹配中图像产生较大几何形变的问题,提出了一种基于快速鲁棒性特征(speeded up robust feature, SURF)的景象匹配算法。SURF提取的图像特征具有尺度和旋转不变性,对灰度不敏感,并能快速运算。算法首先利用仿射变换对基准图像进行3D视角补偿,模拟基准图像在不同视角下的成像,以减小基准图像和实时图像间的视角差异,分别提取两图像的SURF特征,然后根据最小欧氏距离准则提取两图像间匹配的SURF特征点对,根据该特征点对估计基础矩阵,得到两图像的投影关系。仿真结果表明,该算法能够适应光电成像制导中图像的几何形变,实现稳定的景象匹配。     

基于视觉序列图像的月球车自运动估计技术

月球车视觉所获得的环境信息是月球车进行导航的重要信息来源，给出了一套利用月球车立体视觉系统所获得的序列图像来估计月球车运动参数的定位方案，并重点解决了后期的定位问题。该方案首先通过特征提取、特征跟踪与特征匹配等图像处理环节建立运动估计所需要的特征匹配点集，然后针对运动参数估计这一难点，利用鲁棒运动估计方法有效消除匹配特征点集中的误匹配，并初步估计月球车运动参数，以此为迭代初值利用Levenberg-Marquardt非线性估计算法精确估计月球车运动参数，最后通过建立运动估计仿真器验证了该运动估计方案的有效性。     

面向移动机器人大视角运动的图神经网络视觉SLAM算法

针对移动机器人在大视角运动下光照变化剧烈或遭遇纹理稀疏场景易出现特征点提取困难,极端角度下特征难以匹配导致对极几何计算误差较大问题,提出一种融合改进图神经网络的视觉SLAM算法。基于先验位置估计的特征提取网络,通过先验位置估计实现图像特征点快速均匀检测与描述,构建真实准确的特征点信息。基于图注意力机制的特征匹配网络,通过消息传递图神经网络聚合特征点信息,使用自我与联合注意力机制对前后图像帧分权重特征匹配。将特征提取与匹配图神经网络与ORB-SLAM2系统后端非线性优化、闭环修正、局部建图模块融合,提出一个完整的单目视觉GNN-SLAM系统。实验结果表明：该算法在KITTI数据集上与ORB-SLAM2算法相比,绝对轨迹误差降低37.59%,相对位姿误差降低19.67%。     

一种基于极几何和单应约束的图像匹配算法

提出一种综合应用极几何和单应约束的图像特征点匹配算法,首先使用互相关法对图像特征点集进行初始匹配,然后运用RANSAC方法鲁棒地估计基本矩阵和单应矩阵并相应地剔除错误匹配点,最后利用优化后的基本矩阵和单应矩阵引导匹配以获得更多、更精确的匹配点。大量真实图像实验表明,所提出的算法能够产生更多的匹配点并具有较高的匹配精度。     

结合图像特征和几何特征的级联图像匹配方法

提出了一种多特征级联目标匹配算法(MFCM)。在先前的研究中提出的基于几何特征的匹配方法复杂度普遍较高,需要改进。MFCM算法首先使用图像特征为每一个特征点建立潜在匹配集,然后进行两级匹配:第一级匹配采用分治思想,利用几何特征建立匹配结果集,并应用投票机制来确保匹配的稳定性;第二级匹配在模板点集和匹配结果集之间建立对应关系。新算法有效提高了几何匹配方法的效率,同时保持了较高的匹配正确率。实验结果表明,MFCM算法可以有效处理大数据量的目标匹配问题。     

基于轮廓多边形拟合的红外与可见光图像配准算法

针对红外图像和可见光图像配准问题,提出一种基于轮廓多边形拟合的图像自动配准算法。首先,为获得较好的主轮廓信息,对提取的轮廓进行多边形拟合,有效剔除轮廓上的冗余点和噪声。然后选取拟合轮廓上的多边形顶点为特征点,将轮廓划分为特征轮廓段,以特征轮廓段作为匹配单元匹配轮廓并得到匹配特征点。采用修剪的最小二乘法,在获取变换参数的同时不断剔除误匹配。实验证明,该算法可实现性强,配准精度高,配准速度快,较好地实现了刚体变换下红外图像与可见光图像的配准。     

一种低信噪比下点目标检测新算法

针对红外探测系统对远距离目标进行实时临控的应用场合,提出了一种快速点目标检测算法。该算法将原始图像序列分割成多个小段,通过递推使用速度匹配滤波,能快速得到图像序列中目标轨迹的能量,从而提高低信噪比下点目标的检测能力。与其它检测算法相比,新算法具有检测概率高、算法复杂低等特点。对算法的原理和性能进行了详细地分析,通过仿真实验证明了该算法的有效性。     

利用光流预测的增强现实系统注册方法

针对目前增强现实领域由于系统延时造成的注册误差问题，提出了采用彩色标志点的光流场估计运动参数预测图象位置，结合平面四点注册算法确定运动物体与摄像机间相对位姿的算法。并把该算法应用于以视频透射式头盔显示器为主的增强现实系统中。该系统结构简单、轻便、实用性强、易于实现。一般情况下只需四个平面标志物就可实现运动物体的三维跟踪注册；工作范围大，甚至可以应用到室外的增强现实系统中；数值求解过程是线性过程，误差小，可以满足增强现实系统高精度三维注册的要求。     

High speed robust image registration and localization using optimized algorithm and its performances evaluation

Local invariant algorithm applied in downward-looking image registration, usually computes the camera’s pose relative to visual landmarks. Generally, there are three requirements in the process of image registration when using these approaches. First, the algorithm is apt to be influenced by illumination. Second, algorithm should have less computational complexity. Third, the depth information of images needs to be estimated without other sensors. This paper investigates a famous local invariant feature named speeded up robust feature (SURF), and proposes a highspeed and robust image registration and localization algorithm based on it. With supports from feature tracking and pose estimation methods, the proposed algorithm can compute camera poses under different conditions of scale, viewpoint and rotation so as to precisely localize object’s position. At last, the study makes registration experiment by scale invariant feature transform (SIFT), SURF and the proposed algorithm, and designs a method to evaluate their performances. Furthermore, this study makes object retrieval test on remote sensing video. For there is big deformation on remote sensing frames, the registration algorithm absorbs the Kanade-Lucas-Tomasi (KLT) 3-D coplanar calibration feature tracker methods, which can localize interesting targets precisely and efficiently. The experimental results prove that the proposed method has a higher localization speed and lower localization error rate than traditional visual simultaneous localization and mapping (vSLAM) in a period of time.     

基于MSCMG的复合补偿控制提高图像配准方法

针对星上相机运动干扰影响遥感卫星图像配准精度控制难题,研究基于磁浮控制力矩陀螺(magnetically suspended control moment gyros, MSCMG)的复合补偿控制提高图像配准精度的方法。以基于MSCMG作为执行机构,采用姿态反馈补偿控制方法,避免复杂的控制系统前馈补偿及其自身干扰,姿态稳定精度达到5.8×10-5(°)/s。在此基础上,提出了MSCMG姿态补偿控制与相机运动补偿算法一体化的复合补偿控制方法。仿真结果表明:采用一体化复合补偿控制,跟踪相机步进角精度由补偿前的6 μrad提高到补偿后的0.36 μrad,提高了一个数量级以上;扫描角精度由补偿前的0.6 μrad提高到补偿后的0.45 μrad;显著提高了相机光轴指向的稳定性;研究结果可为甚高精度遥感卫星高精度图像配准设计提供参考。     

基于摄像机运动的简单虚拟场景生成

利用摄像机标定技术和视频融合技术设计了一个基于摄像机运动的简单虚拟场景生成系统。首先对摄像机进行标定，然后利用摄像机的运动参数根据摄像机成像模型计算出3-D实景中特定的位置在2-D视频图像上的映射，最后利用映射结果对虚拟景物进行透视变换，并把它实时融合到视频图像特定位置中形成新的视觉效果，实现了一种类似于虚拟演播室的简单、有效、实用的视频制作新方法。实验表明该方法实时性好、生成的虚拟场景效果逼真。     

仿射变换在增强现实中的应用

增强现实是把计算机产生的虚拟物体或其它信息合成到用户看到的真实世界中的一种技术。实现虚拟信息与真实景象的正确匹配或有机结合是每个增强现实实用系统都必须完成的一项重要任务,它的具体实现依赖于计算机硬件和软件系统的相互配合及协调。本文在对基于位置跟踪和相机定标技术的传统虚实注册技术分析的基础上,讨论了仿射变换在增强现实中应用,并提出了在全局仿射坐标系下获取像素相对深度参数的一种策略。     

刚体变换下基于轮廓的多传感器图像配准算法

提出了一种基于轮廓的多传感器图像配准算法,输入图像之间的几何变换假设为刚体变换。该配准算法的特点是根据匹配轮廓对的质心和长轴计算配准参数,克服了传统的基于特征的图像配准算法控制点检测与匹配的问题,算法鲁棒性较高。首先提取输入图像中的明显轮廓,然后对提取的轮廓进行匹配,并将其中匹配的开轮廓对转化为闭合轮廓对,然后根据所有闭合轮廓对的质心和长轴估计配准参数。实验结果表明,所提算法能精确解决输入图像之间仅存在旋转和平移情况时的图像配准问题。     

多源图像实时配准融合系统

多源图像配准融合方法的理论研究较多,已有的融合系统往往针对特定应用通用性差,并且不具备实时性,而具有并行分布式计算机体系结构的通用实时图像融合系统有望解决这一问题。该系统的核心是基于标准总线上实时操作系统,以ADSP并行完成多源图像实时配准和融合,CPLD实现总线和视频同步控制。具有运算能力强、I/O带宽大、可扩展性和通用性强的特点,并以此构成了高速实时融合系统。实用表明此方案是可行的。     

红外双色亚图像识别研究

研究了红外双色辐射特性和双色比识别特征 ,分析了红外亚成像的灰度与空域特征。研究了双色比区分伪目标 ,灰度扩展亚成像方法。研究了亚图像子块灰度直方图的迭代二值化 ,二值分割后的空域模糊分割。研究了单元扫描亚图像识别的特征参数 ,初始成像多帧配准识别实现低虚、漏警率目标检测 ,并通过锁定目标实施连续逐帧分割、识别。实验表明 ,所研究的红外双色亚成像识别方法适用于静止、慢速和快速红外目标的实时识别     

三维曲面重构与多视匹配技术的研究

自由曲面是制造技术中的关键技术,它广泛用于航空、航天、汽车制造、模具以及服装和制鞋工业等领域。本文介绍了将非接触光学测头用于三坐标测量机(CMM)实现对复杂三维曲面的在线测量。主要研究了如何对采集得到的大量散乱数据进行曲面重构处理,同时采用了一种实用的图像匹配算法实现了多视数据信息的融合。     

一种基于亮度和深度信息的实时景深渲染算法

在研究透镜成像模型与针孔成像模型的基础上,提出了一种基于亮度和深度信息的实时景深渲染算法,首次把景深渲染应用到增强现实系统。使用OpenGL和Visual Studio2008实现整个算法。通过建立三维空间坐标系,实时追踪和获取真实场景深度信息,把生成虚拟物体融入到真实场景中。随后,依据亮度信息对虚实融合场景进行模糊处理。最后进行图像融合,把模拟的景深效果输出到屏幕。实验结果表明,新算法更接近于真实摄像机拍摄的景深效果图,适用于增强现实系统。