基于深度学习的障碍物检测与深度估计

提出了一种针对交通场景的基于深度学习的障碍物检测与深度估计方法。该方法对现有的YOLOv3模型进行改进,使用DenseNet网络代替原网络尺度较小的传输层,得到一种新的障碍物检测模型Dense-YOLO。然后采用立体匹配模型PSMNet得到双目图像的视差图,根据双目测距原理对被测目标深度进行估计。在KITTI数据集和实际交通场景中的实验结果表明,与YOLOv3模型相比,Dense-YOLO模型有效地提高了交通场景中障碍物检测的可靠性和正确率,对轿车、行人、骑行者和卡车这4类障碍物检测的平均精确率（average precision, AP）提高了3%～5%,平均精确率均值（mean average precision, mAP）提高了约4%。障碍物深度估计结果与真实值的平均相对误差约为3%。     

立体视觉神经网络定位方法

为了解决计算机视觉中摄摄像机标定存在的若干问题,根据立体视觉原理,提出了基于神经网络的测避方法,利用神经网络建立空间点世界坐标与图像坐标非线性映射关系,使系统不经过复杂的摄摄像机内外参数标定,就能将二维像坐标（输入）与三维物坐标（输出）一一对应起来,并与传统的定位方法进行了比较．实验表明,该方法有效可行,简化了视觉系统的标定和定位计算,较之传统方法更具科学性,在定位精度上达到了良好效果。     

基于结构光和序列图像的三维重建方法

为解决在基于图像三维重建物体表面的过程中,对不同图像进行立体匹配的难题,提出了基于特征的立体匹配算法,建立了利用序列图像重建物体表面的系统。系统采用投影结构光给物体表面加上主动特征的方法,以快速精确地重建物体表面,并对Canny算法进行了改进,用于轮廓提取、细化和修正等操作,从而准确获取图像主动线索特征。该方法能快速获取物体表面的三维点云数据,并达到了较高的精度。     

双目立体视觉系统摄像机标定

对摄像机参数标定是三维定位的关键．制作了平面式标定板,将标定板中圆的当量中心作为标定用参考点,这样可以有效避免测量误差．采用线性和非线性结合的方法标定摄像机参数,首先利用直接线性转换模型（DLT）得到投影矩阵,通过约束条件分解参数矩阵,分别求出摄像机内部参数;然后将得到的标定参数作为初值,代入非线性方程进行优化,得到精确的标定参数．非线性优化采用Levenberg—Marquardt迭代法．试验表明,标定参数与出厂参数有一定差异,但和实际情况完全吻合．     

基于小波变换和立体视觉的发动机内窥研究

提出一种基于小波变换及立体视觉技术相结合的发动机内窥检测系统。系统由平行光轴双CCD内窥镜及内窥图像处理系统两部分组成,内窥图像处理子系统接收平行光轴双CCD内窥镜采集到的航空发动机内表面图像,对可能存在的损伤缺陷进行识别,并计算出损伤长度、面积、深度等数据。内窥图像处理子系统中,针对发动机内窥图像特点,采用Gauss小波变换方法对图像进行特征提取、立体匹配：利用双目立体视觉技术,三维重建出损伤区域的原貌。本检测系统可以弥补传统检测系统的缺陷,提高检测精度,缩短检测时间,从而保障航空发动机的安全运行。实验结果表明,系统准确有效。     

基于非线性修正的多线阵像机的空间定位

介绍了一种基于多线阵像机构成的视觉空间定位系统.该系统利用线阵像机的快速性与高分辨率的特点,采用了非平行空间投影面相交定位的基本原理,利用几何投影关系定位求解的方法,实现了多线阵像机视觉系统的空间定位.并提出了多线阵像机的神经网络非线性修正方法,使修正后的PSD能在较宽的位置范围内输出高线性度的信号.实验结果表明,基于非线性修正的多线阵像机位姿测量系统简化了立体视觉空间定位计算的复杂性,在定位精度、定位范围和采样速度上均达到了良好效果.     

人脸三维模型与识别

人脸三维模型与识别技术 ,是将贝叶斯统计识别理论应用于立体人脸识别 ,给出了基于DSP的立体人脸识别系统设计方案     

仿人多自由度立体双目视觉导航系统的研究与开发

基于人类视觉系统原理，设计了仿人多自由度的立体双目视觉导航系统．首先给出了立体双目视觉导航系统的设计原理，然后详细讨论了仿人多自由度立体双目视觉装置的设计．该装置可同时实现水平旋转、俯仰、左右摄像机聚散度调整4个自由度伺服控制，并可实时在线调整摄像机参数．针对自由度控制电机及其驱动控制、摄像机同步控制、摄像机参数控制、基线长度选择等进行了优化设计．系统在Pioneer-2DXE移动机器人的实际应用验证了本设计方案的可行性和有效性．     

基于OpenCV的双目立体视觉监控跟踪系统

现阶段的监控设备无法自主获取目标区域的距离信息,而且在一定范围之外,由于图像模糊程度加深而无法对特定个体进行识别确认。针对以上存在的问题,设计并开发了基于计算机视觉库OpenCV(IntelOpen Source Computer Vision Library)的双目立体视觉监控跟踪系统。利用OpenCV强大的计算机视觉和图像处理能力,结合自行研究的双目立体视觉测距改进法和轮廓搜索法,能实现对监控区域内的物体进行距离测量和轮廓识别。通过实验结果表明,基于OpenCV的双目立体视觉监控跟踪系统运行可靠稳定,在一定范围内达到了实验要求。     

基于双目视觉传感的计算机辅助骨外科手术导航模型

针对骨外科手术导航中对手术器械位置和姿态的定位与跟踪需要。研究了基于面阵CCD（Charge Couple Device）双目视觉传感的被动式光学立体定位跟踪模型与系统．试验结果表明,空间目标深度方向的位置变动范围在700～1000mm时,其Z坐标方向由所研制的系统立体定位得到的坐标值与真实值的误差仅为0．65mm;在执行机构运动速度为100mm／s的情况下,跟踪到的空间目标运动路径与其真实值的最大偏差只有0．3mm．说明所研制的系统能满足骨外科手术导航中对手术器械定位与跟踪的精度要求．