基于多尺度特征混合注意力的连续帧深度估计

目的 估计获取拍摄物体到相机之间距离的深度信息是单目视觉 SLAM 中获取深度信息的方法,针对无监督 单目深度估计算法出现精度不足以及误差较大的问题,提出基于多尺度特征融合的混合注意力机制的连续帧深度 估计网络。 方法 通过深度估计和位姿估计的两种编码器解码器结构分别得到深度信息和 6 自由度的位姿信息,深 度信息和位姿信息进行图像重建与原图损失计算输出深度信息,深度估计解码器编码器结构构成 U 型网络,位姿 估计网络和深度估计网络使用同一个编码器,通过位姿估计解码器输出位姿信息;在编码器中使用混合注意力机 制 CBAM 网络结合 ResNet 网络提取四个不同尺度的特征图,为了提升估计的深度信息轮廓细节在提取的每个不 同尺度的特征中再进行分配可学习权重系数提取局部和全局特征再和原始特征进行融合。 结果 在 KITTI 数据集 上进行训练同时进行误差以及精度评估,最后还进行了测试,与经典的 monodepth2 单目方法相比误差评估指标相 对误差、均方根误差和对数均方根误差分别降低 0. 034、0. 129 和 0. 002,自制测试图片证明了网络的泛化性。 结论 使用混合注意力机制结合的 ResNet 网络提取多尺度特征,同时在提取的特征上进行多尺度特征融合提升了深度 估计效果,改善了轮廓细节。     

基于改进ICP算法和CAD模型库的单目视觉位姿测量

针对单目视觉条件下测量三维物体的位姿问题,提出一种基于改进迭代最近点(iterative closest point, ICP)算法和CAD(computer aided design)模型库的单目相机位姿测量方法.首先,利用OpenGL绘制物体几何模型,基于一系列虚拟观察点得到物体在虚拟相机下的投影图,提取边缘点集构成模板库;然后,通过改进的Hausdorff距离将待处理图像的边缘点集与模板库的点集模型进行匹配,得到粗略位姿,再在此基础上采用改进的ICP算法对待测图像的边缘点集与物体三维边缘点集进行迭代优化得到精确的位姿参数.实验结果表明,该方法求得的位姿参数误差较小,进而验证了所提方法的有效性.     

基于深度学习的平面位姿估计算法

为了在未知物体三维模型的情况下使用深度学习进行平面位姿估计，采用编码器-解码器网络，从单个RGB图像中检测平面实例分割及法线信息，并利用这些信息进行位姿解算，获得每个平面的实时位姿。实验结果显示,平面召回率为0.625，平面法线召回率为0.414，实时性为18.5 f/s，验证了算法的可行性。     

基于边缘梯度的散焦图像深度恢复

在散焦图像中,点的模糊程度随物体的深度而变化,因此可以利用散焦图像中点的散焦程度来估计物体的深度信息。本文提出了一种基于散焦图像中物体的边缘梯度关系来恢复图像深度图的新算法,用一个已知参数的高斯函数对图像进行再模糊,然后求出模糊后的物体边缘梯度,再与原图像中物体边缘梯度相比,再将该比值与图像的深度关联,求出图像中物体边缘处的深度,再利用后续深度插值方法和深度图优化恢复出整幅图的深度信息。这种算法仅需要一幅图像即可进行深度信息恢复,有较好的有效性。     

强化边缘的单目图像深度估计

为解决目前单目图像深度估计过程中物体边界处深度跳变不明显导致的遮挡难以判别、边界处深度估计准确度较低的问题,提出了一种强化边缘的单目图像深度估计方法．采用深度估计网络输出最初预测的深度图,同时采用深度补偿网络输出应补偿深度的预测值,通过融合两组网络的输出实现对最初预测的深度图中物体边界轮廓处深度值的补偿．此外,通过设计点约束损失函数,并引入多尺度特征融合损失函数进一步提升边界处的深度估计精度．在NYU Depth v2数据集和iBims数据集上的测试实验表明本文方法能有效提升深度图中物体轮廓的清晰度,使得物体遮挡判别更加容易,可进一步提升单目图像深度估计的效果．     

基于NSCT的低能见度图像边缘检测算法

针对PM2.5雾霾图像能见度低、边缘检测困难的问题,提出了一种采用非下采样轮廓波变换（NSCT）的边缘检测方法。首先对PM2.5雾霾图像进行NSCT分解,然后寻找由同一粗尺度系数分解而来的两个细尺度相邻子带系数,对其求差值,再通过差值图的模极大点来确定边缘点,最后通过NSCT域尺度内和尺度间的融合得到完整边缘图像。实验表明,对雾霾图像,该边缘检测方法所获取的边缘完整、定位准确并且噪声点少。     

基于角点特征的几何形状中心定位

图像特征点中心定位是位姿测量中求解位姿的关键．针对同一图像有多个几何形状的问题,首先利用开源计算机视觉库OpenCV对原图像进行区域分割,得到目标区域的边缘,其次将每个区域进行像素填充;然后用Harris算法进行角点检测;最后根据角点坐标再计算中心点,并将文中算法就一幅图像中有单个几何形状的情况与原始Harris和改进的Harris算法从准确率和效率上进行了比较．实验证明,这种中心定位算法不但提高了准确率和效率,而且误差可以减小到1个像素以内．     

基于小波系数多尺度随机过程模型的去噪方法

用多尺度随机过程对小波图像系数进行建模,并在此基础上提出了基于多尺度随机过程模型的小波图像去噪方法。通过阈值判断和邻域判断相结合的方法区分出对应边缘处的系数。对边缘区小波系数树估计多尺度随机过程的参数,利用多尺度滤波器对小波系数进行估计,对非边缘区的小波系数则采用阈值萎缩方法进行估计。该方法很好地刻画了边缘区小波系数跨尺度的行为,可以很好地保持图像边缘;而且还给出了估计误差的方差,利于理论分析。实验表明:该方法的去噪误差要优于Sureshrink法,而且对图像边缘的保护更利于后续的图像分割和轮廓跟踪。     

基于双显微视觉的光刻版位姿定位算法

光刻版工件移动位姿的精确定位及调整是完成其视觉对位的关键。本文针对光刻版工件跨尺度级高精度对位的难点,搭建了双显微视觉对位系统,通过双显微视觉的局部位姿检测,解决了工件尺寸与定位精度之间的矛盾。具体方法为：首先采用双显微视觉获取工件两端局部图像;接着提出改进Canny算法并基于多项式插值的边缘细分完成亚像素级边缘轮廓提取;然后基于RANSAC算法拟合边缘轮廓,获得左右相机图像中“Mark”标志中心点位置坐标及偏转角度;最后通过推导局部位姿间数学关系完成光刻版工件的精确位姿定位。实验结果表明：所设计的视觉算法对于0.5 mm平行线的距离检测精度达1.93 μm、角度提取精度达0.018°;对于光刻版的移动位姿的定位精度达0.64 μm,能满足视觉对位过程中高速高精度的定位需求。     

基于小波分析及活动轮廓模型的图像分割方法

利用小波分析方法在不同尺度下提取图像中目标的不同边界细节的特性,将小波模极大值方法应用于目标边缘检测.首先,通过小波变换计算各个尺度下的模值和相角值,求出各个尺度下沿相角方向模的局部极大值点,即为图像边缘轮廓;然后,用基于边缘的活动轮廓模型的水平集方法对目标的边缘进行定位分割.实验表明,改进算法对噪声有很好的鲁棒性.     

基于人眼特征信息的驾驶人眼视线估计

提出了一种新的基于人眼特征信息的驾驶人眼视线估计的算法,且研究使用普通的摄像头。采用Harris角点检测算法对驾驶人上、下眼睑外轮廓进行角点检测,拟合人眼轮廓曲线;再对人眼区域图像进行色彩空间转换提取灰阶值分量,图像亚像素下进行Hough边缘检测,设定相应的虹膜边缘曲率阈值,准确识别人眼虹膜边缘信息。算法结合虹膜和人眼轮廓信息对驾驶人眼视线进行估计。将提出的算法应用到实车试验中,采用facelab5眼动仪对驾驶人视线估计角度结果进行验证。试验结果表明,所采用的人眼视线角度估计算法在实际的驾驶环境中准确率较高。     

基于边缘扩散信息拟合的测地线活动轮廓模型

针对测地线活动轮廓模型对轮廓初始化敏感的问题,提出一个基于边缘扩散信息拟合的测地线活动轮廓模型.首先定义了一个与图像边缘法线方向的二阶导数相关的扩散方程,通过求解这个扩散方程获得边缘扩散信息,利用这种边缘扩散信息构建了一个新的力场;然后由该力场驱动活动轮廓演化,使活动轮廓可以从边缘的两侧向真实目标边缘逼近,最终收敛到期望的边缘.本文模型采用一种快速有效的数值方法实现,水平集函数在整个演化过程中无需重新初始化,活动轮廓演化速度得到显著提高.一系列的人工和真实图像的实验结果表明,本文模型不仅对于初始轮廓的位置选择不敏感,并且可以分割弱边界目标、具有复杂几何结构的目标和带有孔洞结构的目标,综合性能优于一些传统算法.     

基于改进Faster R-CNN的手部位姿估计方法

基于视觉的手部位姿估计技术应用于诸多领域,具备着广泛的国际应用市场前景和巨大发展潜力。然而,手部自身存在检测目标过小、手指高自由度以及手部自遮挡等问题。通过对目前存在的难点分析,将手部位姿估计任务分为手部检测和手部关键点检测,提出基于改进的Faster R-CNN的手部位姿估计方法。首先提出基于改进的Faster R-CNN手部检测网络,将传统Faster R-CNN网络中的对ROI(regional of interest)的最大值池化,更改为ROI Align,并增加损失函数用于区分左右手。在此基础上增加了头网络分支用以训练输出MANO(hand model with articulated and non-rigid deformations)手部模型的姿态参数和形状参数,得到手部关键点三维坐标,最终得到手部的三维位姿估计结果。实验表明,手部检测结果中存在的自遮挡和尺度问题得到了解决,并且检测结果的准确性有所提高,本文手部检测算法准确率为85%,比传统Faster R-CNN算法提升13%。手部关键点提取算法在MSRA、ICVL、NYU三个数据集分别取得关键点坐标的均方误差值(k...     

采用标记点的弹性连接体三维建模与运动估计

为了采用非常少的参数就能反映人肢体皮肤的变形,提出了一种新的旋转圆锥曲面进行弹性连接体（人体）三维建模,模型包括了人体三维骨架和代表人肢体皮肤的变形曲面方程, 每个肢体只需调整一个变形参数就能反映出人肢体皮肤的变形.根据双目图像序列的标记点估计人体三维变形和运动参数, 包括了骨架的运动参数估计和变形曲面的变形参数确定.实验结果表明：模型能正确地反映人肢体皮肤的变形,运动估计算法能精确地估计人体运动参数.     

结合二阶注意力机制的多尺度人体姿态估计

为解决人体姿态估计任务中存在的不同视角下人体实例尺度变化、遮挡问题导致的人体关键点定位不准确问题,提出融入二阶注意力机制的多尺度人体姿态估计网络模型GOS-HRNet。首先,在特征提取阶段为了获得高质量的特征图,通过在多分辨率网络结构中使用Octave卷积,保留更多的图像空间特征信息以提高关键点定位准确率;然后,为有效的利用图像上下文信息,融入二阶注意力模块使网络能更好地学习各分辨率表征的空间信息;最后,为了应对尺度变换对关键点定位的影响采用尺度增强训练方法,提高模型对尺度变化的鲁棒性。所提模型在MS COCO 2017数据集上进行实验,结果表明：所提出的GOS-HRNet模型平均检测精度比HRNet模型提升了2.2%,能够更加准确地利用上下文信息、丰富空间特征信息以提高对关键点定位的准确性。     

一种基于轮廓特征的运动目标识别方法

针对视频图像中形状匹配的局限性,即当待检测物体出现平移、旋转变化时识别目标需要很长的计算时间,提出了一种基于轮廓特征的运动目标识别方法.首先获取能自动更新的背景图像,采用背景减法提取运动目标的轮廓,然后运用其轮廓的边界不变矩特征和形态学特征,构建一个轮廓特征向量的模型,再分析比较待测运动目标轮廓特征向量与每类标准样本之间的欧氏距离,实现对运动目标的识别分类. 试验结果表明,该方法具有识别精度高、计算量小、实时性好的特点.     

2-D shape completion with shape priors

We propose new techniques for 2-D shape/contour completion, which is one of the important research topics related to shape analysis and computer vision, e.g. the detection of incomplete objects due to occlusion and noises. The purpose of shape completion is to find the optimal curve segments that fill the missing contour parts, so as to acquire the best estimation of the original complete object shapes. Unlike the previous work using local smoothness or minimum curvature priors, we solve the problem under a Bayesian formulation taking advantage of global shape prior knowledge. With the priors, our methods are expert in recovering significant shape structures and dealing with large occlusion cases. There are two different priors adopted in this paper: (i) A generic prior model that prefers minimal global shape transformation (including non-rigid deformation and affine transformation with respect to a reference object shape) of the recovered complete shape; and (ii) a class-specific shape prior model learned from training examples of an object category, which prefers the reconstructed shape to follow the learned shape variation models of the category. Efficient contour completion algorithms are suggested corresponding to the two types of priors. Our experimental results demonstrate the advantage of the proposed shape completion approaches compared to the existing techniques, especially for objects with complex structure under severe occlusion.     

改进主动形状模型的遥感图像飞机目标识别方法

提出一种基于梯度方向直方图（H OG ）的飞机目标方向估计方法,通过改进主动形状模型（ASM）对不同类型目标之间的形变进行建模,利用核密度估计方法（KDE）得到目标的全局统计形状约束以实现目标识别,并设计了一种针对飞机目标的半自动图像特征点标定策略,提高了对训练样本特征点的标定效率。对遥感图像中飞机目标的识别实验表明,与现有方法相比,研究提出的方法对飞机目标具有更好的识别性能。     

Shape recovery using high dynamic range images

An effective method for object shape recovery using HDRIs (high dynamic range images) is proposed. The radiance values of each point on the reference sphere and target object are firstly calculated, thus the set of candidate normals of each target point are found by comparing its radiance to that of each reference sphere point. In single-image shape recovery, a smoothness operation is applied to the target normals to obtain a stable and reasonable result; while in photometric stereo, radiance vectors of reference and target objects formed due to illuminations under different light source directions are directly compared to get the most suitable target normals. Finally, the height values can be recovered from the resulting normal field. Because diffuse and specular reflection are handled in an unified framework with radiance, our approach eliminates the limitation presented in most recovery strategies, i.e., only Lambertian model can be used. The experiment results from the real and synthesized images show the performance of our approach.