基于RGB-D的室内场景实时三维重建算法

针对基于视觉的室内场景三维重建过程中存在三维点云匹配不准确、过程耗时和深度信息部分缺失的问题,提出一种带有深度约束和局部近邻约束的基于RGB-D的室内场景实时三维重建算法.该算法首先利用RGB-D相机采集到的RGB图像做哈里斯角点检测,再用SURF特征点描述方法对检测到的特征点生成64维特征描述子.接着利用特征点集合的深度信息和局部近邻特征点信息作为约束,初步筛选出相邻帧间正确的匹配点对,再结合随机抽样一致性(RANSAC)算法去除外点,以此得到相机的姿态估计.最后利用RGB-D的深度图像,在图优化方法(g2o)的基础上生成三维点云,实现室内场景的三维重建.实验中,RGB-D摄像头装载在自主移动导航的小车上,实时重构的三维场景验证了所提算法的可行性和准确性.     

基于相对坐标ICP的室内场景三维重建算法

针对不同视角下多帧点云数据的坐标中心不统一的问题,提出了一种基于相对坐标ICP(iterative closest point)的室内场景三维重建算法.该方法首先基于Kinect传感器获取场景的彩色图像和深度图像,并利用SIFT(scale-invariant feature transform)特征匹配点对计算相邻帧的坐标变换矩阵;然后由ICP算法建立以初始点云数据为中心的相对坐标关系进行帧间匹配;最终基于上下层配准点云数据,将配准后的点云数据与对应的颜色纹理信息融合,得到可视化的室内场景三维重建模型.实验结果表明,本文方法对于室内场景三维重建有较好的效果,具有一定的理论和实际应用价值.     

基于多视角图像的作物果实三维表型重建

针对基于激光扫描设备获取点云存在操作复杂、成本高、难以被普及等问题,本文研究了基于普通图像的复杂背景中作物果实三维表型重建.我们建立了集SFM算法、PMVS算法以及半自动化去噪方法的优势为一体的三维重建架构.以一组多视角目标作物果实二维图片为输入源,首先基于SIFT算子的比例和旋转不变性参数,提取多幅二维图像特征信息.其次,结合FLANN算法实现不同角度的数据匹配,并提出了基于二维图像关键点和相机参数等信息的稀疏点云快速生成方法.然后,基于PMVS初始特征匹配的种子面片提取、扩散获取密集面片,进一步利用可见性约束过滤不正确匹配导致的错误面片,以实现复杂果实点云模型生成.最后,我们提出了交互式选择和滤波器相结合的、半自动化的果实表型离群点去除方法,解决了作物果实模型的准确重建问题.结果表明,本文的方法能有效解决复杂实验环境中果实表型数据的低成本、准确、方便快捷获取问题.     

施工场地无人机精细化三维模型构建及土方测量

利用无人机倾斜摄影测量技术,获取工程施工场地多视图影像序列,利用基于运动恢复结构算法（Structure from Motion, SfM）和多视图立体匹配算法（Multi View Stereo, MVS）的多视影像密集匹配形成超高密度点云,采用布料模拟滤波（Cloth Simulation Filter, CSF）算法剔除植被及废弃建筑物点云,获取真实地面点云,基于基底设计模型计算出两期点云之间土方量,实现复杂土方工程智能化测量. 采用上述无人机方法,对长沙岳麓山脚两块建设用地进行土方快速测量及精度评估,得到5.384 6亿点/公顷的点云密度,土方计算结果相对于RTK-GNSS测量结果误差为2.8%,满足土方测量误差小于5%的要求,具有较好的应用前景及工程实用价值.     

基于车载激光扫描数据的城市地物三维重建研究

车载激光扫描系统可以精确、快速获取城市建筑物、道路交通设施、隧道等地物的表面信息,非常适用于城市物体三维空间信息的快速精确获取和在此基础上的三维重建.然而点云不是GIS数据,也不是三维模型,要将大量离散的点处理为可使用的三维模型还需要一系列复杂的过程,现阶段针对车载激光点云三维重建的方法还主要依赖于人工交互或半自动化处理,而且没有针对整个城市地物的三维重建方法.针对这一问题,本文仅提供一种基于地物分类的车载激光点云三维重建的方法,数据基础是已分类的彩色点云,重点是充分利用各类地物的特性,对不同地物使用不同的三维建模策略,以首都师范大学自主研制的车载激光扫描系统获取的三亚市点云数据为实验对象,验证了本文提出方法的可行性与实用性.     

一种深度学习网络的树木点云骨架重建方法

基于激光雷达(Light Detection And Ranging, LiDAR)数据重建树体三维模型并精准获取林木空间枝干结构参数是精准林业发展的必然趋势。本研究面向激光点云提出了一种融合基于晶格投影的深度学习网络,以及面向提取的枝干点云的树木模型骨架重建的方法。该深度学习网络包括旋转不变性模块、晶格投影与重心插值模块,多尺度变换与卷积操作层,通过将旋转变换后的点云晶格投影到三个坐标平面上再分别重心插值获得变换系数,解决了三维点云因排列无序而造成空间卷积困难的问题。以海南多类树木为研究对象,首先,把带枝叶标签的林木点云基团带入构造的深度学习网络中训练网络参数,实现测试样本中的林木数据的枝叶分离。其次,对分类后的树木枝干点云垂直分层并空间聚类,获取每层的聚类中心点并按相邻层中心点距离最小原则实现骨架链表构造,同时采用自适应随机抽样一致（random sample consensus,RANSAC ）方法来计算的圆柱体拟合半径,以重建树木的各级枝干。最后,根据中心点连通的链表结构以及角度变化最小准则自动识别树木中的主枝干和各个一级分枝。通过与实测数据比对验证表明,深度学习枝叶分类准确率为91.31%,高于传统的机器学习分类方法7%左右。算法得到的橡胶树一级枝干直径与实测值比对为：决定系数（coefficient of determination, R2）=0.92, 均方根误差（root mean square error, RMSE）=0.64cm, 相对均方根误差（relative root mean square error, rRMSE）=6.39% ;相应的一级枝干与主枝干的分枝角与实测值比对为：R2=0.91, RMSE=3.32°, rRMSE=7.81%。本研究设计了深度学习网络与计算机图形学的算法快速精准从地基点云中重建树木的骨架模型,精度吻合实际测量值,具有一定推广价值。     

基于深度学习图像描述子的三维彩色点云配准

不断发展的激光扫描技术使得获取三维空间中的彩色点云信息更加方便.但是,如何将多个采集点生成的彩色点云数据统一在同一个坐标系下,构建一个完整的数据模型仍是一个挑战.因此,提出了一种基于深度学习的图像描述子,将其应用于三维彩色点云配准中,能够以较高精度获取点云配准的初始位姿.首先,根据点云和图像之间的一一对应关系,将三维彩色点云投影为图像;其次,使用卷积神经网络提取关键点邻域的局部特征,结合方向梯度直方图,形成组合描述子;再次,根据计算出的组合描述子计算点云的匹配点对,得出点云间的转换关系,实现点云粗配准.以实际的三维彩色点云数据与多种配准算法进行对比,验证了所提方法的有效性.     

结合位置关系卷积与深度残差网络的三维点云识别与分割

针对现有点云识别与分割算法因忽视点的位置特征和局部几何特征关系而导致难以捕获具有鉴别力的局部几何信息的问题,提出基于位置关系深度残差神经网络的三维点云识别与分割算法。将原始点云嵌入到高维空间并获取其高维特征;将点云的高维特征输入位置关系卷积实现局部邻域内当前点特征与位置几何特征的信息交流,并通过深度残差模块强化提取到的深层语义特征,分层重复以上步骤可逐步得到点云的高级上下文语义特征;通过全连接层与解码器,得到点云的识别与分割结果。实验结果表明,所提算法在ModelNet40点云分类数据集的识别精度达到了93.9%,在ShapeNet Part点云部件语义分割数据集的平均交并比达到了86.0%。所提算法能够提取三维点云的关键特征信息,具有较好的三维点云识别与分割能力。     

ORBTSDF-SCNet：一种动态场景在线三维重建方法

传统的三维重建技术在面对移动物体干扰时难以有效完成场景重建任务。针对该问题，本文提出一种基于SLAM(Simultaneous Localization and Mapping）、TSDF(Truncated Signed Distance Function）和SCNet(Sample Consistency Networks）实例分割网络的三维重建方法ORBTSDF-SCNet。该方法采用深度相机或双目相机获取重建物体及场景的深度图与RGB图，且基于ORB＿SLAM2实时获取位姿信息；采用基于结构化点云数据的表面重建算法TSDF与深度图相结合，实现在线三维模型重建；为了消除场景中移动物体对场景三维重建的干扰，提出采用SCNet实例分割网络检测和分割移动物体，并结合优化策略减小检测和实例分割误差以及深度图和RGB图对准误差。通过抠除移动物体，保证了重建场景的完整性。在ICL-NUIM、TUM数据集上的实验表明了本文所提方法的有效性。     

面向三维人体重建的前、后片配准算法

针对传统三维图像配准算法需要获取目标物体多个模型数据的不便,以及三维重建过程耗时较长的不足,提出了一种基于三维人体表面前、后片模型的配准算法.该算法首先使用Kinect三维扫描设备获取的人体表面前、后片模型点云数据,作为配准过程的参考点集和目标点集;然后,选取前、后片模型的边缘轮廓信息作为配准特征点,通过迭代优化过程,使得前、后片能够较好地配准;最后,通过空间曲线插值方法填充模型边缘缝隙,得到完整的三维人体模型.试验结果表明,该算法只需要获取目标物体的前、后片三维数据,模型采集及配准效率高,配准精度好,即使针对初始位置相差较大的两个模型片也能得到准确的配准效果.     

基于深度学习的三维模型重构研究

由单个图像建立其三维模型是计算机视觉领域的一个热门且具有挑战性的问题.现有的传统单视图三维重构算法在处理低分辨率图像时效果不好,在训练中由于三维图形的高维性,使网络也变得高度不稳定,导致模型重构效果差.针对传统三维重构算法存在的缺点,提出一种基于深度学习网络的改进模型,在模型中加入超分辨率、投影、对抗生成网络(generative adversarial network,GAN)等模块,采用模块化设计强制生成的三维形状与深度图像对齐,使得映射更加规则.在损失函数上运用Wasserstein GAN思想,引入惩罚项,使网络训练难度降低,减小网络模型对训练数据集的依赖,克服了传统算法存在的问题.实验证明,提出的模型较传统方法重构的三维模型更加逼真,符合客观事实.     

面向各向异性3D-MRI图像超分辨率 重建的ESRGAN网络

高分辨率磁共振图像(MRI, magnetic resonance images)能够提高疾病诊断精度,但高分辨率MRI图像的获取十分困难。基于深度学习的图像超分辨率(SR, super resolution)技术可有效地提高图像分辨率。近年来,生成对抗网络(GANs, generative adversarial networks)为3D-MRI图像SR重建提供了新思路。相较于传统的基于深度卷积神经网络(DCNN, deep convolutional neural network)的SR算法,GANs网络以人类视觉机制为目标,且引入判别函数,使重建3D-MRI图像更接近真实图像。研究采用增强超分辨率生成对抗网络(ESRGAN, enhanced super-resolution generative adversarial networks)对3D-MRI图像进行SR重建;并利用3D-MRI图像的跨层面自相似性,将重建任务降维到2D,在保证重建效果的基础上,减少了网络训练时间和内存需求。通过与其他传统算法和基于DCNN算法对比实验表明,提出的算法能够进一步提高3D-MRI图像的视觉...     

一种基于特征表达的无人机影像匹配像对提取方法

针对无人机(unmanned aerial vehicle, UAV)影像三维重建中匹配像对提取适应性差、效率低、需准确的先验知识等问题,提出一种基于特征表达的无人机影像匹配像对提取方法。首先利用SiftGPU算法对一组无人机影像进行尺度不变特征转换(scale-invariant feature transform, SIFT)特征提取。其次,对SIFT特征向量集合构建分层词汇树,并分别计算各个影像与影像集中各影像的综合权重因子并按得分大小进行排序。最后,自适应计算影像检索阈值,得到最终的影像匹配像对。通过对不同地形地貌的无人机影像进行试验。实验结果表明:所提方法能快速、有效获取查询影像的匹配像对。与常规词汇树检索方法相比,查准率提高了19%～24%,查全率提高了17.4%～30.9%。尤其针对海量的无人机影像数据,所提方法具有更高的处理效率。     

多视图几何轻量级三维重建算法

针对现有深度学习三维重建网络内存消耗严重、效率低下的问题，提出了高效的多视图几何三维重建网络(high efficiency multi-view stereo network,H-MVSNet)模型，将原始图片序列和预测的粗略深度图融合，进一步提高最终深度图的质量;构建轻量级的特征提取模块和正则化模块，减少提取冗余度;采用由粗到精的策略，建立高效的深度图细化模块，减少计算量。实验表明，H-MVSNet模型在DTU数据集中的精度误差可达0.327mm，计算一张分辨率为640×480的深度图仅需0.44s，内存消耗可低至2.46GB，显著提高了三维重建的精度和准确度。     

基于光线投射技术的医学图像三维重建

针对医学图像数据的特点以及应用中的实际要求,通过对不同重建算法的比较,提出了以光线投射技术为基础的医学图像三维重建方案,同时提出了基于空间跳跃技术和序列相关性的综合加速算法,对重建算法进行加速·最后在PC机平台上实现了该方案,获得了接近实时的交互速度·由于所有重建算法的核心都是光线投射技术,因此在获得高质量重建结果的同时,极大地降低了系统的复杂性,提高了开发的效率,为医学图像三维重建的实用化提供了一种非常好的解决方案·     

基于深度网络分级特征图的图像超分辨率重建

从低分辨率图像中提取特征图恢复高分辨率图像中的高频信息是超分辨率重建的一个关键问题,针对该问题提出一个新的基于卷积神经网络的超分辨率重建算法.网络结构由卷积层与子像素卷积组成,特征提取网络中卷积层提取低分辨率图像的特征,重建网络中子像素卷积神经网络作为上采样算子.针对不能充分利用多级特征图的问题,采用跳跃连接和特征图联结在特征提取网络末端跨通道融合特征图,同时降低特征图的维度.并在此基础上再次提取特征图应用于重建.实验结果表明,算法在PSNR、SSIM和人类视觉效果上与其他基于深度学习的算法相比有着显著的提高.     

基于混合神经网络的脑部MRI图像语义分割算法

针对传统医学图像对缺乏标注的数据进行自动分割时存在分割精度不高、边缘模糊等问题,提出了一种利用混合神经网络对脑部核磁共振成像(magnetic resonance imaging,MRI)的图像进行语义分割的算法。利用仿射网络对脑部MRI图像进行线性几何变换,基于卷积神经网络进行3D医学图像仿射变换,加入稠密模块减轻梯度消失和加强特征传递问题; 通过空间转换网络对脑部MRI进行空间转换,基于图谱的分割法获得脑部图像的分割结果。采用MICCAI的公共数据集BraTs2019进行实验验证,结果表明,算法可由脑部肿瘤MRI图像获得较好的分割精度和分割效率,为脑部MRI图像语义分割的研究提供一种新的实验方案。     

基于U-Net和Res_UNet模型的 传送带矿石图像分割方法

针对传送带矿石图像中矿石粘连和边缘模糊造成的分割不准确问题,提出了一种基于U-Net和Res_UNet模型的传送带矿石图像分割方法.该方法首先将待分割图像经过灰度化、中值滤波和自适应直方图均衡化处理后,利用预训练的U-Net模型提取图像轮廓;然后,将图像轮廓二值化后,利用预训练的Res_UNet模型进行轮廓优化;最后,利用OpenCV得到分割结果.与基于形态学重建的分水岭算法和NUR法分别对10张测试图进行实验比较,结果表明,所提出的利用深度学习实现矿石轮廓检测和优化方法分割的结果更加准确,证明了其对传送带矿石图像分割的有效性.     

基于流形学习和梯度约束的图像超分辨率重建

将改进的基于流形学习的超分辨率重建与基于梯度约束的正则化重建结合起来,提出一种新的单帧图像超分辨率重建算法.该算法首先针对基于流形学习的超分辨率重建,提出新的特征提取方法,联合归一化亮度与平稳小波变换细节子带系数两个特征矢量,提高重建性能;然后将学习得到的高分辨率图像作为初始估计,将其梯度作为目标梯度域,进行基于梯度约束的正则化重建,得到最终的高分辨率图像.与现有的一些算法相比,文中算法无论在视觉效果还是客观评价上都具有较好的重建性能.     

基于双字典自适应学习算法的低采样率CT重建

在医疗诊断中,稀疏采样能减少CT扫描过程中辐射对患者的伤害.但直接对稀疏采样后的投影数据进行重建,会使CT重建后的图像出现失真、伪影等问题.为保证低采样率下重建图像的质量,提出了双字典自适应学习算法,参照Sparse-Land模型的双字典学习框架,将K-SVD算法与双字典学习算法框架相结合得到补全投影数据,利用FBP算法进行重建得到高质量的重建图像.实验结果表明,在低采样率下使用所提方法进行CT重建的图像质量优于COMP双字典学习算法和MOD双字典学习算法,并且此方法有效提高了CT图像重建在低采样率时的性能.