一种基于运动和纹理特征的深度图提取方法

2D至3D的立体转换技术可以提供大量的3D立体视频内容,从而解决3D立体视频内容不足的问题.而2D到3D转换技术中关键的一步是怎样提取出质量较好的深度图.提出一种基于运动和纹理特征相结合的深度图提取方法.为了估计深度图,首先将前景和背景分离,然后分别进行基于运动的前景深度提取和基于纹理特征的背景深度提取,最后再将二者有效融合得到最终深度图.实验结果显示,使用本文提出的方法可以得到满足需求的深度图.     

基于高斯混合模型的Kinect深度图像增强算法

深度图像获取是当前三维视频领域重要的研究课题.微软Kinect传感器可以获取到实时的稠密深度图,但往往在深度图中存在大量的空洞并且获取的深度图不稳定.针对这些问题,提出一种应用高斯混合模型实时修复的算法,首先要把彩色图像和深度图像对齐裁剪,然后通过高斯混合模型(GMM)把深度图像的前景和背景分离,针对不同的区域做不同的处理,对背景空洞做基于背景的填充,前景空洞采用颜色匹配算法进行处理,最后对处理后的深度图像做中值滤波处理去除噪声.实验证明,该算法在复杂前景物体和大面积深度缺失的情况下都可以有效填充深度图像中的大、小空洞,保留了物体边缘,尤其在遮挡物体的深度重建上,可以取得较好的重建效果.     

基于时空域数据融合的Kinect深度图像修复算法

针对Kinect传感器获取的深度图像中存在大量噪声以及深度信息缺失导致的空洞问题,提出一种基于时空域数据融合的深度图像修复算法。首先,对配准后的深度图像利用卡尔曼滤波使跳变深度值趋于平稳,并采用阈值分割法得到待修复区域;其次,计算待修复边界所有像素点的时空域置信度,对时空域置信度最大的像素点计算其时域和空域深度数据,并根据时空域置信度为时空数据分配权值进行数据融合,实现像素点的修复;最后,待修复边界改变,迭代执行上一步直至图像修复完成。实验结果表明:与传统修复算法相比,基于时空域数据融合的Kinect深度图像修复算法的深度图峰值信噪比更高、均方根误差更小,图像质量更好。     

基于边缘检测的深度图与单视图配准算法

为解决由单视点图像和相关深度数据所创建的立体图像部分存在的重影问题,提出基于边缘检测的深度图与单视图配准算法.对单视图和深度图进行边缘检测得到各自的边界后,以单视图的边界为基准,配准深度图的边界及其邻域的深度数据.实验结果表明,该算法与已有的算法相比,匹配质量明显提高,使在立体图像中的重影现象得到了缓解.     

一种深度图帧内预测模式决策改进算法

为减小3D-高效视频编码(three dimensional-high efficiency video coding,3D-HEVC)的编码复杂度,提出一种深度图帧内预测模式决策改进算法.一方面,采用拉普拉斯边缘检测法对是否遍历深度模型模式(depth modeling modes,DMMs)进行快速判决;另一方面,利用预测单元(prediction unit,PU)的楔形分割线与其纹理特征的相关性,只对候选预测模式中的帧内角度模式相关的楔形分割进行搜索,减少楔形分割模式遍历的数量,实现DMM1模式的快速决策.经测试,算法在平均编码比特率增加很少的情况下,深度模型模式的平均编码时间降低了53.65％,而深度图的合成质量基本不变.     

基于BJND和JNDD的立体视频深度感知增强技术综述

人类视觉系统是一个具有多种视觉特性的复杂处理系统,视觉感知是人眼多种视觉特性共同作用的结果。立体视频图像因视差和深度的存在有着与平面图像不同的视觉感受,且深度感与视差有着紧密的关系。恰可察觉差别(Just Noticeable Difference,JND)或者称为恰可察觉失真(Just Noticeable Distortion,JND)是一种基于视觉心理学和生理学的视觉特性,双目恰可察觉差别(Binocular JND,BJND)和恰可察觉深度差别(Just Noticeable Depth Difference,JNDD)影响人们对立体视频的用户体验。在阐述JND基础上,综述人类视觉感知立体视频的BJND、JNDD模型及国内外研究现状,分析视差图质量和深度图信息对立体视频感知影响,提出了基于JNDD的深度图处理方法,寻求人眼对立体视频深度感知增强技术,建立基于BJND和JNDD的立体视频图像质量客观评价方法,为立体视频图像处理及应用提供指导。     

基于深度学习的无人机人机交互系统

现行的无人机控制(UAV)主要依靠专业的设备,由经过专业训练的人来完成.为了更方便的人机交互,本文提出了一种基于双目视觉和深度学习的手势控制无人机(HRI)方法.用双目视觉提取深度图,跟踪提取人物所在区域并且设置阈值将人物与背景分离开来,从而得到只含有人物的深度图.其次,通过对深度图序列的处理并叠加,将视频转换为同时含有时间与空间信息的彩色纹理图.本文用深度学习工具Caffe对所得到的彩色纹理图进行了训练与识别,根据识别结果生成无人机的控制指令.本文所述方法在室内和室外均可使用,有效范围达到10,m,可以简化无人机控制复杂度,对促进无人机普及及拓展无人机应用范围都具有重要意义.     

基于RGB-D图像的深度图空洞修复

提出一种基于RGB-D的深度图像空洞修复算法。通过改进的双边滤波对深度图进行滤波处理,填充了空洞而且保持了图像的边缘;再利用复合型中值滤波对深度图进行处理消除孤立点的影响,平滑了深度图像。实验结果表明,这一方法能够有效地对深度图进行空洞修复且图像边缘清晰。     

基于反馈的立体匹配算法

针对因传统的置信度传播( BP:Belief Propagation)算法生成的深度图并非十分精确而导致深度图的绘制及立体重现存在的失真问题,提出一种基于反馈的立体匹配算法,使生成的深度图进一步优化.该算法首先通过BP算法生成深度图,然后由左视点图像与深度数据绘制右视点图像,将绘制出的右视点图像与真实右视点图像进行比较...     

结合Kinect深度图的快速视频抠图算法

现有视频抠图算法主要存在人机交互繁琐、计算复杂度高的问题,为此,该文提出了一种利用Kinect深度图的新的快速视频抠图算法。首先结合彩色图信息改进区域生长算法,估计出三色图(原始图像被3种颜色标记出前景、背景和未知区域)以避免深度图中遮挡区域的影响。其次,提出前景和背景样本点集二次筛选机制,保证估计精度的同时大幅降低计算复杂度。最后,采用深度、彩色和置信度图对抠图结果进行加权滤波,减少不透明度图像中低置信度的像素点和不平滑区域。实验结果证明了该算法精度高、速度快且交互简单。     

一种基于WMF-ACA的深度图像修复算法

针对RGBD相机由于硬件条件的限制,所获取的深度图像往往存在空洞与噪声的问题,提出一种彩色图像引导的深度图像空洞填补方法.对深度图像边缘区域采用基于局部直方图的加权模式滤波器(WMF)进行处理,在有效保留深度图边缘与细节的前提下,消除图像噪声.对深度图像非边缘区域采用一种异步元胞自动机(ACA)模型算法,根据邻域和迭代规则对深度图空洞进行填补,快速、准确地完成任务.在立体匹配数据集Middlebury上测试所提算法实现性能,实验结果表明:该算法的结构相似性(SSIM)与峰值信噪比(PSNR)更高,能够准确地填补深度图空洞,同时保持深度图边缘清晰.     

基于Alpha稳定分布模型的彩色图像边缘检测新算法

 在彩色图像的边缘检测中,如何去掉噪声的干扰及怎样更精确的检测出边缘是图像处理中一个非常重要的问题。本文提出了一种去除脉冲噪声干扰的彩色图像的边缘检测算法。首先,提出一种基于Alpha稳定分布模型的图像去噪算法。其次,利用改进的各向同性边缘检测器和快速熵阈值技术自动确定图像边界,并考虑了像素与其邻域像素的颜色距离进一步精确定位图像的边缘。实验证明,该算法能够克服脉冲噪声的影响,较精确的检测出彩色图像的边缘。     

基于Kinect 2的三维人脸个性化建模

提出一种基于五官形状特征点以及人脸肌肉函数的优化Kinect 2 个性人脸网格的算法,然后通过自适应uv贴图,使结果更符合个性人脸特征.首先,通过提取彩色图的特征点位置获取个性人脸的x,y 空间的特征信息,基本的五官形状特征点为83 个,通过相似三角关系在鼻梁和鼻翼处添加了6 个特征点以丰富五官形状特征信息.肌肉形状特征约束方面,综合肌肉形状约束量有43 个.其次,通过Kinect 2 人脸个性化建模得到中间模型,同时也获得了五官形状和肌肉形状特征的深度先验信息.接着使用基于拉普拉斯算子的微分网格变形算法对Kinect2 的中间模型进行五官优化及肌肉形状约束,通过对比ASM、正则化均值漂移和face + + 算法检测的人脸特征点来选择更精确的五官位置.最后,为了让人脸更具有真实感,还通过平面微分网格形变实现了uv 自动贴图,提升了maya中手动调整uv 坐标的准确性和效率.同时,使用次表面散射光照模型来使人脸皮肤的真实感加强.实验表明,本文所采用的三维人脸模型的个性化变形方法能使Kinect2 模型更好地符合个性人脸特征,这将为后期的表情生成和动画制作奠定良好的基础.     

基于Kinect遮挡条件下行人的深度图像分割

针对Kinect深度图像中有遮挡条件下的多个行人进行分割算法的实时性和应用研究,提出一种双峰法和迭代法的自适应阈值改进算法,并融合平面位置关系消除重复目标的新算法。在提取遮挡行人目标的连通域后,在连通域的遮挡条件下,对行人有不同深度数据的特性计算出多个阈值,快速、有效地分割行人,对分割后深度图像用改进的消除多余目标算法使分割深度图像的结果更为准确。实验结果表明,在使用该新阈值分割和消除重复目标算法后,行人量大和行人量小时处理一帧需要60ms—70ms,正确识别率为94.8%—97.3%。从结果得出,新深度图像分割算法具有更好的实时性和鲁棒性,能良好地应用于Kinect深度图像分割中。     

基于图像分割和孔洞修复的三维伤口测量方法

伤口测量是临床医学研究中一项重要工作。传统的接触式伤口测量方法存在测量结果稳定性差、易造成伤口二次伤害的问题,基于2D图像处理的非接触式伤口测量方法存在精度差、无法获得伤口深度信息的问题。因此,本文设计了一种基于图像分割和孔洞修复的三维伤口测量方法。采用异源图像对齐算法解决了异源图像由于视差导致的图像像素错位问题;通过基于改进的区域生长法设计了一种交互式伤口区域分割方法,实现伤口区域精准分割;最后,采用基于RBF的三维点云孔洞修复算法进行伤口皮肤复原,从而得到伤口的最大深度、体积等三维参数。实验结果表明,本文方法的测量误差低于3%,其测量精度以及稳定性皆优于接触式和基于2D图像处理的伤口测量方法,满足临床使用以及医学研究的应用需求。     

基于深度学习的图像去雾算法

针对有雾天气会使图像质量降低,影响对图像信息的提取,导致图像的应用价值减少的问题,提出一种基于深度学习的图像去雾算法。首先,对原有雾图像进行单尺度和多尺度的卷积来特征提取,其次再用多尺度卷积核实现图像细节的重建得到粗略的透射率传播图,同时利用原有雾图像中像素点的位置和亮度值得到大气光值,利用导向滤波得到精细透射率传播图和之前得到的大气光值进而反演出无雾图像,最终对无雾图像进行直方图颜色校正。实验结果表明,相比传统去雾算法,该算法对图像细节的处理更加自然并具有很好的视觉效果。     

基于Kinect深度图像信息的手势分割和指尖检测算法

为克服传统二维彩色图像处理算法易受周围环境、光照变化、背景等因素的影响,提出利用Kinect深度图像信息,实现一种快速鲁棒的手势分割与指尖检测算法。首先,根据Kinect得到的深度信息对非人体部分图像进行筛选,得到包含人手的人体图像;然后对当前得到的人体图像进行直方图分析,计算能够区分人手与非人手的阈值,并通过该阈值对人体图像进行分割得到人手图像;最后,对人手图像进行形态学处理,计算掌心位置,并提取手部轮廓,结合人手轮廓关键几何特征对指尖进行有效检测。实验表明,该方法能够实时、有效地对指尖进行检测。     

改进rank变换的多窗口彩色图像立体匹配算法

为克服环境变化和双目相机的差异带来的干扰,针对传统立体匹配算法在视差不连续区域存在误匹配率高等问题,提出一种在rank变换域中对彩色图像进行多窗口匹配的算法.首先对标准图像库中的彩色图像进行分等级的改进rank变换,将图像从彩色空间变换到秩空间;然后采用改进的绝对值指数方法计算像素的颜色相似性,减少噪声和光线差异的干扰;最后利用快速多窗口算法进行匹配.实验证明该文算法有较强的抗噪性,能获得实时鲁棒的匹配结果.相对于固定窗口非参数变换匹配算法在视差不连续区域匹配精度提高了18.5%.     

人机交互过程中数字手势的识别方法

为了获得简单、高效的数字手势识别方法,增加使用者舒适的体验,提出一种基于Kinect融合深度信息和骨骼信息的数字手势识别方案.首先,使用Kinect进行深度数据的采集,建立深度图像;其次,结合骨骼追踪系统,提取人体轮廓,运用深度阈值法从轮廓中分割出手部区域,并进行二维图像的重建;再次,利用手腕和手掌骨骼点准确分割出手掌区域,并运用图像形态学开运算进行处理,得到不含手指的图像,进而提取掌心坐标;最后,计算半径,确定掌心圆,采用圆的边界和手指相交次数的方式识别手指个数.实验结果表明:数字手势识别方案能够准确、高效地识别数字手势.