一种基于运动和纹理特征的深度图提取方法

2D至3D的立体转换技术可以提供大量的3D立体视频内容,从而解决3D立体视频内容不足的问题.而2D到3D转换技术中关键的一步是怎样提取出质量较好的深度图.提出一种基于运动和纹理特征相结合的深度图提取方法.为了估计深度图,首先将前景和背景分离,然后分别进行基于运动的前景深度提取和基于纹理特征的背景深度提取,最后再将二者有效融合得到最终深度图.实验结果显示,使用本文提出的方法可以得到满足需求的深度图.     

一种适用于多种场景的深度图提取算法

文章提出了一种自动的深度图提取算法。将图片分为消失线型、上下结构型和左右结构型3类,采取不同的算法分别进行深度估计,为了使得图像中同一物体的深度信息保持一致,运用K-means进行图像分割,提出了一种新颖的估算每个像素点深度值的算法,使得深度信息的层次不再局限于K-means中K的取值;采用了双边滤波的方法对得到的深度图进行去噪,在去噪的同时保证了图像的边缘轮廓。实验结果表明,该算法适用性广泛,在3D效果和耗时方面也表现出优良的性能,适合于实时的2D视频转3D视频。     

基于深度学习的无人机人机交互系统

现行的无人机控制(UAV)主要依靠专业的设备,由经过专业训练的人来完成.为了更方便的人机交互,本文提出了一种基于双目视觉和深度学习的手势控制无人机(HRI)方法.用双目视觉提取深度图,跟踪提取人物所在区域并且设置阈值将人物与背景分离开来,从而得到只含有人物的深度图.其次,通过对深度图序列的处理并叠加,将视频转换为同时含有时间与空间信息的彩色纹理图.本文用深度学习工具Caffe对所得到的彩色纹理图进行了训练与识别,根据识别结果生成无人机的控制指令.本文所述方法在室内和室外均可使用,有效范围达到10,m,可以简化无人机控制复杂度,对促进无人机普及及拓展无人机应用范围都具有重要意义.     

基于Boosting-Monodepth的管道病害深度估计与三维重建

城市地下管道是城市的血脉经络，但随着排水管道的大量投入运营和使用年限增加，引发了一系列的管道病害安全隐患，如管道整体结构变形、内表面破裂和管中异物插入等问题，传统的病害图像视频采集、检测和后期病害分类甄选都是从二维视角出发，欠缺对三维空间信息（深度）的考虑。针对上述3种病害从生成深度图、由二维深度图重建三维管道病害这两方面进行研究，提出了一种基于boosting-monodepth的双重深度估计方法以提升深度图效果，最终生成画面连续一致、轮廓清晰的深度图。性能评估方面采用Abs-Rel、RMSE、SqRel、ORD和D3R等通用指标，与传统算法对比，结果显示boosting-monodepth的RMSE值降低了30%，精确度指标δ<1.25时，模型深度信息预测精确度提高了18%，此后以得到的深度图为基础重建管道病害三维点云，并在CloudCompare软件上三维可视化，最后采用随机采样一致算法测算病害深度并和实测数据对比证明其有效性和准确性。     

纹理图的3D-HEVC深度图编码单元快速划分算法

为了降低3D-HEVC编码标准中深度图的帧内预测编码复杂度和编码时间,使用概率统计分析纹理图的最大编码单元(LCU)划分分布与深度映射图的LCU划分分布之间的相关性,提出一种快速算法,通过判断纹理图中LCU的划分深度,跳过深度映射图中一些不必要的LCU划分和模式判别过程,从而在基本不影响视频质量的前提下,提高编码效率。实验结果表明,可以在保证峰值信噪比(PSNR)和比特率(bit-rate)基本不变的情况下,大幅度减少深度图的编码时间。     

基于多层级跨模态特征融合的深度图重建算法

针对稀疏深度图像的重建问题,提出了一种基于深度学习的多层级跨模态特征融合的深度图重建算法.利用卷积神经网络对彩色信息和稀疏深度信息分别编码并在多个尺度下进行自适应融合,在解码阶段通过残差学习进一步细化重建结果.模型通过复用深度编码支路的短路连接引导特征上采样,输出初始深度图,同时复用彩色编码支路提取的丰富语义特征,将多个尺度下输出的上采样特征图进行金字塔迭代上采样,进而学习与最终重建结果的残差,提高了重建结果的质量.在NYU-Depth-v2和KITTI数据集上的实验结果表明：本文方法与现有的主流方法相比,具有较好的深度图重建性能,同时在视觉比较上生成了更为锐利的深度边界.     

Kinect深度图像快速修复算法

深度提取是基于“纹理+深度”自由立体视频系统的关键技术,而立体视频实际应用系统需要高效快速的深度图提取.提出一种针对Kinect提取深度图的快速修复算法.首先,对Kinect提取的彩色纹理图和深度图进行对齐裁剪,并采用背景填充算法对裁剪后的深度图进行初步修复;然后,对初步修复后的深度图进行基于颜色匹配的快速修复,得到质量较好的可用深度图.实验结果表明,本算法能有效修复原始深度图中由于遮挡而引起的空洞,获取的深度图整体平滑度好、边缘清晰;在普通PC机上达到25~30 帧/s的处理帧率,实现了深度图的实时提取.     

一种基于图像深度的单幅图像雾效模拟方法

为了通过在现实生活中拍摄的单幅图片生成不同能见度下的雾效模拟场景,提出一种基于图片深度的雾效模拟方法:通过单幅图片的散焦信息恢复深度图,把深度图转化成透射率,将最大能见度与大气散射系数相关联,通过大气散射模型模拟不同能见度下的雾效虚拟场景.利用此方法分别测试近景图和远景图,进行不同能见度下的雾效场景模拟.仿真结果表明,此方法简单有效,可行性高,仿真效果逼真.     

基于关键点滤波的深度图提取

基于单帧视频2D/3D转换,深度估计是关键。提出一种在伴有相机移动情况下,基于运动的深度估计新方法,采用关键点滤波获取每帧视频像素级的运动矢量。由于相机的移动会引起伪运动矢量,从而导致深度信息模糊,为解决这一问题,采用鲁棒的RANSAC算法估计相机移动模型。首先,通过无相机移动的运动矢量来估计初始深度图。然后,利用基于同类点的后置滤波修正运动物体边缘像素的深度信息。实验结果表明,在有相机移动情况下,该方法对深度图的估计可以取得较好效果。     

基于深度卷积神经网络和深度视频的人体行为识别

传统人体行为识别基于人工设计特征方法涉及的环节多,具有时间开销大,算法难以整体调优的缺点。以深度视频为研究对象,构建了3维卷积深度神经网络自动学习人体行为的时空特征,使用Softmax分类器进行人体行为的分类识别。实验结果表明,提出的方法能够有效提取人体行为的潜在特征,不但在MSR-Action3D数据集上能够获得与当前最好方法一致的识别效果,在UTKinect-Action3D数据集也能够获得与基准项目相当的识别效果。本方法的优势是不需要人工提取特征,特征提取和分类识别构成一个端到端的完整闭环系统,方法更加简单。同时,研究方法也验证了深度卷积神经网络模型具有良好的泛化性能,使用MSR-Action3D数据集训练的模型直接应用于UTKinect-Action3D数据集上行为的分类识别,同样获得了良好的识别效果。     

基于注意机制的仿生人体动作识别

针对已有的仿生动作识别系统计算量大、耗时长的问题,提出了在系统中加入注意机制的方法.该方法模仿注意机制在人类视觉中所起的重要作用,将视频中运动目标的活动区域作为视频图像的显著区域划分出来,然后结合视频图像的显著区域获取不同动作的特征模板.此方法在一定程度上克服了视频的背景噪声对系统性能的影响,同时更准确地模拟了人类视觉机制.实验结果表明：该方法能较好地改善人体动作识别模型的识别速度和识别结果.     

基于颜色信息相位谱的显著性检测

为了快速搜索场景中的重要目标,依据人类视觉系统的特点,提出了一种基于颜色信息相位谱的显著性检测模型. 通过分析图像颜色相位谱信息,建立显著性图谱,它能够表示出场景中重要目标的位置. 实验结果表明,在复杂背景下,该算法能够较好地检测出和人类视觉相一致的重要区域.     

基于视觉显著度的H.264冗余片编码技术

针对现有显著度模型不能同时兼顾快速运动场景和慢速运动场景的问题,对显著度模型建模方法中的运动特征提取算法进行改进,提升运动显著度子图的精确性。在此基础上,考虑到人眼视觉系统对图像局部内容更关注的特点,将改进的显著度模型用于H.264视频的冗余片编码技术中,对图像中人眼关注的区域进行冗余片编码,从而提高视频流的传输容错能力。实验结果表明,该技术在丢包网络中能明显提高解码图像的主客观质量。     

一种基于显著性和部件模型的无约束条件人脸检测方法

针对无约束条件下的人脸检测进行研究,提出了一种基于显著性度量和部件模型的人脸检测方法。在部件模型为基础的检测方法中引入显著性理论,融合正面、左侧面、右侧面的三种平面外旋转姿态下的信息,生成完整有效的人脸显著图,并用于人脸检测。实验结果表明本文生成的人脸显著图能够更有针对性描述人脸区域,并且本文人脸检测方法相较Viola Jones人脸检测方法和基于部件模型的人脸检测方法有更高的检测率,运算速度相较原基于部件模型的人脸检测方法大有提高。     

基于显著点的感兴趣区域提取及评价

为降低数据规模,提高图像处理的效率,针对感兴趣区域（ROD提取的问题,提出了一种基于显著点的ROI提取算法．利用视觉注意模型（VAM）得到显著图,聚类显著图二值化后提取到的显著点,同时将原图像二值化,并以聚类点作为种子点填充,提取原图像的二值化图轮廓后与原图像掩膜,得到图像的ROI．实验结果表明：该算法的总体效果良好,运算速度可与显著点的个数成线性关系．同时以眼动实验数据为参照进行分析与评价,该算法ROI漏分率至少降低50％,而误分率无明显增加．     

基于显著性检测与混沌对称折叠的图像选择性加密算法

当前图像选择性加密技术主要依赖明文的边缘信息实现局部像素的混淆与扩散,易泄露重要目标的形状信息,而且整个加密过程中忽略了初始明文特性,使其安全性不理想,为了解决以上的问题,提出了显著性检测耦合混沌对称折叠的图像选择性加密技术。首先,引入Ripplet变换,对输入明文完成多方向、多尺度分解,形成Ripplet系数,通过逆Ripplet变换,得到明文对应的特征图;通过高斯概率密度与信息熵来计算特征图的全局与局部显著图;再组合全局与局部显著图,根据区域生长法,检测明文的视觉显著性区域;随后,借助明文信息迭代Logistic映射,获取一组混沌数组,以定义索引扰乱机制,改变显著区域内的像素位置;最后,联合Logistic映射与对称连续折叠机制,设计了混沌折叠扩散方法,从多个方向利用不同的扩散函数对置乱后的显著性区域完成加密。实验结果显示:与已有的选择性加密方案相比,本文方法呈现出更好的安全性与密钥敏感性。     

基于高层先验语义的显著目标检测

为解决图像低级特征不能够均匀进行显著目标检测的问题,将高层先验语义和低级特征进行结合,提出一种新颖的基于高层先验语义的显著目标检测算法模型。利用深度卷积神经网络对输入图像以及显式显著性先验信息分别进行语义分割提取,得到显式显著性检测图;通过将图像中隐含的先验显著性特征与显著性值进行映射得到训练模型计算隐式显著性图;将显式显著性检测图和隐式显著性检测图进行自适应融合,形成均匀覆盖显著目标像素的精确显著检测图。为验证算法模型的有效性,将算法在具有挑战性的ECSSD和DUT-OMRON图像数据集进行实验仿真,实验结果表明,该算法的显著目标检测效果较其他方法有较为显著的提升。     

基于视觉显著性的彩色图像分割

为了提高图像显著性检测的准确性,从数学模型上探索显著性的多特征空间.利用多尺度特征提取算法获得低层视觉特征,对特征矩阵用低秩矩阵恢复理论提取显著图,并在自底向上模型基础上融合了高层视觉特征,由高层视觉特征构成一幅权重的显著图.提高了显著度和显著目标的检测性能.通过自适应阈值算法对视觉显著目标进行分割.实验结果表明,该模型比传统的模型提取的显著目标更完整、更准确.     

基于视觉显著性和特征点匹配增强的 运动目标跟踪框架

为了解决主流目标跟踪算法在目标遮挡、快速位移和光照变化等不利条件下易发生跟踪不稳定的问题,提出一种视觉显著性和特征点匹配增强的目标跟踪框架,当瞬时跟踪结果经判别达到SURF特征点匹配阈值时,触发跟踪增强机制,提取图像的时域、频域和空域显著性得到综合的显著图,然后执行邻近匹配策略搜索显著图各显著区域以找到目标最可能的存在区域.本文框架是在传统跟踪方法的基础上加入了独立的增强机制,因此并不局限于某一种特定跟踪方法,具有良好的可扩充性和通用性.实验结果表明,该框架能有效克服多种不利因素的带来的干扰,可实现复杂背景下目标的准确跟踪.     

图像感兴趣区域自动提取算法

感兴趣区域提取技术在图像处理和分析领域中有着重要地位。提出了一种ROI的自动提取算法,在显著度图和相对位置指示图的基础上,采用基于子区域的区域生长法,以像素点的显著度、相对位置及颜色纹理信息作为生长条件,颜色、纹理信息的权重可以根据图像的内容自适应调整。实验结果表明,该方法与现有算法相比,在速度和ROI提取的准确性方面均有提高。