基于多监督的三维人体姿势与形状预测

三维人体重建技术指通过图像或视频建立有相应姿势和体型的三维人体模型,其在虚拟现实(VR)、网游、虚拟试衣等方面有着十分广泛的应用前景．其中,参数化的三维人体模型由于参数数量的局限,重建精度较低,缺少细节特征．为了提升参数化三维人体模型的重建精度,增加其脸部与手部细节,提出一种基于多监督的三维人体模型重建方法．该方法结合传统的回归方法和优化方法,利用卷积神经网络回归出参数化人体模型的参数,得到一个较为粗糙的人体模型,将该模型作为初始模板进行拟合和迭代优化,将带有脸部和手部的全身密集关节点信息和轮廓信息作为回归网络的2D监督,同时使用迭代优化后的人体模型作为回归网络的3D监督,最终可由一幅图像获得一个多细节、高精度的参数化三维人体模型．定性分析结果表明,该方法为人体拟合过程提供正确的拟合方向,可有效减少非自然姿势的出现,提高三维人体模型重建的准确度．全身密集关节点监督可为模型增加更多手部与脸部的细节,而轮廓监督可减少重建的人体模型与图像中人体的像素级偏差．定量分析表明,该方法在数据集Human3.6M上的平均逐关节位置误差(MPJPE)为59.9 mm,较经典方法 SPIN减少了4.16%...     

基于模型的弹性连接体三维运动估计

为解决非刚体运动分析中模型精度和计算复杂度之间的平衡问题,该文提出了一种基于圆锥曲线模型的弹性连接体(人体)三维运动估计方法。建立了人体三维模型,根据双目图像序列进行基于该模型的人肢体三维变形和运动参数估计,采用圆锥曲线三维模型及其在图像平面上投影的联系方程估计三维运动参数。人手臂运动估计实验结果表明该运动估计算法能够正确估计人体运动参数。     

基于深度学习的单图像三维人体重建研究综述

对近年来基于深度学习的单图像三维人体重建的研究现状和发展趋势进行了总结．首先,从模型表示和计算方法两个方面梳理了当前主要的单图像三维人体重建算法．在模型表示上详细介绍了四种常见表示方式及它们之间的相互转化关系,包括深度图像与点云表示、参数化人体模型表示、体素及语义体素表示及隐式曲面函数表示．在计算方法上深入描述了基于上述四种表示方式所提出的算法,并分析了其优缺点;接着,介绍了单图像三维人体重建常用的公共数据集和客观评价指标;然后,在公共数据集上从客观指标和可视化两个角度对当前先进方法进行了评价和对比;最后,在实验结果的基础上总结了当前方法存在的问题和挑战,并展望了单图像三维人体重建未来潜在的研究方向．     

带参数校正模型的三维超声重建算法

在采用旋转扫描的三维超声系统中,基于传统的三维重建算法提出了一种带校正参数模型的三维重建算法.通过引入该参数模型,更加准确地描述了用于三维重建的二维序列图像的空间位置,从而可获得更高重建精度和更小几何变形的三维超声图像.校正参数模型通过参数优化的方法获得.该方法在模拟数据和实际三维超声数据中获得了验证,与传统三维重建方法相比,具有更高的重建精度,为在低制造精度下获得高精度三维超声图像提供了一种有效手段.     

基于机载LiDAR点云的建筑物三维重建

建筑物三维重建是遥感领域的一项基本任务。由于机载LiDAR点云稀疏、不完整、有噪点，传统重建方法难以从中重建出完整水密的模型。同时，建筑物模型的表面紧凑程度也限制了其应用的广泛性。针对该问题，提出了一个从LiDAR点云重建紧凑建筑物模型的网络框架。该架构包含两个模块：一是基于隐式表示的表面提取模块，该模块通过隐式神经网络从点云在提取到建筑物的基本结构信息并生成表面网格模型。一是基于结构感知的网格优化模块，该模块对模型各平面的拓扑进行改善并重建出轻量级建筑物模型。利用苏黎世建筑物数据集对所提出的框架进行了验证，与现有方法相比，该框架重建结果具有更高的精度。     

ORBTSDF-SCNet：一种动态场景在线三维重建方法

传统的三维重建技术在面对移动物体干扰时难以有效完成场景重建任务。针对该问题，本文提出一种基于SLAM(Simultaneous Localization and Mapping）、TSDF(Truncated Signed Distance Function）和SCNet(Sample Consistency Networks）实例分割网络的三维重建方法ORBTSDF-SCNet。该方法采用深度相机或双目相机获取重建物体及场景的深度图与RGB图，且基于ORB＿SLAM2实时获取位姿信息；采用基于结构化点云数据的表面重建算法TSDF与深度图相结合，实现在线三维模型重建；为了消除场景中移动物体对场景三维重建的干扰，提出采用SCNet实例分割网络检测和分割移动物体，并结合优化策略减小检测和实例分割误差以及深度图和RGB图对准误差。通过抠除移动物体，保证了重建场景的完整性。在ICL-NUIM、TUM数据集上的实验表明了本文所提方法的有效性。     

基于深度学习的平面位姿估计算法

为了在未知物体三维模型的情况下使用深度学习进行平面位姿估计，采用编码器-解码器网络，从单个RGB图像中检测平面实例分割及法线信息，并利用这些信息进行位姿解算，获得每个平面的实时位姿。实验结果显示,平面召回率为0.625，平面法线召回率为0.414，实时性为18.5 f/s，验证了算法的可行性。     

基于隐条件随机场的人体行为识别方法

提出了一种基于隐条件随机场的人体行为识别方法。首先,通过目标检测和目标跟踪提取图像序列中人体所在时空区域;其次,提取人体区域的 Gist 特征作为人体行为视觉描述子;最后,利用隐条件随机场模型对人体行为进行建模和识别。通过大规模试验证明了该方法的有效性,与其他方法的对比实验验证了该方法的优越性。     

骨架关节点跟踪的人体行为识别方法

基于彩色图像的运动检测和分割方法难以获取完整的人体骨架,并且只能提取关节点的二维坐标信息,而 Kinect 传感器能通过捕获深度图像来重建完整的人体骨架关节点三维模型,提高了骨架关节点模型的表示精度。本文通过 Kinect 的骨架跟踪模块对人体的骨架关节点模型进行提取;然后,提出一种坐标转换方法得到人体骨架关节点的三维坐标表示,利用 k 均值聚类将关节点坐标量化为符号序列;最后,建立离散隐马尔可夫模型来进行人体行为识别。通过自建的数据集进行实验,实验结果表明：本方法能取得94％的识别率。     

图像三维模型重建方法研究

提出一种基于数据挖掘技术的图像三维模型重建方法.首先对图像进行去噪处理和缺陷修复,并采用点云配准将不同图像分配到统一坐标系中,过滤掉图像中的冗杂信息;然后通过TSDF算法对点云配准后的图像进行数据融合,获取完整的点云模型;最后在OpenGl条件下对点云模型实施渲染,完成图像三维模型的重建.实验结果表明,该方法具有较高的重建效率和配准效率,重建的图像三维模型真实性高,边缘和纹理的处理效果清晰.     

基于FisherVector的图像精细分类方法

该发明提出一种基于Fisher Vector的图像精细分类方法,用以解决现有图像精细分类方法中存在分类准确率低的技术问题,包括如下步骤:读取图像库数据,得到包含各个类别的训练图像集和测试图像集;提取训练图像集和测试图像集中每幅图像的RGB特征;求取关于训练图像集RGB特征描述的混合高斯参数;求取匹配图像块集的Fisher Vector特征矢量;求取训练图像集的最终特征描述和测试图像集的最终特征描述;利用SVM对训练图像集的最终特征描述进行训练,得到分类模型;利用分类模型对测试图像集的最终特征描述进行分类。该发明具有分类准确率较高的优点,可应用于互联网通信、交通和公共安全领域。     

基于图形处理器的锥束CT快速迭代重建算法

提出了一种基于图形处理器实现的锥束CT图像迭代重建算法.该算法将三维纹理作为被重建物体的离散模型,基于射线投射方法实现了锥束CT的正投影计算;通过反向逐层映射到三维纹理实现了反投影计算;采用多纹理融合等技术完成了图像校正和投影校正.与经典的TMA-SART算法比较,作者算法运算速度快,占用显存少,支持全浮点精度运算,且易于在算法中添加先验知识和约束条件.通过对Shepp-Logan模型的图像迭代重建实验,验证了该算法的优势.     

基于改进SRResNet深度学习网络的低照度图像超分辨率重建方法

为解决低照度条件下低分辨率图像的超分辨率重建问题,提出一种基于改进超分辨率残差网络(super-resolution residual networks, SRResNet)深度学习网络的低照度图像超分辨率重建方法。通过将读取的图像下采样、亮度降低等处理生成低照度低分辨率图像,并将该图像与高分辨率图像作为数据对输入学习模型,以便改进SRResNet的训练数据对的生成方式,优化训练过程,从而构建面向单帧低照度彩色图像的基于改进SRResNet训练的超分辨率重建方法。实验结果表明：与现有流行的图像超分辨率重建方法相比,该方法的峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity, SSIM)指标整体为最优,低照度环境下的超分辨率重建图像更为清晰明亮、细节更丰富,该方法训练出的深度学习网络的重建效果更好。     

曲面法线指引下的深度图像修复算法

图像修复大多基于RGB彩色图像进行研究,而随着消费级深度摄像头的普及,深度图像的修复逐渐成为一个需要解决的问题.本文基于深度神经网络的图像修复算法,提出了一种使用曲面法线图像指引深度图像修复的策略.首先对待修复的深度图像计算出残缺的曲面法线图像,通过一个独立的神经网络修复出完整的曲面法线图像,将修复后的曲面法线图像与残...     

基于三维分段Sine映射的彩色图像加密

Sine映射因其结构简单、传输效率高,被广泛运用在图像加密领域, 但从安全应用的角度看,Sine映射也存在Lyapunov指数过小,概率密度分布不均匀等缺点. 为了克服这些固有缺点,本文提出了参数耦合分段Sine映射,并以此为基本单元构造了一个三维混沌模型. 基于此三维混沌模型提出了一种新的彩色图像加密算法. 在加密算法中,利用该模型输出的3个伪随机序列分别构造两个初等变换矩阵,对彩色图像的RGB信息进行置乱操作;然后再从模型中提取状态值构造整数序列,对置乱后得图像进行扩散操作,最后产生密文图像. 仿真实验及性能分析表明,该方案安全可靠,能够有效满足图像在网络中安全传输的需求.      

采用运动传感器的人体运动识别深度模型

针对传统机器学习方法在采用运动传感器数据的人体运动识别领域中识别效果严重依赖人工特征且准确率受限的问题,提出一种改进的卷积网络与双层长短期记忆网络的深层混合(VGGLSTM)模型以实现特征自提取并进行运动识别。该模型结合传感器数据层状、时序的结构特点,将多维传感器数据类比于图像的RGB矩阵进行适应性处理;由一维串联卷积网络与双层长短期记忆网络复合而成。实验结果表明,在开源的人体运动识别(HAR)数据集和无线传感器信息控掘(WISDM)数据集上采用该模型的人体运动识别方法的平均准确率分别达到了97.17%和96.53%,该模型可以有效避免复杂的特征工程,在人体运动识别问题中具有很好的准确性和适应性。     

基于三维模型的改进正则化ERT成像算法

电阻层析成像（ERT）通过对被测场边界注入电流,测量被测场电压变化,重建物场内电导率．针对ERT成像分辨率低,提出一种基于三维模型的改进Tikhonov迭代电阻成像算法．针对Tikhonov正则化参数选择问题,提出基于同伦映射的方法,并利用非线性函数Sigmoid调节正则化参数,以获得的图像灰度值作为Tikhonov迭代法的初始值进行迭代,重建敏感场图像．仿真及实验结果表明,该方法有效地改进了ERT图像质量．     

基于三基色相机的快照式光谱成像研究

现实场景瞬时多变,快照式光谱成像仪可以获得瞬变目标场景的光谱信息和空间信息.虽然三基色相机只有RGB三个通道,但是曝光时间短,分辨率高.为此,提出一种基于光谱数据库色度匹配的三基色彩色图像多光谱重建模型.通过对比现实场景采集的实际光谱图和重建光谱图,表明该模型能较好的将三基色彩图重建为窄带多光谱图像.     

基于光学相干层析图像的眼底黄斑部三维重建

基于眼底黄斑部光学相干层析(OCT)图像提出一套建立视网膜局部三维模型的方法,并为实现三维OCT临床诊断技术进行前期探索.本文以梯度结合数学形态学的方法分割图像,采用基于互信息的配准算法进行图像配准,并设计了一种改进的线性插值算法进行片层间插值,最后用体绘制方式重建出眼底黄斑部三维模型.基于上述方法在PC机上成功构建出视网膜黄斑部三维模型.该模型外观平滑,较为精确,为临床应用奠定了基础.     

基于三维重建的人脸姿态估计

人脸姿态估计是计算机视觉及人脸识别领域的一项关键研究内容.将三维模型应用于估计人脸图像姿态参数,提出了基于三维重建的人脸姿态估计算法.根据人脸正面图片上的特征点计算出形状参数,实现三维人脸重建.基于三维人脸模型,由姿态图片上提取的特征点信息推知等姿态下模型上对应特征点的信息,针对照模型正面姿态,运用线性回归估计姿态参数.实验表明,重建的三维人脸具有较好的真实感,在较大的姿态变化范围内,该方法也能够取得较好的估计精确并具有鲁棒性.