论文部分内容阅读
无标记的3D人体运动捕获技术一直是计算机图形学与计算机视觉领域的研究热点,其成果被广泛应用于影视制作、游戏娱乐、训练仿真、医疗康复、安全预演等多个领域。但是,目前最好的基于深度相机的无标记点3D人体运动捕获商用系统Kinect却因为肢体遮挡或自遮挡等原因,无法合理、准确地重建3D人体运动姿态序列。本文以实时在线地捕获合理、准确的3D人体运动姿态序列为研究目标,以人体运动捕获数据库为基础,构建了基于多目深度相机的3D人体运动捕获系统。本文重点对基于局部姿态先验的深度图像3D人体运动捕获技术、基于级联回归器的深度图像3D人体运动捕获技术,以及基于精细个体化人体模型的多目深度相机3D人体运动捕获系统进行了深入的研究。 本文的创新点主要有: (1)提出一种基于局部姿态先验模型的深度图像3D人体运动捕获方法 基于随机决策森林的3D人体姿态识别方法能自动识别出不同身材尺寸的表演者以及日常生活中的多种类型的人体运动姿态,但受到人体运动中肢体遮挡等因素的影响,不能获得合理和准确的3D人体运动姿态重建结果。传统的基于数据驱动的方法,是根据捕获的深度图像直接进行数据库检索最相似姿态的过程,此类方法只能处理身材尺寸接近数据库中标准尺寸3D人体模型的表演者数据,不能有效满足实际应用需求。 针对这一问题,本文提出一种基于局部姿态先验的从深度图像中实时在线捕获3D人体运动的方法。关键思路是根据从捕获的深度图像中自动提取具有语义信息的虚拟稀疏3D标记点,从事先建立的异构3D人体姿态数据库中快速检索K个姿态近邻并构建局部姿态先验模型,通过迭代优化求解最大后验概率,实时在线重建3D人体姿态序列。实验结果表明,本文方法能够实时跟踪重建出稳定、准确的3D人体运动姿态序列;并且只需经过个体化人体参数自动标定过程,能跟踪身材尺寸差异较大的不同表演者;帧率约25fps。 (2)提出一种基于级联回归器模型的深度图像3D人体运动捕获方法 传统的基于随机决策森林的方法,尽管算法效率较高(平均40fps),但是在面对人体运动过程中的肢体遮挡时,不能获得合理和准确的3D人体姿态估计结果。基于局部姿态先验模型的(本文第3章)方法通过在线学习3D人体姿态先验模型和迭代非线性优化技术,虽然在一定程度上解决了合理和准确性的问题,但该算法计算效率相对较低(平均25fps),不能完全满足捕获快速运动(>25 fps)的实际应用需求。 针对这一问题,本文利用随机决策森林的快速求解特性,基于Gradient Boosting思想,提出基于级联回归器的从深度图像中实时在线捕获3D人体运动的方法,通过设计合理的3D人体姿态回归目标,提高3D人体姿态估计的合理性、准确性和算法效率。关键思路是设计依赖人体运动学约束的深度点云3D人体姿态特征,以3D人体姿态变化梯度为回归目标,使用运动捕获数据离线训练用于3D人体姿态回归估计的级联回归器模型。实验结果表明,本文方法能够超实时识别重建出合理、准确的3D人体运动姿态序列,在CPU单线程上的平均帧率约为100fps。 (3)提出一种基于精细个体化人体模型的多目深度相机3D人体运动捕获系统 相比非模型的3D人体运动捕获方法,基于模型的3D人体运动捕获方法由于使用了个体化的3D人体几何模型,等价于增加了3D人体形状先验知识,所以一般情况下,能获得更准确的3D人体运动姿态序列。更进一步,相比基于模型的单目深度相机的3D人体运动捕获方法,基于模型的多目深度相机3D人体运动方法由于使用了更多视角的数据输入信息,能最大程度降低由于肢体遮挡及自遮挡造成3D人体姿态重建的歧义性。但是目前还未见实时在线的多目深度相机3D人体运动捕获系统问世。 针对这一问题,本文提出一种基于精细个体化人体几何模型的低成本、实时在线准确捕获3D人体运动姿态序列的系统。关键思路是:首先基于人体几何模型库,根据多目深度相机捕获的3D深度点云数据,自动在线构建精细的个体化人体几何模型及其内嵌的人体骨架;然后,直接基于重建出的人体几何模型,根据多目深度相机捕获的3D深度点云数据,构建一个低成本、实时在线准确捕获3D人体运动姿态序列的系统。实验结果表明,本文方法能够根据多目深度相机捕获的3D深度点云数据,自动准确重建精细的个体化人体几何模型,并且基于该几何模型实时在线准确捕获不同人的多种类型3D人体运动姿态序列,在GPU多线程上的平均帧率约为20fps。