多目深度相机的人体运动捕获方法研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:ru438185839
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无标记的3D人体运动捕获技术一直是计算机图形学与计算机视觉领域的研究热点,其成果被广泛应用于影视制作、游戏娱乐、训练仿真、医疗康复、安全预演等多个领域。但是,目前最好的基于深度相机的无标记点3D人体运动捕获商用系统Kinect却因为肢体遮挡或自遮挡等原因,无法合理、准确地重建3D人体运动姿态序列。本文以实时在线地捕获合理、准确的3D人体运动姿态序列为研究目标,以人体运动捕获数据库为基础,构建了基于多目深度相机的3D人体运动捕获系统。本文重点对基于局部姿态先验的深度图像3D人体运动捕获技术、基于级联回归器的深度图像3D人体运动捕获技术,以及基于精细个体化人体模型的多目深度相机3D人体运动捕获系统进行了深入的研究。  本文的创新点主要有:  (1)提出一种基于局部姿态先验模型的深度图像3D人体运动捕获方法  基于随机决策森林的3D人体姿态识别方法能自动识别出不同身材尺寸的表演者以及日常生活中的多种类型的人体运动姿态,但受到人体运动中肢体遮挡等因素的影响,不能获得合理和准确的3D人体运动姿态重建结果。传统的基于数据驱动的方法,是根据捕获的深度图像直接进行数据库检索最相似姿态的过程,此类方法只能处理身材尺寸接近数据库中标准尺寸3D人体模型的表演者数据,不能有效满足实际应用需求。  针对这一问题,本文提出一种基于局部姿态先验的从深度图像中实时在线捕获3D人体运动的方法。关键思路是根据从捕获的深度图像中自动提取具有语义信息的虚拟稀疏3D标记点,从事先建立的异构3D人体姿态数据库中快速检索K个姿态近邻并构建局部姿态先验模型,通过迭代优化求解最大后验概率,实时在线重建3D人体姿态序列。实验结果表明,本文方法能够实时跟踪重建出稳定、准确的3D人体运动姿态序列;并且只需经过个体化人体参数自动标定过程,能跟踪身材尺寸差异较大的不同表演者;帧率约25fps。  (2)提出一种基于级联回归器模型的深度图像3D人体运动捕获方法  传统的基于随机决策森林的方法,尽管算法效率较高(平均40fps),但是在面对人体运动过程中的肢体遮挡时,不能获得合理和准确的3D人体姿态估计结果。基于局部姿态先验模型的(本文第3章)方法通过在线学习3D人体姿态先验模型和迭代非线性优化技术,虽然在一定程度上解决了合理和准确性的问题,但该算法计算效率相对较低(平均25fps),不能完全满足捕获快速运动(>25 fps)的实际应用需求。  针对这一问题,本文利用随机决策森林的快速求解特性,基于Gradient Boosting思想,提出基于级联回归器的从深度图像中实时在线捕获3D人体运动的方法,通过设计合理的3D人体姿态回归目标,提高3D人体姿态估计的合理性、准确性和算法效率。关键思路是设计依赖人体运动学约束的深度点云3D人体姿态特征,以3D人体姿态变化梯度为回归目标,使用运动捕获数据离线训练用于3D人体姿态回归估计的级联回归器模型。实验结果表明,本文方法能够超实时识别重建出合理、准确的3D人体运动姿态序列,在CPU单线程上的平均帧率约为100fps。  (3)提出一种基于精细个体化人体模型的多目深度相机3D人体运动捕获系统  相比非模型的3D人体运动捕获方法,基于模型的3D人体运动捕获方法由于使用了个体化的3D人体几何模型,等价于增加了3D人体形状先验知识,所以一般情况下,能获得更准确的3D人体运动姿态序列。更进一步,相比基于模型的单目深度相机的3D人体运动捕获方法,基于模型的多目深度相机3D人体运动方法由于使用了更多视角的数据输入信息,能最大程度降低由于肢体遮挡及自遮挡造成3D人体姿态重建的歧义性。但是目前还未见实时在线的多目深度相机3D人体运动捕获系统问世。  针对这一问题,本文提出一种基于精细个体化人体几何模型的低成本、实时在线准确捕获3D人体运动姿态序列的系统。关键思路是:首先基于人体几何模型库,根据多目深度相机捕获的3D深度点云数据,自动在线构建精细的个体化人体几何模型及其内嵌的人体骨架;然后,直接基于重建出的人体几何模型,根据多目深度相机捕获的3D深度点云数据,构建一个低成本、实时在线准确捕获3D人体运动姿态序列的系统。实验结果表明,本文方法能够根据多目深度相机捕获的3D深度点云数据,自动准确重建精细的个体化人体几何模型,并且基于该几何模型实时在线准确捕获不同人的多种类型3D人体运动姿态序列,在GPU多线程上的平均帧率约为20fps。
其他文献
学位
WEBOOT在工作流管理联盟制订的XPDL规范和对象管理联盟制订的工作流管理规范的基础上,采用面向对象的分析和设计,使用设计模式优化设计,并采用面向对象编程语言进行实现,具有
学位
图像压缩在多媒体存储和传输中扮演十分重要的角色,小波变换因具有时域频域局部性、多分辨等性质在图像压缩中正在逐步取代DCT变换,并已得到广泛的应用。基于小波的图像压缩已
随着Internet以及电子商务的发展,人们对信息安全的需要越来越迫切。但是在传统的信息加密技术中,密钥的分发一直没有得到很好的解决,而基于公钥体制的PKI(Public Key Infrastru
信息加密的方式分别有软加密方式和硬加密方式两种.采用软加密方式时,密钥将会呈现在计算机的内存中,这将导致失密的可能.而采用硬加密方式时,密钥将不会、也不允许被计算机
计算机、无线通信和互联网的融合是当今技术发展的趋势之一,随着各种短距离无线通信技术的发展,人们提出了无线个人区域网(WPAN,WirelessPersonal AreaNetwork)的概念.蓝牙标
随着ATM技术的发展,宽带网络正成为通信网络的主流,但是在实现宽带接入之前,如何为现有的用户设备提供一个接入平台以利于它们接入到各种网络中,仍然是一个比较现实的问题.市
该文首先系统而全面地介绍了蚁群优化算法,包括其产生背景、算法基本框架及其应用.接着,我们将该算法应用于求解最大团问题——经典的难组合优化问题.通过对蚁群优化算法的一
随着云计算和多核/众核架构的飞速发展,数据中心中的资源利用率成为亟待解决的一个重要问题,当前数据中心资源利用率非常低的原因在于:由于资源竞争导致的性能干扰普遍存在,为了