论文部分内容阅读
增强现实旨在将计算机生成的虚拟物体实时地叠加到真实场景中,使用户观察到虚实融合的场景,进而增强对现实环境的感知。增强现实的首要任务是需要所叠加的虚拟物体与真实场景保持几何一致性,即将虚拟物体的坐标系与世界坐标系对齐。因此,三维注册是实现虚拟世界与现实世界之间几何一致性的重要手段,需要满足实时性、精确性和鲁棒性要求。由于人类活动的重要性,人体头部姿态估计是三维注册中的关键技术,在增强现实、人机交互、医疗康复、游戏娱乐等均有重要应用。头部姿态估计需要定位其空间位置和朝向,增强现实技术对三维注册的在线实时性要求而具有挑战性。传统的头部姿态估计方法更多地基于彩色图像,因为彩色图像容易采集并且可以保证较高的分辨率。但是,基于图像的姿态估计方法对光照变化、部分遮挡和特征点缺失非常敏感,导致算法的精度不高。近年来,随着深度采集技术的发展,例如微软Kinect的出现,深度图越来越体现了其在视觉问题中的优越性。由于深度图包含了三维信息,可以有效克服彩色图像在逆向问题中面临的求解病态性。目前,深度图分辨率低,并有较为严重的噪声和信息缺失,导致算法鲁棒性较差,使得彩色图像和深度图相结合的方法具有优越性,其核心问题是如何结合彩色与深度信息的。头部姿态估计依然面临许多技术的挑战。本文主要研究基于微软Kinect传感器采集的RGB-D数据的头部姿态估计。首先,研究了三维注册中目标函数无法解析表达的优化求解问题;其次,研究了基于深度图的头部姿态估计;最后,研究了彩色图像与深度图相结合的头部姿态估计。本文的主要贡献如下:1.提出一种目标函数无法解析表达的优化求解策略。已有的基于模型的三维注册方法都需要解决外观特征点的对应性问题,且求解计算量较大。在优化求解时通常要求目标函数是可以解析表达的。但是,当目标函数无法解析表达时,算法结果较差。针对具有三维模型,但缺失纹理信息的不规则物体的注册问题,本文提出一种基于轮廓匹配的三维注册优化求解方法。该方法利用物体在图像上的轮廓线匹配来估计姿态,匹配误差可以表示为位置与角度参数的函数。由于该函数不能解析表达与求解,本文提出通过离散采样计算导数及目标函数值。实验结果表明,该方法可以快速收敛,并具有很高的精确性和鲁棒性。2.提出一种基于深度图的实时头部姿态估计方法。传统的基于彩色图像的头部姿态估计方法由于对光照、阴影和特征的缺失非常敏感,面临严重的鲁棒性和精确性问题。深度图具有更高维度的信息,从而可以提高参数估计的精确性和鲁棒性。为了更好地保证算法的实时性,本文提出一种仅使用深度图进行头部姿态估计的方法。该方法结合卡尔曼滤波和随机回归森林方法准确估计头部姿态。使用卡尔曼滤波的预测模型,提高随机回归森林的计算速率,降低分类错误率,提高姿态估计的准确率。结合卡尔曼滤波的修正模型保证算法的鲁棒性和精确性。3.提出一种结合彩色图像和深度图的实时准确头部姿态估计方法。深度图一般解像度较低,并有严重噪声,直接用深度图估计头部姿态导致算法精度较差。针对此问题,本文提出一种结合彩色图像和深度图的准确三维头部姿态估计方法。该方法可以同时利用彩色图像高分辨率的优势和深度图像的三维信息。通过本文定义的三维特征点,将姿态估计问题转化为点云匹配。定性和定量的实验结果表明,相对于其他的方法,本文方法可以显著的降低误差,具有很高的准确率。