论文部分内容阅读
本文构建了一个基于五台深度相机的头部三维快照系统,能够在1秒内完成人头数据的采集,鲁棒地进行几何及纹理重建。顾名思义,三维快照类似于日常生活中的2D拍照,是对三维物体进行快速几何及纹理重建,得到物体三维表示的过程。为了满足快速数据采集以及降低对人头运动方式的依赖性需求,本文系统会出现噪声在深度融合过程中不能比较好地被消除的问题,然而此原始噪声在转动相机或转动头部的场景中能够得到较好地消除。为解决噪声问题,本文借助深度学习技术,训练了一个直接用于深度图像的降噪网络,能够有效降低重建几何表面凹凸不平的噪声,提升几何表面的平滑度。为使得重建的人头模型在不同相机数据的拼合处不存在“裂痕”以及提高系统对五台相机相对位置发生微小变化的容忍度,本文在基本的标定外参基础上,使用基于深度帧的相机位姿全局优化方法进一步提升每帧位姿的精确度,同时结合深度相机原始测量值精度的分布规律对原始深度数据进行相应的预处理,之后再使用KinectFusion算法进行重建。纹理映射方面,为解决原始的基于多张图片进行优化的纹理重建算法对光照敏感以及纹理上出现裂缝等问题,本文加入人脸特征点先验及人脸轮廓先验知识,在本文系统中能够得到更鲁棒的结果。通过这几部分的有机结合,系统中降噪、全局位姿优化及几何重建均在GPU上并行实现,最终系统能够在1秒内完成人头数据的采集,15秒内得到几何及纹理重建结果。采集过程中无需要求头部按照一定方式进行运动,保持自然坐姿即可,过程类似于自助拍证件照,相比于单个相机的重建方式加快了采集速度同时降低了对用户行为的依赖,大大提升了用户体验。