随着三维重建技术的发展，人们获取深度图像或者三维数据的手段越来越多，无论是深度图像还是三维点云，获得的数据都存在噪声。矩阵重建和点云优化去噪一直是图像处理和三维重建领域的研究热点。本文围绕着深度图像和点云数据的优化问题，深入地研究了图像处理理论的相关技术，并且将其应用到三维领域上。微软的Kinect作为最近几年兴起的体感传感器，具有获得深度数据和彩色数据的功能。本文针对Kinect获取的深度图像序列，对其空洞进行填充处理，并将其转换成三维点云数据，再进行去噪优化。本文主要研究成果如下：（1）提出了一种基于块匹配的深度图像填充算法。先把深度图像看成矩阵，然后对其进行分块处理，为了降低矩阵中缺失元素的比例，再对图像块进行块匹配操作，利用当前块与相似块构建出新的低秩矩阵，结合奇异值阈值算法对其进行填充，最后将填充的块进行整合，获得深度图像的填充结果。实验结果表明，本文提出的方法可以有效填充深度图像中的空洞。（2）提出了一种基于距离场的三维点云优化模型。该优化模型包含了两项：一为点p到其原始位置的距离，即保真项；二为点p到其K邻域点集拟合的平面的距离，即优化项。其中K邻域的选择考虑了曲率的大小，使得优化模型具有曲率自适应的特性。实验结果表明，本文提出的优化模型可以有效地优化三维点云数据，即使是噪声很大的情况下。基于上述研究成果，实现了一套三维场景重建系统，该系统主要包括深度图像填充、三维点云优化、渲染及漫游等模块。通过该系统模拟了装有Kinect的机器人在运动中所看到的真实场景，以三维点云模型渲染出来并进行漫游。论文最后，总结了上述方法的优缺点，并分析了下一步的研究方向。