三维场景理解是计算机视觉与机器人领域的一个重要研究内容,它赋予了智能机器人感知和分析三维世界的能力。三维场景形状补全与语义分割的联合研究,亦称为语义场景补全（Semantic Scene Completion,SSC）,是室内三维场景理解的新兴热门研究课题。其中形状补全任务能够突破物体遮挡和视角的限制,从单帧图像来感知整个场景以及物体的完整几何形状与位置信息;语义分割任务则通过估计物体的类别标签来实现对三维场景的高层次语义理解。三维场景中丰富多样的物体存在尺寸、形状和布局方面的巨大差异,且场景中的物体由于图像视角的限制与遮挡等因素而造成的可见性上的较大变化,使得语义场景补全任务面临巨大的挑战。本文将深度卷积神经网络应用于RGBD（RGB彩色图像和Depth深度图像,RGBD）数据,围绕构建高效、准确的语义场景补全网络模型的研究,为该任务的若干个迫切问题提出了解决方案。主要创新点包括:1.提出一种结合了二维和三维卷积的混合神经网络结构来实现语义场景补全。该网络不仅使用了TSDF编码来获取具有不受投影视角限制的三维栅格数据,而且通过二维卷积网络从原始深度图提取信息,有效地减少栅格化过程造成的细粒度信息的损失。本文通过构建二维与三维的特征投影算法,实现了二维与三维卷积相结合的混合神经网络。该混合结构能够将两种数据统一至三维空间进行处理以实现更加充分的利用,是本文后续方法的网络框架结构的重要基石。2.提出位置重要性感知损失函数（PA-Loss）,用于提升网络模型在训练过程中对重要位置的感知能力。以往的语义场景补全方法均未考虑场景中不同位置的体素的重要性的差别,缺少对物体表面、棱边、角点等几何信息更丰富的位置的关注。本文设计了局部几何各向异性来确定不同位置的体素的重要程度,并以此构建PA-Loss来增强训练过程中位于物体表面或场景角落的稀有体素的重要性,同时稀释对象内部携带的冗余信息。因而,该损失函数有利于恢复物体表面和场景角落等部位的关键细节。3.提出维度解耦残差（DDR）三维卷积单元,并基于DDR模块构建了一种轻量化的语义场景补全网络模型。DDR模块将三维卷积的参数量和计算量由三次方增长转变为线性增长,其巧妙的结构能够显著减少网络模型的参数量与计算量而不会降低模型的性能。此外,本文方法将彩色图像的特征图和深度图像的特征图无缝地结合在一起,进一步提高了形状补全和语义分割的精度。4.提出门控循环融合模块（GRF）,用于彩色图像和深度图像的三维特征融合。GRF首次在SSC任务中引入“门”结构和“记忆”机制,可以有效地进行两种模态数据之间的选择与融合。本文构建了基于GRF的端到端的网络模型GRFNet,并提出了单阶段和多阶段融合策略,用于在语义场景补全任务中融合颜色信息和深度信息。5.提出一种新颖的各向异性卷积（AIC）模块以提升网络模型对物体的尺寸多样性的自适应能力。不同于普通的三维卷积,AIC模块不再受限于固定大小的三维感受域,而是能够依据每个体素的特征,以各向异性的方式在三个不同的维度上分别进行建模;并且能够通过学习调制参数来调整不同位置的体素所需要的卷积核尺度,从而隐式地实现大小可变的三维卷积内核。而且,与标准三维卷积操作相比,新模块的计算需求更少,参数效率更高,可以当作即插即用模块来替代标准三维卷积单元。通过堆叠多个这样的各向异性卷积模块,可以在确保模型参数量可控的同时,进一步提高网络建模的能力。本文方法在基准数据集上进行了大量实验与评估,结果表明本文的方法明显优于现有方法,达到了当前的较高技术水平。