针对室外场景深度补全所面临的挑战和困难,使用具有强大的表达特征的能力的深度卷积神经网络作为工具,结合自动驾驶场景下的高精度稀疏深度和其它传感器采集到的大量的数据,对提高室外场景深度补全后的稠密深度图的精度开展相关研究是当前需要进行解决的问题。与稀疏深度补全相关的研究工作已经开展了很长一段时间,但是大部分的工作都是在室内环境下进行的。室外环境下的稀疏深度图与室内环境下的相比要稀疏很多,而且光照,目标遮挡以及景深也比室内环境下的变化更加剧烈。使用传统方法得到的室外的稠密深度图的精度较差,如何得到更加精确的稠密深度图仍然是室外深度补全的技术难点。本文提出了一种深度学习架构,该架构可以根据单张图像和稀疏深度为室外场景生成比较精确的稠密深度,具体的研究内容和相关成果如下:1.表面法向量在室内对于产生精确的稠密深度图能够发挥出很大的作用,因为表面法向量可以表示深度的变化方法,从而可以通过稀疏深度的积分产生高质量的稠密深度,但是在室外环境中对于稀疏深度补全的作用还未被证明。受室内深度图补全的工作的启发,本文提出的网络将表面法线估计为产生稠密深度的中间表示,并且可以进行端到端训练。2.通过改进的编解码器结构,本文提出的网络可以有效地融合稠密的彩色图像和稀疏的LiDAR深度。该结构相对于传统的编解码器结构不仅可以提高在稀疏深度补全上的表现,还可以节省网络参数。3.遮挡问题在室外稀疏深度补全的研究中还是个还未被很好解决的问题,为了应对这种挑战,本文提出的网络还预测了一个置信度掩膜,以处理由于遮挡而在前景边界附近产生的混合LiDAR信号。4.将彩色图像和表面法线的估计值与学习到的注意力图相结合,以提高深度的精度,尤其是对于远距离区域。5.大量实验证明,本文提出的模型改进了KITTI深度补全基准测试集上的最佳性能。消融研究也显示了每个模型组件对最终性能的积极影响,而综合分析表明,本文提出的模型很好地泛化到具有较高稀疏度的输入或者室内场景。