随着图形处理技术与显示技术的快速发展,人类对视觉效果的要求越来越高,从而推动了显示设备实现三维立体效果,给用户带来真实生动的观赏体验。近年来,虚拟现实市场的出现使立体视觉的研究越来越得到重视。利用摄像机收集立体视频比较困难、成本偏高,而且传输占用带宽大,但对于三维场景重建技术,视频数据传输过程中只需要传送彩色图像与相应的深度图像,所占带宽较小。因此,三维场景重建是目前机器视觉研究领域中备受关注的研究方向。由视频流重建三维场景是计算机视觉、图像处理与模式识别等领域的重要研究内容,对于机器人视觉、无人机导航、车辆辅助驾驶以及医学影像分析等方面的发展具有重要的意义。本文在深度图信息提取方面,使用了基于机器学习的图割算法,结合U-Net和Mask R-CNN的优势,从图像中准确地提取出更受关注的前景目标。相应的背景深度模型根据场景的深度分布结构进行构建,从而得到背景深度图。为更好地突出前景对象的立体效果,在初始深度值的基础上,为每个前景对象区域分配一个额外的深度值,以完成前景深度图。融合背景、前景深度图,即可得到最终的深度图。然后,通过改进的虚拟视点绘制技术得到用于立体显示的图像对。对于重建后的目标图像存在空洞点的问题,本论文总结了空洞点形成的原因,介绍了典型的空洞填补方法,对空洞进行分类填补。本文采用改进的邻域插值方法对小空洞进行修复,采用参考图像中信息来填补大空洞,通过前景背景深度梯度过渡增强前景与背景边界的视觉效果。本文通过具体数据集对基于机器学习的视频流三维重建技术进行实验分析,验证了基于机器学习的视频流三维重建技术的有效性。与传统算法相比,改善了立体图像的视觉效果。实验结果显示,图像质量PSNR 比 Criminisi算法和整体变分算法分别高出4.08%和2.79%。本文算法也为诸如车辆道路场景的三维重建提供了一种可行的思路。