矿山开采的智慧化是新一代信息技术与矿业的深度融合,在绿色矿山的建设过程中发挥着越来越重要的赋能作用。矿山挖掘的远程和无人作业是矿山开采智慧化的重要内容,能有效解决矿业企业的人员安全、环保及劳动力短缺等严峻问题。多信息融合的现场3D重建模型作为远程和无人作业的重要数据基础,仍存在采集自动化程度低、实时性差、信息单一等问题。本文以矿山挖掘作业场景为研究对象,基于激光雷达和视觉传感器,研究融合语义实景信息的在线3D重建方法,以解决在该场景下进行三维重建的系列问题,对矿山挖掘的远程和无人作业有重要的理论意义和应用价值。针对矿山挖掘作业场景3D重建工作的实时性差以及重建信息单一等问题,本文结合现有的实时3D重建方法以及实景、语义信息融合方法,利用激光雷达和视觉传感器构建一个在线的语义实景3D重建系统。该系统既可为无人作业的矿山挖掘设备提供精确的目标位置及语义信息,又可为远程操控的工作人员提供实时的实景3D重建模型,以弥补纯图像监控缺乏深度信息的不足。针对激光雷达与相机因为数据结构不同和激光雷达点云的稀疏性导致二者难以准确匹配相同特征点的问题,本文通过在传统的棋盘格标定板上增加全反射反光材料,设计一种能够被激光雷达和相机自主识别的标定板。然后通过自动拟合来构建空间虚拟特征点与图像特征点间的两两匹配关系,最后利用图优化方法优化两传感器间的外参及虚拟特征点位置。利用此方法标定的传感器外参在归一化平面上的重投影误差小于1mm,满足激光雷达与相机信息融合的实际需求。根据多线激光雷达的点云特性以及3D重建模型的纹理需求,设计基于点云插值和图像映射的实景3D模型在线构建方法。该方法利用梯度降采样及上采样的方式构建均匀稠密的3D点云,通过图像映射使点云与像素信息融合,利用八叉树点云结构对全局重建模型进行更新。实验结果表明该方法能实时构建出均匀致密的实景3D点云模型,融合实景信息的稠密点云重建效率达到15FPS,重建精度小于4cm/m。通过对矿山挖掘场景的矿石等元素进行数据集制作与训练,建立该场景的语义信息提取模型。利用该模型提取语义信息并与点云进行投影匹配,实现语义实景在线3D重建。该方法从图像中获取语义信息并与重建点云进行融合,既能充分利用图像信息也能提高语义重建效率。实验结果表明语义信息融合速度达到30FPS,平均融合精度达到厘米级,满足实时性及精度要求。