随着无人驾驶技术的飞速发展,基于传感器的环境感知与自主定位技术(SLAM)开始受到诸多研究者的青睐。传统的SLAM技术依赖于单一传感器实现感知,其在复杂的环境下难免有着各自的弊端。本课题设计了一个融合激光雷达与视觉传感器的环境感知系统,通过将获取的激光点云与视觉信息融合,增强视觉的特征提取效果与深度信息,进而构建更为精准的环境感知框架。整个框架融合了激光雷达与视觉传感器的优势,可以对比较复杂的环境完成良好的感知,并减少算法数据处理量,提升感知精度。本文主要研究部分为如下几点:(1)单相机的全自动标定与非重叠视野多相机联合标定针对本课题所采用的多相机系统,为了快速完成相机标定工作,提升相机标定精度,本文通过一次性获取视野内的多个棋盘格数据,并基于能量生长函数识别分割棋盘格,完成相机的一次性标定;针对没有共同视野的多相机,采用特殊SURF特征点云板,构建图优化模型,完成非重叠视野下的多相机联合标定。(2)激光雷达与多相机的标定优化针对激光雷达与相机的标定,通过雷达与多相机之间的几何约束,构建优化模型,推导得出激光雷达与每个相机之间的外参关系,并基于重投影误差最小化,采用LM法对所获取结果进行优化。(3)基于融合数据的运动估计对所获取的融合数据,采用激光信息对特征点的深度进行估计,完成数据关联,通过相邻特征点间的几何约束,基于PnP算法来完成移动平台的运动估计,并采用BA完成了局部优化。(4)后端优化与回环检测针对前端的运动估计,设计了基于融合数据的关键帧选择与路选取策略,通过对路标深度进行插值估计,增强了整个后端优化算法的鲁棒性,基于位姿图来完成全局的数据优化,同时构建独立线程搭建回环检测模块,采用词袋模型来描述图像,检测当前数据与历史数据的相似性来实现回环检测,基于回环帧融合并修正全局地图,消除漂移误差。