本文以国家自然国家自然科学基金支持的重大研究计划"视听觉信息的认知计算"为课题研究背景,将具有360°视野的全向相机系统与三维激光雷达相结合,构建全向三维视觉信息采集系统为无人驾驶车辆提供丰富的全向图像信息和精确的三维位置信息。研究了基于融合的全向三维视觉数据的车道检测与定位问题。取得的主要成果和创新点如下:1、研究了逆透视变换对车道线特征提取的影响,在透视图像和逆透视图像上测试三种基于全景图像提出的车道线特征提取算法的性能。在全景图像数据库上的实验结果表明,同种车道线特征提取方法在逆透视图像上的敏感性、精度、鲁棒性、潜在最佳性能、平均正确率等性能指标均优于其在透视图像上的性能。2、提出了一种基于畸变全景图像的车道检测算法,在全景图像空间进行曲线拟合,直接获得车道线在车体坐标系下的参数。实车实验证明了在具有畸变的全景图像上进行车道检测的可行性。3、提出了一种车道模型参数优化的车道模型拟合方法,用统一的车道模型拟合直线车道和曲线车道。根据抛物线车道模型将车道线特征图变换到线性空间,直线和曲线车道边缘在线性空间均用统一的直线进行描述。将车道模型参数拟合问题转化为参数优化问题,并通过最小化目标函数得到车道模型最优的参数。在公开数据库和实车采集数据上对提出车道检测算法进行测试,长距离实验结果表明基于车道模型参数优化车道检测算法准确率达到99%。4、提出了一种基于表观地图和三维特征地图的定位方法。定位过程为两步:基于表观地图的初步定位和初步定位结果指导下的基于三维特征地图的定位。在城市道路场景中测试提出的定位算法,实验结果表明基于位置采样创建的表观地图,定位效果优于基于特征距离采样的建图方法;而且在表观地图初步定位的基础上,基于三维特征地图的方法定位可以提高初步定位的精度。