车辆智能驾驶技术的发展和推广在保障交通安全、提高交通效率、建设智能交通等方面有重要价值。然而,当前车辆智能驾驶系统中的环境感知、决策规划和运动控制仍然存在诸多缺陷。行为决策和轨迹规划一直是智能驾驶技术的核心模块和智慧水平的体现。在开放道路环境中,交通参与者的行为存在不确定性、交通场景复杂多变,现有的行为决策和轨迹规划方法存在决策规划不一致、复杂场景实时决策规划困难等问题,目前仍不能满足人们对智能驾驶车辆的需求。为此,本文以智能驾驶车辆技术为研究对象,围绕其在复杂交通场景下的驾驶行为决策和轨迹规划等关键问题展开研究,提出了基于拓扑的决策规划思想。首先提出了拓扑路径优化方法,然后将拓扑表示扩展至复杂动态交通场景下的同步行为决策与运动规划中,并在驾驶行为决策自学习算法中结合运动规划的拓扑特征,以此突破智能车辆在静态障碍不规则分布、复杂动态交通流中决策和规划所面临的挑战,最后在虚拟仿真-实车测试相结合的智能驾驶平台上进行了算法验证。主要工作和创新点包括以下四个方面:（1）提出了基于双边界约束的拓扑路径优化算法,旨在解决障碍不规则分布的场景中,可通行区域难以提取与表征、边界约束复杂等导致路径规划困难的问题。算法利用不规则障碍区域将偏移的参考路径分割成片段,并采用宽度优先算法连接相邻片段,从而生成多个拓扑路径通道。设计了一种带双边界约束的高阶惩罚函数,使用二次规划对拓扑通道中的路径进行了数值优化。在复杂障碍桩场景中的实验结果表明,算法有能力规划出具有拓扑特征的多条离散路径。与广泛使用的采样类和搜索类路径规划算法的对比结果表明,论文提出的算法不仅路径规划结果更加平顺、合理,而且计算代价更小。（2）针对动态交通车流场景,提出了基于拓扑空间的同步行为决策与轨迹规划算法（Synchronous behavior searching and trajectory planning method,SMSTP）。该方法首先将车辆的规划空间约束在其所能达到的极限空间-轨迹剖面（Trajectory profile）内,用动态车流预测轨迹所表示的轨迹剖面将规划空间分解为多个子空间,进而将子空间有规律地组合成不同的拓扑通道,随后依次对各拓扑通道纵向、横向进行解耦数值优化得到对应的轨迹。在复杂交通流和高速坠物等场景中的仿真实验结果表明,SMSTP算法具有较好的动态场景处理能力。与主流的考虑车辆行为的决策规划算法对比表明,SMSTP算法在拓扑行为生成、轨迹分辨率、优化效率等多个性能指标具有明显优势。（3）提出了基于拓扑通道特征的行为决策算法（Topological features based behavior decision,TFBD）。首先结合SMSTP算法中规划空间形成的轨迹剖面特征、车辆自身状态、道路信息等建立了智能驾驶车辆行为决策的马尔科夫决策过程模型,然后基于离线训练的对偶延迟深度确定性策略梯度算法（Twin delayed deep deterministic policy gradient algorithm）,设计了智能车行为决策的自主学习优化算法。在多种任务场景（六车道直路、带斑马线弯路、匝道汇车等）的仿真实验中,智能车能够做出合理行为决策并选择恰当的拓扑轨迹。与专家经验系统和轨迹剖面特征缺失的学习算法进行了对比,结果表明基于轨迹剖面特征的TFBD算法有更高概率学习到最优策略。（4）设计了基于可拓层次分析法的运动规划算法评价方法,综合考虑涉及运动规划过程的快速性和结果的平顺性、一致性、准确性、安全性、可达性等6项性能指标,实现了运动规划算法的快速定性分析和评价。通过引入虚拟的动静态交通要素（交通参与者、道路结构等）,设计、构建了智能车辆驾驶行为决策与运动规划仿真平台,实现了实车测试与仿真环境相结合的算法快速测试,加速了决策规划算法的测试、迭代过程;在本文算法和仿真平台的支撑下,2000km的复杂环境智能驾驶测试中,“HQ3”的人工干预比例小于1.5%。本文第二、三、五章的研究成果已用于项目组的智能驾驶实验平台“HQ3”上,第四部分进行了实验测试。