机器人产业作为科技变革的重要领域之一,如何提高机器人的智能化以及工作效率,一直以来都是学者们研究的焦点,高效的路径规划则是达到上述目标过程中最基本同时也是最关键的一步。在解决机器人路径规划问题上,蚁群算法被证明是一种很高效的算法,但是大多数都是针对单种群蚁群算法进行改进,在面对较复杂的环境时,性能下降比较明显。本文首先从经典蚁群算法展开研究,根据先验知识,建立有效的启发式函数,改进单种群蚁群算法;接着结合强化学习相关理论,提出一种启发式强化学习机制的双种群蚁群算法,并通过TSP问题验证算法的先进性;最后将双种群蚁群算法应用到机器人的路径规则之中,验证算法的性能。具体研究工作如下:首先针对蚁群系统(Ant Colony System,ACS)在解决TSP问题上存在易陷入局部最优和收敛速度较慢的问题,本文提出了一种改进的启发式蚁群算法。在迭代前期赋予伪随机因子较小的阈值,从而使蚂蚁能以较大的概率选择轮盘赌方式完成解的构建,扩大了解的搜索范围;同时通过引入迭代最优蚂蚁进行全局信息素更新,来进一步增加了解的多样性,使算法避免陷入局部最优。在迭代后期随着伪随机因子参数值变化幅度的加快,则用至今最优蚂蚁来取代迭代最优蚂蚁,以促进搜索进程很快的向最优解附近收敛,加快了收敛的速度。实验仿真结果表明改进后的算法在前期能够有效的跳出局部最优,并且在后期能够明显提升收敛速度。其次提出了一种基于启发式强化学习的异构双种群蚁群算法。蚁群分为主种群和子种群,主种群负责解的构建和信息素的更新,子种群则是在构建解的同时对主种群的解集进行替换。算法初期利用启发式算子自适应地控制两个种群的交流频率,通过偏离度系数控制解的交换方式。前期让子种群的最优解去替换主种群的随机解,增加解的多样性,同时引入强化学习机制对交流后主种群最优路径上的信息素进行自适应的奖赏,以增大最优公共路径以后被选择的概率。后期则控制子种群的最优解去替换主种群的最差解,强化最优路径上信息素的量,并对主种群最优路径上的信息素进行奖赏,进一步提高算法的收敛速度,最后通过TSP问题的对比实验,验证了算法能够更好的在收敛性和多样性上达到平衡。最后,将启发式强化学习的双种群算法应用到机器人路径规划之中。首先通过栅格法作对比实验,验证了算法的先进性;然后利用ROS系统中插件将算法应用到turtlebot机器人的路径规划中,验证算法的有效性;最后通过Gazebo仿真平台搭建仿真环境,通过turtlebot扫描得到保存环境信息的二维矩阵,将矩阵数值处理后得到模拟仿真环境的栅格地图,进一步验证算法在较为复杂的环境中的性能,实验结果证明算法可行性。