水下蛇形机器人是一种无基座多关节前后串联而成的链式结构机器人,其冗余的关节结构使其具备高机动性和灵活性。然而,水下蛇形机器人建模困难且具有超冗余结构,使得在给定约束条件下找到一个满足目标的运动步态变得非常困难。为了简化问题,传统的步态生成和优化方法大多都是基于蛇形步态方程这个次优形式开展研究的。因此,本文设计了基于深度强化学习（Deep Reinforcement Learning,DRL）的步态生成器,蛇形机器人的步态不再局限于蛇形步态方程,而是由RL优化的神经网络表示。主要研究内容如下:首先,针对水下蛇形机器人的运动环境,通过选择合适的水动力理论建立了较为准确的水动力模型,并采用迭代牛顿-欧拉的方法建立了水下蛇形机器人的动力学模型。其次,针对高速步态生成问题,提出了一种通用的基于无模型RL的步态生成器,得到了一种类似于蜿蜒步态的新型高速步态。首先,设计了基于近端策略优化（Proximal Policy Optimization,PPO）算法的步态生成器,得到了一个无需提前给定步态方程形式且适合高速运动的RL策略网络;然后,将RL策略网络投影到正弦函数空间,得到了一种新型的RL节律运动步态,并利用网格搜索的方法得到了一种速度更快的高速RL步态;最后,通过仿真,将所提方法生成的步态与传统步态对比,证明了所提方法生成步态的运动速度更快。最后,针对水下蛇形机器人多目标最优步态生成问题,提出了一种基于双延迟确定性策略（Twin Delayed Deep Deterministic policy gradient,TD3）的高效步态生成方法,得到了一系列在期望速度下的新型高效步态。首先,设计了一种基于TD3算法的高效步态生成器,在不需要给定步态方程形式的前提下,得到了一系列在期望速度下比NSGA-II算法优化结果功率更小的新型高效步态;然后,针对上述方案在低速时难以优化的问题,采用基于路径积分算法对步态进行了优化,在更短时间内得到了一系列与NSGA-II算法优化结果相近的步态参数组合;最后,通过仿真,将所提方案与NSGA-II算法对比,验证了所提步态优化方法的有效性。