传统的机器人运动控制依赖于针对具体对象的定制化逆运动学求解和轨迹规划,该过程需要人力的高度参与且缺乏通用性。尤其是当面向带有冗余自由度的机器人时,该过程异常复杂。近年来,深度强化学习在图像处理、语义理解和语音识别等多个领域带来的变革性影响,极大地激发了研究人员们将其拓展到机器人技术领域的兴趣,期望能够通过深度强化学习策略使机器人像人类一样自主学习和优化完成各类任务的技巧。本文将深度强化学习策略应用到机器人运动控制任务当中,使得机器人运动轨迹的生成不再依赖于传统的逆运动学求解方法,并能针对不同的任务自主规划最优运动轨迹。主要工作如下:（1）针对由于仿真环境与实际环境的差异性导致算法需要实物训练、策略迁移、安全约束等冗繁工作的问题,引入数字孪生技术的理念,搭建了1:1还原机器人实物对象运动学的虚拟孪生系统。该虚拟孪生系统使得仿真环境中的训练结果能直接应用于实物机器人对象的运动轨迹生成。（2）为提高深度强化学习算法的学习效率和收敛速度,提出了两种双记忆库结构改进方法。在第一种方法中,设计了一种local-to-global采样策略,在训练前期利用高奖励数据激励智能体的策略学习;在第二种方法中,构建了一种专家引导的策略学习模式,为算法早期训练提供额外的高质量数据促进学习效率。（3）一个完整的机器人运动控制任务传统上通常规划为多个连续的子任务,以提升避障的灵活性或动作的流畅性等。这一处理方式为擅长于单一过程的深度强化学习策略的实施带来不小的挑战。本文针对该类在时序上具有先后顺序的连续多过程任务,提出了一种嵌套式结构的深度强化学习框架。（4）为全方位提升深度强化学习算法的训练效果,提出了两种针对奖励函数的改进方法。在第一种方法中,针对轨迹规划中对机器人末端执行器位置和姿态的同步控制需求,设计了一种可平衡位置和姿态控制权重的复合式奖励系统;在第二种方法中,针对难以人为地构建理想显式奖励函数的问题,设计了一种模糊反馈奖励机制。该机制通过模糊推理避免了构造显式奖励函数,并采用多层感知机建立了从状态到奖励的准确且高效的直接映射。（5）针对基于确定性策略梯度的算法在动作探索性上存在不足的问题,提出了一种带延展性探索与评估功能的确定性策略梯度深度强化学习算法。该算法相比基于随机策略梯度的算法,具有更低的样本规模需求,更小的计算资源开销,但又具备能匹敌随机策略梯度的强大的探索性能。此外,在上述工作中还开展了大量的具有针对性的对比实验,实验结果证明了所提出方法的可行性、有效性和优越性。