随着深度学习的研究与创新不断取得新突破,神经网络结构和数据集规模均呈现指数级增长,单设备的计算和存储资源有限,已不能满足现实任务需求。因此,跨设备实现深度学习模型分布式并行训练成为必然趋势,分布式并行策略的自动搜索和调优也成为近年来的研究热点。现有深度学习分布式并行训练主要基于专家经验设计,缺少对并行空间的探索求解过程,导致并行策略的最优性无法保证。因此有学者提出深度学习分布式并行策略自动搜索和调优技术,实现深度学习分布式自适应训练。然而,现有技术的性能优化维度单一,搜索过程需要耗费大量计算开销。此外,算子的特征提取方式难以感知计算图结构,导致搜索到的并行策略不具备可复用性。因此,本文聚焦上述问题,分别从分布式训练性能量化建模,搜索算法迭代优化和图嵌入特征提取等方面展开深入研究,主要创新工作如下:（1）针对性能优化维度单一的问题,本文深入分析深度学习模型结构特征和并行训练特点,研究并量化分布式并行训练开销,包括计算负载、通信负载、内存负载等,构建深度学习分布式并行训练性能评估模型,细粒度刻画分布式并行策略的执行性能,指导分布式并行策略的自动搜索和调优。（2）针对搜索过程开销大和收敛性能不佳等问题,本文提出了基于近端策略优化的并行策略自动搜索算法Trinity,通过模拟执行引擎接管真实分布式执行环境,大幅降低搜索开销。此外,Trinity采用近端策略梯度方法实现策略网络的迭代优化,使得搜索到的并行策略各方面性能更均衡。（3）针对并行策略可复用性等问题,本文提出了基于计算通信和位置感知的并行策略自动搜索算法Aware,利用计算通信的节点消融技术简化计算图,减小搜索空间。同时,采用位置感知的图嵌入技术抽取计算图结构特征,使得搜索到的分布式并行策略具备较好的可复用性和更优的运行时性能。最后,本文以分布式训练性能评估模型为指导,基于Trinity和Aware算法实现深度学习分布式自适应调优框架ParaGraph,并在此基础上开展实验。实验结果表明,本文所述方法能够以更小的资源开销搜索到综合性能更优的分布式并行策略,并在结构相似的神经网络模型上表现出更好的可复用性。