在科学技术迅猛发展的今天,人工智能在实践型的工程中运用得越来越多,几乎囊括医药领域,病情诊断,机器人控制,金融,法律,科学技术发现,玩具等所有部分,由此可见它的重要性。无论应用在哪个领域,都会涉及到相关领域的数据集以及模型训练。为了提高海量数据下模型训练的效率而提出的分布式模型,包括模型并行与数据并行,现如今依然面临着几个问题:其一是数据并行中同步更新的信息传输开销很大,同步更新并没有加快每次迭代的速度,正相反,某些情况下,每次迭代的时间可能比单机模型下还要慢,且有明显的短板效应,资源利用率极低;其二是异步更新中出现的梯度过期问题,当系统中某些工作节点仍使用之前的梯度计算,而参数服务器中,已经连续更新了梯度版本,则出现梯度过期的问题,使得梯度下降的过程不稳定,收敛速度慢。对于两种数据并行模式存在的问题,当前尚未有可靠的算法被提出与实现。首先,为了解决上述存在的问题,本论文创新性地提出了梯度过滤环形更新算法。传统的解决方法,梯度选择被用来减少通信的参数量,而环形更新结构用来消除参数服务器的瓶颈限制。将两种方式创新性的结合,先利用梯度选择算法减少交换的参数,再利用环形算法加速参数的交换与平均,使得模型训练的时间大幅减少,以此解决同步更新的问题。其次,基于数据并行模型异步更新方式,本论文提出一种基于过期阈值的版本软同步算法,能够有效减少梯度下降过程不稳定的情况,使模型加速收敛。本质是当某一个工作节点请求参数更新时,首先与系统当前使用的参数版本作对比,通过对比的结果决定是否更新。结合人脸识别模型的训练时间与准确率,以验证本论文提出的创新理论和方法。再将上述方法的实验结果与原始方法作对比,证明了本论文算法能够有效解决数据并行的问题,平均减少数据并行模型训练时间19.7%,提高GPU利用率22.9%,增强了系统的稳定性。