循环神经网络语言模型(RNNLM)能保存训练样本的历史信息,已经成为自然语言处理领域研究和应用的热点。但现有的RNNLM在训练时涉及大量的参数,需要完成大量矩阵运算,使得训练RNNLM时间开销巨大,极大的限制了RNNLM中隐藏层神经元的数量,影响了其准确性。我们前期通过改变RNNLM的结构,在分布式内存计算平台Spark上实现了基于Spark的大规模RNNLM系统,利用Spark中计算节点的并行计算能力有效提高RNNLM的训练效率,但相比生物神经系统仍然存在训练机制缺少并行性等诸多影响RNNLM训练效率的问题。我们首先分析了RNNLM中影响训练效率的因素,在基于Spark大规模RNNLM系统的基础上,设计了基于神经元分布式增殖异步RNNLM系统的结构,并介绍了其中主要的功能模块,以及相关参数的定义。接着给出了基于增殖的神经元训练算法,通过神经元的动态增加,不断激活新的神经元,实现了网络的动态扩展,减少了RNNLM整个训练周期内的总时间开销,实现训练时间开销和准确性的动态平衡。实现了算法的原型系统,构建了同源和不同源的多个数据集进行了测试与分析,相比相同条件下的现有RNNLM训练算法,基于增殖的神经元训练算法能在减少RNNLM训练开销的同时,还具有准确性方面的优势。其次设计了神经元分区异步训练算法,通过神经元的分区降低神经元训练的复杂性,并通过异步训练策略减少了神经元节点之间的同步。在Spark平台实现了算法的原型系统,使用多个数据集进行了测试与分析,验证了相比相同条件下的现有RNNLM训练算法,神经元分区异步训练算法具有良好的训练效率优势,同时仍然保持了很好的准确性。最后在Spark上,实现了基于神经元分布式增殖异步RNNLM系统的原型,使用多个数据集进行了测试与分析,实验结果表明基于神经元分布式增殖异步RNNLM系统能大幅减少训练的时间开销。从而验证了基于神经元分布式增殖异步RNNLM系统相比现有RNNLM系统具有良好的实用性,能在使用相近计算资源开销时,构建具有更多神经元的大规模RNNLM系统,并使用更多训练语料,提高RNNLM系统整体的准确性。