随着神经网络的广泛应用,其缺点愈发被发现。由于会产生“灾难性遗忘问题”而无法进行增量学习。近些年来,迁移学习的相关领域发展迅速。迁移学习方法大都注重模型在新任务上的效果,而在过去任务上的效果往往不注重。作为一种特殊的迁移学习方法,增量学习主要任务就是解决“灾难性遗忘问题”。本文将从另一个角度对灾难性遗忘进行解释:神经网络的训练对其数据的分布有很高的要求,如果训练数据不符合目标结果的分布情况,网络将会对一部分数据过拟合,从而产生训练失效。在增量学习任务中,后训练任务的数据不一定能满足先前任务训练数据的分布,所以会产生灾难性遗忘。基于以上所提出的另一种对灾难性遗忘的理解,在本文中提出了一种更快的补全后训练数据分布的方法RFD（Random Sample Distribution Fitting,RFD）用来克服增量学习方法在时间消耗较大并且适用条件较为苛刻的问题。该方法使用随机数值进入原训练网络,随机数值和其在原训练网络的结果作为新网络的输入输出和后训练数据一同更新后训练网络,使其大致具有与先前任务的一致分布。围绕该模型本文进行了以下工作:（1）通过概率分布的公式推导,在理论上证明该方法的合理性。（2）证明该方法对本文提出的两种场景下的灾难性遗忘有抑制的作用。（3）对模型的特性进行讨论,找到了合适的模型参数。（4）将本模型与其他基于神经网络的增量模型进行对比,证明了该模型相较于其他增量模型在时间和效果上的优势。在近些年网络架构搜索（Neural Architecture Search,NAS）开始被研究,而NAS的网络作为一种特殊的神经网络也有可能产生灾难性遗忘问题。并且结构和权值的同时变化会对迁移工作造成了很大的影响,已有的迁移方法构造复杂并且很难对其结果进行解释。猜想在本文提出的RFD方法应用到NAS中后同样能对其产生效果。为此本文重新定义了搜索的方式并在实验中证明其相关的特征,实验证明该方法可以使结构变得更加稳定,能够有效缓解NAS中增量学习权值与结构同时变化对增量学习带来的部分影响。并且在任务迁移中能够节省相应的迁移成本。