循环神经网络（Recurrent Neural Networks,RNN）是一个简洁高效的非线性通用模型,加上时间元素之后,能有效地处理动态系统（包括时间序列）问题。在实践中,RNN的网络结构（包括反馈位置,隐藏层神经元个数,激活函数等）通常需要人为预先确定,这要求丰富的经验或者繁琐的反复实验;另外,RNN的权值参数优化一直是基于梯度方法的,梯度消失和梯度爆炸问题表现得尤为突出,这些都导致了RNN结构设计困难或者网络性能不佳。为了提高RNN的结构设计效率和网络性能,本文首先提出了一种RNN的自动化结构设计方法,由此形成了层内时间延迟神经网络（Intra-layer Time Delay Neural Network,ILTDNN）模型。ILTDNN模型引入延迟时间,延迟权值,激活函数种类三种结构参数增强网络性能,从两个方面体现了自动化结构设计:1).不用预先确定网络大小,而是通过网络生长确定;2).不用预先确定网络结构参数,而是通过优化算法得到。另外,该模型还将时间序列特征预处理过程并入网络结构设计过程中,实现了特征处理自动化,这也避免了当RNN网络性能表现不佳时,难以确定是特征处理不当还是网络结构设计不当的困境。传统的基于梯度的算法无法对结构优化,收敛缓慢,也很容易陷入局部最优,而进化算法可以通过编码和种群来高效地搜索结构参数空间。因此,本文还为ILTDNN模型设计了基于网络生长的增量优化策略和优化网络结构参数的混合进化算法。增量优化策略解决了网络从小到大生长时哪些参数会被优化的问题,一方面可以避免先前的优化努力不会浪费,另一方面可以减少要优化的结构参数数量。混合进化算法是基于改进收敛性的自然进化策略算法和具有超线性收敛的二阶局部搜索算法设计,其使用局部搜索增强种群搜索的梯度方向。实验表明,混合进化算法能够很好的处理复杂多模态问题。在实践中,将混合进化算法与并行计算技术结合,在多核处理器上能够实现RNN结构参数的高速准确求解。此外,本文比较了ILTDNN模型的几种结构参数对网络性能的影响,并将该网络模型应用于几个经典的混沌时间序列预测问题和轴承系统故障预测问题,证明了其有效性。与现有的大多数其它神经网络相比,通过自动化结构设计方法和混合进化算法生成的网络结构更加小型化,预测更准确。因此,网络模型更简洁,具有更好的泛化能力和应用前景。