随着社会的发展,科技的进步,高速互联网业务以及无线网络广泛应用于人们的生活。由于网络规模和用户的持续增加,网络负担过大,进而导致拥塞的出现。发生网络拥塞会使网络性能降低,如数据传输时丢包率变大、链路中传输时延增加等。当前网络性能改善主要依靠相应的控制机制来实现。因此,研究网络拥塞控制问题具有重大意义。本文主要关注拥塞控制模型的稳定性和复杂动力学行为的研究。借助动力学方法,研究高速网络拥塞控制系统的非线性动力学现象和无线网络模型的稳定性。最后,设计合适的控制策略,扩大网络拥塞控制模型稳定区间或者增加系统的全局稳定性。本文主要工作为：(1)分析了FAST TCP拥塞控制模型保持局部稳定的条件,结合非线性动力学理论研究了当系统失去稳定性时可能出现的非线性动力学行为。根据控制理论,针对FAST TCP模型的分岔行为提出混合控制算法。使用非线性动力学理论中的正规形定理和中心流形定理对模型分岔方向以及周期解的稳定性进行研究。理论分析和数值仿真证明,在一定参数区间使用混合控制策略能够有效的推迟或消除系统发生的分岔行为,进而扩大系统稳定性区间。(2)阐述了滑模控制使用的一般方法和滑动模态的特点,在无线接入网拥塞控制模型中使用滑模控制策略。考虑时延、参数变化等网络传输特点,设计了具有输入延时补偿特性的滑模控制器。通过分析和仿真证明,滑模控制器的加入,提高了系统工作过程中对干扰以及参数摄动的鲁棒性。