网络拥塞问题是指网络中传输的数据包数量超过网络承载能力,发生的网络性能下降的现象,一般表现为吞吐量下降、丢包率增加、传输时延增加等。由于TCP协议本身所具有的重传特性,使得拥塞发生时会进一步占用网络资源。在当今日趋复杂和高带宽的网络环境下,如何适应这种环境避免网络拥塞变得尤为重要。其中,使用机器学习技术设计出灵活和高效的TCP拥塞控制算法成为计算机网络领域的研究热点之一。传统人工设计的拥塞控制算法无法适应网络环境的动态变化,而使用机器学习技术,尤其是强化学习技术可以很好的解决这个问题。但是以往使用强化学习设计的拥塞控制算法,都不可避免地遇到了同一种问题:拥塞控制过程在一定程度上不满足马尔可夫性,然而满足马尔可夫性是使用强化学习技术的基础。因此本文首先针对该问题提出了一种基于时间间隔的端到端TCP强化学习拥塞控制算法IRLCC。IRLCC使用改进的TD3算法进行训练,通过人为定义的间隔而不是TCP自时钟对拥塞窗口进行控制,并提高了算法对于序列信息的利用。实验证明IRLCC相比于常用的TCP New Reno、TCP Cubic、TCP Vegas和TCP BBR算法,吞吐量有明显提高,时延和公平性上也表现得更为优秀,而且面对变化的网络环境时有更好的适应能力。随后,为了进一步解决拥塞控制过程不满足马尔可夫性的问题。本文从建模角度讨论了TCP BBR算法。相比于其他拥塞控制算法所使用的网络环境模型,TCP BBR的模型更加满足马尔可夫性。结合TCP BBR的网络模型和拥塞控制算法的内部状态,本文提出了RL-BBR算法。RL-BBR算法具有一个内部的有限状态自动机,深度强化学习算法控制自动机和相关参数,对网络环境中的关键指标进行不定期的测量,通过测量结果对拥塞窗口进行调节。实验表明,相比于TCP BBR算法,RL-BBR算法的吞吐量更高,时延更低。这种结果在动态变化的网络环境中更为明显。