随着通信技术和互联网的快速发展,网络视频业务已经成为主要的互联网应用之一。为了保障高质量可靠的流媒体传输,自适应的流媒体传输技术应运而生。码率自适应算法是自适应流媒体传输的技术核心,通过动态地切换视频码率,有效提高了用户的体验质量(Quality of Experience,QoE)。自适应的流媒体传输技术已经广泛应用到各个视频点播平台中。然而在实时直播流中,直播平台经常伴随着用户的沟通交流和弹幕交互,直播时延成为影响用户体验的因素之一。因此在自适应的直播流媒体传输中,码率自适应算法不仅要进行码率控制,还要进行时延控制,并且直播流媒体传输中可用于流媒体决策的信息也相对较少。这些问题向我们提出了新的挑战。在自适应的直播流媒体传输中,可以通过连续的时延控制参数来调整播放速度,从而降低直播时延和减少卡顿现象,并且通过跳段下载机制来防止时延过大。目前基于深度强化学习的码率自适应算法(D-DASH、Pensieve)通过DQN和A3C设计离散的码率控制策略,并未考虑连续的时延控制。尽管DQN等离散的控制算法可以通过离散化时延控制参数来解决离散的码率和连续的时延控制问题,但会带来离散化粒度不好确定的问题。针对于以上问题,本文提出了一种连续的码率与时延控制算法,并以此为基础设计了一套直播流媒体系统。在码率与时延控制中,本文结合了 DDPG算法,通过特征状态、网络模型以及动作映射设计连续的码率与时延控制算法,有效避免了离散化粒度的问题,在控制层面提供更加灵活和细粒度的决策。此外,本文在奖励函数中引入了卡顿频率的惩罚权重,使控制算法在朝最大化QoE方向收敛的同时,也考虑卡顿频率的影响。通过对比实验论证了本文方法的有效性和实用性。在基于码率与时延控制的直播流媒体系统设计中,本文对流媒体数据处理系统、码率与时延控制系统、客户端、流媒体监控系统进行了详细的设计和实现,最后通过系统功能测试及性能测试验证直播流媒体系统实现符合预期目标。