如今,多媒体通信已经成为社会生活中的一个重要部分,人们对视频质量的要求也越来越高。由于多媒体数据尤其是视频数据量的巨大,为了满足传输带宽需求,视频信号通常需要高度压缩,高压缩的结果导致了视频质量的下降。第二代视频压缩标准(H.264、AVS等)都采用率失真优化的策略来达到视频质量与码率的平衡。率失真优化带来了高效率编码的同时,带来了编码端的高复杂度。本文首先针对率失真代价计算模型进行研究。然后结合AVS的变换量化过程,提出了变换域内的失真计算方法,并通过变换域内的失真来估算图像域内的失真;通过研究AVS熵编码的编码过程及变换量化系数的特点,用统计的方法找到了影响编码码长的主要因素,提出了利用非零变换系数估计熵编码码长的模型。实验表明,利用变换域失真估计图像域失真、利用非零系数估计码长,可以保证编码结果的PSNR和码长的变化不大。最后,本文结合AVS的帧内和帧间模式选择过程,利用率失真代价计算的新方法提出了一种基于率失真优化的模式选择快速算法。并通过实验得到了码长估计模型中的自适应系数较合适的初值。实验表明,在帧内预测模式和帧间分块模式选择过程中,通过变换域估算得到的失真和码长进行率失真代价计算,在保证编码过程PSNR和码长变化不大的情况下,降低了60%的率失真计算时间及20%的总编码时间。