H.264/AVC是ITU-T和ISO/IEC联合推出的新一代视频压缩编码标准。与以往的视频编码标准相比,由于采用准确匹配的较小块变换、自适应环内滤波器、增强的熵编码等的一些新方法,增强了运动预测能力,大大提高了编码效率。H.264/AVC的显著优点是压缩效率高、图像质量好、网络性能好,适用于交互和非交互应用环境,现已受到各研究机构与多媒体工业界的高度重视。然而,由于采用了众多先进的编码技术,H.264的编码复杂度也远远高于先前的标准,其编解码复杂度分别是H.263的3倍和2倍,因此研究和开发基于H.264标准的新算法,从而降低编码复杂度,提高编码速度,对于H.264视频编码标准的广泛应用,以及进一步研究和发展视频压缩技术和多媒体通信技术具有重要的理论意义和应用价值。本文在介绍H.264编码标准中所使用的关键技术和现有的率失真优化算法原理的基础上,基于JM(Joint Model)平台,着重研究和分析了帧内以及帧间模式选择算法。结合提前终止和判断选择策略,根据不同运动性质的视频序列的编码块的不同,判断图像是运动平滑序列还是运动剧烈序列,运动剧烈的序列进行编码时大块模式会占大多数,运动平滑的序列进行编码时小块块模式会占大多数。据此,本文结合阈值判断选择SKIP编码块模式,以及已编码帧和相邻块来判断选择其它编码块模式,提出一种自适应的模式选择算法。它利用阈值信息有效选择跳跃模式(SKIP),根据已编码帧和已编码块信息跳过不必要的编码块模式选择,自适应的为当前块选择最佳编码块模式。实验结果表明,该算法在平均码率增加较小、图像信噪比损失可以忽略的情况下,编码速度有了显著的提高。本文所做的工作,主要是针对模式选择部分进行算法级的优化,降低模式选择算法复杂度,提高编码的速度。该项研究工作对协调解决图像信噪比、平均码率、计算复杂度和编码速度等问题进行了有益的探索。