随着视频编码及其应用的发展，高效的视频编码和实时通讯技术显得越来越重要。H.264是目前最新的视频编码标准。与现有的视频编码标准H.261、H.263和MPEG-1、MPEG-2、MPEG-4相比，H.264能够提供更好的压缩性能和视频质量。 H.264标准由ITU-T下属的视频编码专家组VCEG(Video Coding Experts Group)和ISO/IEC下属的运动图像专家组MPEG(Moving Pictures Experts Group)共同成立的联合视频小组JVT(Joint Video Team)负责完成。H.264标准于2003年3月获得正式通过。ITU将该算法称为“H.264建议”(Recommerldation H.264)，ISO则称之为“ISO/IEC14496 10高级视频编码算法”(ISO/IEC 14496 10 AVC)。 H.264标准采用了一系列先进的编解码技术，如4×4的整数变换、去块滤波、可变大小的图像分块、多参考帧运动估计、增强的帧内和帧间预测、高精度运动估计、基于上下文的自适应二进制算术编码(CABAC)等，其中增强的帧内和帧间预测技术是H.264获得成功的关键因素之一。 为了获得高的编码效率，H.264在帧内和帧间预测中采用了基于率失真优化(RDO，rate-distortion optimization)的模式判别方法。在进行帧内预测时，H.264对4x4的亮度块提供了9种预测模式，对16x16的亮度块提供了4种预测模式；对8x8的色度块提供了4种预测模式。在进行帧间预测时，H.264提供了7种不同的宏块划分方式(16×16，16×8，8×16，8×8，8×4，4×8和4×4)。H.264/AVC对这些模式采用全搜索的方法，计算各个预测模式的RD值，找出编码质量和编码速度意义上最佳的预测模式，这个过程的计算量很大。 针对这种情况，本文提出了一种快速帧内预测模式判别方法和一种快速帧间预测模式判别方法，用来减小模式判别的复杂度。并把这两个算法移植到JVT的参考软件JM8.5中进行测试，与源程序比较各种性能，如：总的编码时间、Ⅰ帧编码时间和平均PSNR等。仿真实验表明，与源程序相比，新算法在编码时间上平均提高了76％，Ⅰ帧的编码时间平均提高了71％，而图象质量和压缩比没有明显的下降。