H.264是ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(活动图象编码专家组)的联合视频组(JVT：jointvideoteam)开发的一个新的数字视频编码标准，它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10部分。新一代标准H.264可以得到更好的压缩图象效果、拥有更多的功能和更大的灵活性。本文在研究多媒体发展的状况和视频压缩的基本技术的基础上，结合实验详细研究了H.264协议的帧内预测、多模式的运动估计和整数变换等方面的技术。主要工作包括： 1.对已有的帧内预测快速算法进行详细分析，对其中计算复杂度很高的预测模式选择部分进行了深入研究，提出一种基于自适应阈值的快速模式选择算法，该算法可以根据图像复杂度和QP值自适应的调整判决阈值，以确定是否可以将最可能的预测模式作为最终的结果，提前中止预测模式选择过程。另外，为了进一步提高模式选择的计算速度，对其他非最可能的预测模式采用分段计算的方法，首先计算其中的几种，根据计算结果选择临时最优预测模式相邻的预测模式进行比较，以得到最终结果。由相关的实验结果可以看出，我们的快速方法不但在很大程度上降低了H.264帧内预测中，模式选择过程的时间复杂度，提高了编码的时间效率，并且具有很强的自适应性。特别的，该方法能够很好的支持SIMD指令优化，具有很高的实用价值。 2.改进了菱形快速搜索算法。研究了基于块的运动补偿技术，根据视频图象的运动矢量的中心偏移特性和相关性，并结合H.264视频图象的特点，对原有的菱形快速搜索算法进行改进，改进后综合搜索算法在降低编码时间和保证图象质量两个方面达到了较佳平衡。 3.同时，为了适应某些场合对于图像精度的要求，我们对H.264标准中的整数变换和量化过程的具体细节做了改进，较好的改善了由于运算过程所带来的误差，提高监控图像的精度。