针对H.264/AVC编码器高复杂度的问题,本文通过算法的理论分析以及软件验证等方法,对帧内预测、帧间预测、多参考帧选择以及运动估计等关键技术,进行了相应的快速算法的研究。1、帧内预测技术:突破传统的帧内预测的空间域限制,利用前帧对应位置块及空间相邻块的MAD信息判断待编码宏块的帧内预测块尺寸。结合SATD以及时空相关性,提出了快速帧内预测模式选择算法FIMDA。该算法在全I帧编码时,编码时间减少60%以上。在IPPP编码时,编码时间减少27%左右,SNRY几乎不变。2、帧间预测技术:利用视频分割的思想指导帧间预测大模式(SKIP、P16×16、P16×8、P8×16)的筛选。在此基础上,提出了快速算法SSI、SGI和FSSI。同JM10.2的FS算法相比,SNRY分别平均下降了0.020dB、0.028dB和0.044dB,编码时间减少约30%~74%。3、多参考帧选择:提出了基于三阶矩高斯测试及运动特性分析的Ref0提前判决方法,利用Sobel算子边缘检测结果确定候选参考帧集合。在此基础上,给出了快速多参考帧选择算法FMRSGC和FMRSMVC。同5个参考帧的全搜索算法相比,SNRY平均下降约0.05dB,编码时间减少25%~74%。4、运动估计:研究了基于背景记录技术的视频分割方法以及基于高斯测试的搜索范围自适应调整等方法。在此基础上,给出了多模板的快速运动估计算法MPFME和MMPFME。同UMHexagonS算法相比,平均搜索点数减少约60%~80%,SNRY下降平均不超过0.02dB。5、基于上述快速算法进行基线编码器的优化设计和验证。结果表明,优化编码器3表现出良好的性能,并且适合硬件实现。进一步对基于优化编码器3的视频显示系统进行了初步的研究,完成了编码器部分模块的FPGA设计。