H.264是国际电信联盟ITU-T的视频编码专家组VCEG和国际标准化组织ISO/IEC的活动图像专家组MPEG联合制定的视频编码新标准,其目的是为了获得更好的图像压缩效果和更好地适应不同的网络环境。但是H.264视频编码的高压缩率是建立在其算法的高复杂度基础上的,H.264视频编码的巨大运算量成为其广泛应用的瓶颈。为了降低H.264视频编码算法的计算复杂度、减少运算量、提高其实时性,本文首先阐述了H.264视频编码的主要流程,着重对H.264视频编码的帧内预测算法做了研究,并在分析其计算复杂度的基础上提出两种快速帧内预测模式选择算法:基于宏块内部相邻像素差的帧内宏块类型预判算法和改进的基于边缘方向直方图Pan算法。本文完成的主要工作如下:1、在大量实验与深入研究的基础上,分析了宏块内部相邻像素差的特点和宏块预测类型的相关性,提出一种基于宏块内部相邻像素差的帧内宏块类型预判算法。在H.264测试模型JM90上实现该算法,其结果表明提出的预判算法在编码质量和码率性能基本不变的前提下,编码时间平均节省约23.47%。2、对具体帧内宏块类型下的预测模式快速选择算法进行研究,提出一种改进的基于边缘方向直方图Pan算法,并在H.264测试模型JM90上实现,其结果表明该算法在编码质量基本不变、码率稍有减小的情况下,编码时间平均节省约62.32%。;把提出的帧内宏块类型预判算法与改进的Pan算法相结合进行实验,其结果表明该结合算法在保证失真率和码率性能基本不变的前提下,编码时间平均减少了72.49%,大大提高了编码效率,对H.264的实时应用具有很大的意义。