随着信息社会的到来,多媒体应用需求越来越大,视频压缩编码算法一直是众多学者研究的热点。其中一个关键问题就是如何优化视频编码算法,有效地去除视频序列中的各种冗余信息,尽可能提高编码性能和重建视频主观质量。根据优化算法对编码码流的语法结构是否发生影响,可以将视频编码优化算法分为码流语法结构不受限以及受限两种类型。语法结构不受限的优化算法不受输出码流的语法结构限制,可采取所有新的视频编码新技术以提高编码性能。正是这类优化算法的研究促进了一系列视频编码国际标准的出现。很多实际视频应用都是基于某种特定的编码标准,在特定编码标准框架下,如何优化编码算法以提高编码性能,对于节省传输带宽或在一定带宽下提高视频质量有着重要意义,所以本文重点研究码流语法结构受限的优化算法。视频编码算法优化问题实际上是一个率失真优化的问题,而人眼是编码失真和视频质量的评判者,所以我们重点研究基于人眼视觉系统(HVS)特性的视频编码算法优化。本文首先介绍了基于分块的混合视频编码系统的框架,对其中的主要模块分别作了介绍,就其中码率控制、运动估计、视频预处理等未规定具体实现方法的模块对视频编码性能的影响分别作了分析。接着介绍了率失真优化理论,并讨论了视频编码算法优化和率失真优化之间的关系,分析了率失真优化理论在视频编码算法优化方面的优势和不足。从序列、图像和宏块三个层次分析了码流语法结构受限的视频编码算法优化的可能性。然后讨论了码率控制算法优化对于视频编码算法优化的重要性,介绍了码率控制中的几个关键问题,包括目标码率分配、自适应量化、量化参数Qp的选择等,并分析了它们之间的内在关系及对编码性能及视频质量的影响。重点研究了码率控制中的Qp选择算法,提出了一种基于迭代搜索的高精度快速Qp选择算法,为各帧确定合适的帧级参考量化参数QpR(实数),并结合自适应量化算法为各宏块确定实际量化参数Qpj,以保证各帧实际编码比特数和目标值之差尽可能小,确保目标码率分配算法的性能得以实现,从而实现准确的输出码率控制。紧接着研究了面向存储的非实时应用场合中的码率控制问题,提出了一种高效实