近年来,快速发展的高清电视、视频直播、视频监控等各种视频应用迫切需要拥有更高压缩效率的视频编码技术。当前,国际视频编码标准高性能视频编码(High Efficiency Video Coding,HEVC)基于混合视频编码框架,主要包括基于块的帧内/帧间预测、变换、量化、熵编码以及环路滤波等步骤。在视频信号平稳性的假设前提下,HEVC中的各个模块依据信号处理理论人工设计。然而,实际中的视频信号往往是非平稳信号,这就导致HEVC各个模块的设计不是那么精准,从而无法有效去除视频信号内存在的冗余,限制了视频编码性能的提升。一方面,HEVC帧间预测的参考内容为与当前帧相邻的多参考帧。这些参考帧中的内容往往高度相似,从而造成有限的参考缓存空间的浪费。此外,在交通监控视频中,外表相似的车辆重复出现,背景保持长期稳定,而多参考帧机制无法有效利用这一先验特性;另一方面,HEVC帧内编码模式中采用的离散余弦变换或离散正弦变换为非最优的线性变换,当前变换块变换后的系数间可能依然存在相关性。此外,考虑到HEVC帧内预测为简单的角度预测,当前变换块系数与周围块系数之间的相关性可能依然存在。针对HEVC中存在的上述问题,本文分别提出了基于参考信息建模的帧间预测编码方法和基于深度学习建模的变换系数预测编码方法。其中,前者包含面向通用视频设计的基于图像片的帧间预测参考信息模型和面向交通监控视频设计的基于库的前、背景参考信息模型,后者包含基于深度学习的变换系数熵编码方案和基于深度学习的变换系数预测方案。论文的主要工作和创新如下:(1)本文针对HEVC中多参考帧机制可能存在的参考缓存空间浪费问题提出了基于图像片的帧间预测参考信息模型。在限定的参考缓存空间内,通过将部分的参考帧空间用来存储比参考帧粒度更小的图像片(从参考帧上截取的子图),在平衡视频信号噪声的同时,参考缓存空间中可以包含更多被遮挡物体的露出部分,从而可以为帧间预测建立更加精准的参考信息模型。为了实现基于图像片的帧间预测参考信息模型,本文设计了相应的图像片生成、图像片管理以及图像片利用模块。我们将基于图像片的帧间预测参考信息模型实现在HEVC的编码框架下,实验结果表明,本文提出的基于图像片的帧间预测参考信息模型可以显著提升视频编码的性能。(2)本文基于观察到的交通监控视频中存在的前、背景长期重复特性提出了基于库的前、背景参考信息模型。在交通监控视频的前期,我们将背景和车辆提取出来,分别去除所提背景和车辆之间存在的冗余性,将剩余的车辆和背景保存在数据库中。在后期的交通监控视频编码中,待编码视频帧分割出的车辆和背景可以通过检索匹配数据库中的车辆和背景,从而为待编码视频帧提供更加精准的参考信息。我们将基于库的前、背景参考信息模型实现在HEVC的编码框架下,实验结果表明,本文为交通监控视频提出的基于库的前、背景参考信息模型在实际拍摄的交通监控序列上可以显著提升视频编码的性能。(3)本文针对HEVC中变换系数之间仍然存在的相关性提出了基于深度学习建模的变换系数预测编码方法。由于变换系数之间的相关性采用传统方法难以描述,本文采用深度学习技术中的神经网络对当前变换块系数之间、当前变换块系数与周围块系数之间的相关性进行精准的建模。具体的,通过采用神经网络对各个帧内预测残差变换系数的概率分布进行估计,本文提出了基于深度学习的帧内预测残差变换系数熵编码方案;通过采用神经网络对各个帧内预测残差变换系数的值进行估计,本文提出了基于深度学习的帧内预测残差变换系数预测方案。我们将上述基于深度学习的帧内预测残差变换系数熵编码方案和预测方案分别实现在HEVC的编码框架下,实验结果表明,两种方案都可以明显提升视频编码的性能。