论文部分内容阅读
随着数字多媒体处理技术的发展和多媒体微处理器处理能力的提高,超高清电视(UHDTV, Ultra High Definition Television)成为继高清电视(HDTV,High Definition Television)后下一代电视发展的方向,超高清视频也随着人们对视频质量与视觉体验要求的不断提高成为新时代的宠儿。然而,超高清视频对网络传输带宽的要求成为制约其普及的瓶颈。在大尺寸液晶显示设备上,其所播放视频的分辨率越高,帧率越高,画面就越流畅,用户的体验效果越好。然而随着分辨率以及帧率的提高,视频的数据量必然会急剧增加,对有限的网络传输带宽带来极大的挑战。例如超高清视频的分辨率为3840×2160,相对于高清视频(1280×720),分辨率提升了3倍,数据量也相应地提高了3倍,而对于帧率来说,每提高一倍帧率意味着数据量增加了一倍。H.264/AVC标准中的可分级视频编码技术,可以自适应地丢弃视频内容,以适应于网络环境的变化。混合分辨率视频便应运而生,其通过对视频进行空间或时间的下采样,适应于有限的网络带宽。混合分辨率视频处理技术,即是在接收端,通过视频增强算法,重现原始视频的空间与时间分辨率。本论文着重对混合分辨率视频处理方法进行了研究,包含对单路混合分辨率视频中空间分辨率提升、时间分辨率提升,以及非对称立体视频中空时分辨率提升三部分。从数据存储空间来看,可以节省近三分之二的存储空间,减少数据传输占用的带宽;从视频质量来看,通过有效的空间与时间分辨率提升方法,可以达到较好的视觉效果,满足用户的视觉体验。论文主要在以下几个方面进行了研究:1.提出了一种基于关键帧的自适应重叠块运动补偿视频分辨率增强方法,首先通过基于块匹配的运动估计得到运动向量场,然后根据当前块与周围邻块的绝对误差和与角度差,将运动向量按照可靠性进行分级,并根据可靠性级别高的运动向量对可靠性级别低的运动向量进行校正,提高了运动向量的精确性;在得到运动向量可靠性级别后,应用自适应重叠块运动补偿方法,对不同可靠性级别的运动向量采用不同的加权方式,加强准确性高的信息,减轻准确性差的信息带入的负面效应如块效应等,提高整体图像的可观赏性。2.提出了一种基于边缘检测的帧率提升算法。根据视频中每个图像的边缘信息,采用单向可变块的运动估计,由宏块中边缘信息的多少决定进行运动估计的宏块大小;针对单向运动补偿存在的重叠区域与空洞区域的问题,对重叠区域采用选择最小绝对误差和所指向的宏块作为最佳匹配块,对空洞区域采用基于边缘信息的补洞策略,根据空洞中边缘存在的位置,对应地进行补洞,有效地解决了补洞时错误信息填补以及块效应等问题,并保持了帧率提升中物体边缘信息的完整性。3.提出了一种非对称立体视频的空时分辨率增强算法,即输入视频为一路高分辨率低帧率视频,一路低分辨率高帧率视频,经过空时分辨率增强算法后,输出两路高分辨率高帧率视频。首先提出一种基于自适应支撑加权的归一化互信息立体匹配算法,对非对称立体视频中的同步帧应用提出的立体匹配算法,利用一对同步帧中的高分辨率帧中的信息来提高低分辨率帧的空间分辨率,在提高算法稳定性的同时也有效地降低块效应;然后对包含有高分辨率同步帧的低分辨率高帧率视频采用所研究的基于关键帧的视频超分辨率算法,提高这路低分辨率视频的空间分辨率;利用高帧率视频的信息,对低帧率视频进行视角间与视角内的混合帧插入方法,即根据两路视频的视差信息,进行视角间的视差补偿帧插入,并对于单路低帧率视频,采用所研究的基于边缘信息的帧率提升方法,最后根据宏块的运动属性,即运动剧烈不规则采用视差补偿方式,运动平缓的采用普通帧率提升方式,有选择的对宏块进行补偿。混合方法解决了不同视频运动规律不同的问题,对各种视频具有更高的鲁棒性。