论文部分内容阅读
自由视点电视作为多视点成像最重要的应用,为用户提供了可以交互选择场景观看角度的能力,打破了只能从摄像机视点观看的限制,增强了传统媒体所提供的用户体验,越来越受到广泛的关注。本文首先介绍了自由视点电视相关技术及国内外的主要发展,然后提出了一个最小失真校正和背景建模的前处理方法,通过自适应十字窗口局部立体匹配算法生成视差图,最后通过线性插值生成中间虚拟视点,进而搭建一个基于双摄像机的多视点自由立体成像系统,取得主要成果如下:1、本系统提出了一种新的针对未标定相机对极线校正方法,以尽量减少图像失真。在图像级中单应矩阵被分解成一个平移矩阵,一个纯二维旋转矩阵、引起图像校正失真的投影矩阵以及一个对齐矩阵。然后通过雅可比行列式衡量像素级几何失真。然后,在对极几何限制下通过构造能量函数以减小几何失真;2、选用鲁棒主成分分析(RPCA)进行系统背景重建,应用在获取的左右视点视频,提取背景,之后只需计算前景物体的视差,大大简化了运算并提高了帧间视差稳定性;3、系统使用了一个快速的基于自适应十字窗口局部立体匹配算法。在根据像素自动生成十字的基础上整合自适应生成局部支持区域开销在以近似准确地进行视差的计算,基本达到全局算法的视差精度,并保留局部算法实现上的优势,最后经过线性插值生成虚拟视点。实验结果表明本系统可以实现对采集的视频可以实时处理生成中间虚拟视点,支持八视点自由切换裸眼观看,避免了获取立体视频源对硬件设备的苛刻要求,大大降低了成本。