论文部分内容阅读
自由立体显示是显示领域的重要前沿方向。立体视频突出的优势在于其能为观众创造身临其境的感受,提供全方位媒体交互的能力。传统立体显示需要携带辅助工具,容易产生视觉疲劳感,观察范围较窄且设备昂贵。因此设计一种便携的、结构较为简单、处理速度较快的实时立体处理系统具有重要的意义。本文研究的课题是新加坡淡马锡理工学院IDC ASIA的项目,针对自由立体显示的工艺以及算法进行研究并实现了五视点的自由立体显示方案,重点研究了显示器件的选取、预处理、目标分割、深度计算以及视差图重建部分。并以FPGA为核心控制处理器,实现实时采集视频、存储、立体处理以及显示系统。主要的研究工作包括以下三个方面。(1)分析项目的具体设计需求,根据设计需求选择升级空间大的硬件平台,建立基础软硬件系统并下载到FPGA中进行实时在线调试;对系统的资源使用情况加以分析;根据FPGA设计的策略对图像处理部分进行功能模块划分。(2)给出五视点自由立体显示算法,MATLAB仿真实现,对立体效果进行参数评价,自由立体显示算法包括降噪处理、图像分割和图像立体化算法。降噪处理主要对常用的中值滤波和均值滤波算法以及一种自适应加权平均算法进行研究和实验仿真对比。图像分割将马氏距离分割法和参数分割法进行对比,并在其基础上改进了一种交互的半自动式的分割方法。图像立体化算法包括深度算法模块、重构图像组模块以及亚像素排列模块。深度算法根据反射图方程的逆运算求解原理,将求解转变为寻找表面最小化亮度问题,算法过程得到简化;重构图像组模块根据深度图像的投影原理,在已知图像深度的前提下,还原视差图;亚像素排列模块分析本设计采用的光学器件的特性,设计出与之物理参数匹配的五视点排列方案。用交叉熵和均方值误差对立体图进行参数评价。(3)基于System Generator的平台,设计在FPGA上实现的自由立体显示算法,对算法进行仿真验证,并嵌入到系统下载到FPGA上实现实时采集、处理和显示。设计的算法硬件模块包括图像预处理算法、图像分割算法以及图像立体化算法。图像预处理部分设计了中值滤波模块、亮度/对比度控制模块、Bayer格式转换模块、色彩平衡模块、Gamma补偿模块。图像分割算法和立体化算法由于其算法复杂度高,采用了较为简单的处理方式,图像分割主要针对图像中在红色、绿色和蓝色阈值范围内的颜色进行分割;立体化算法将分割出的物体进行水平方向的位置移动,后利用双线性插值方式对移动后的图进行插值,弥补移动产生的黑洞;立体图像的排列采用大量的ROM块对五副生成的视差图进行存储,输出时选择顺序,实现排列。