论文部分内容阅读
光场(LightField,LF)成像以其独特的成像原理而备受关注。传统相机拍摄的图像只能记录光线投影到二维平面的位置信息,忽略了光线传播的方向信息。通过密集微透镜组成的阵列进行采集所获得的光场,其能够记录光在传播过程中的携带四维信息,即位置信息和方向信息。根据光场的四维信息可以提取光场的宏像素图像、子孔径图像和极线平面图像(Epipolar Plane Image,EPI),从而实现光场的可视化。利用可视化后的光场图像可以还原场景的深度,光场图像的深度估计算法大致分为四种:基于多视图的算法、基于极线平面图像(EPI)的算法、基于重聚焦的算法以及基于深度学习的算法。由于现实场景的多样性,每种深度估计算法的性能在不同程度上受到限制。考虑到在光场图像纹理较弱的区域容易出现错误的深度估计,且深度估计结果容易受到图像中噪声的影响,结合多种算法的原理和特点,本文提出了基于多流卷积神经网络的光场图像深度估计算法。首先,对光场图像进行预处理,采用单个图像超分辨(Single Image Super Resolution,SISR)算法对光场子孔径图像进行空间超分辨,以增加像素数目,然后提取中心子孔径图像所在的水平(行)、垂直(列)、45°和135°的子孔径图像,作为四流子孔径图像输入。其次,对光场图像进行纹理度分类,计算图像内像素的梯度值,与给定的梯度阈值比较,从而将图像的区域分为纹理简单和纹理复杂两类,并对区域属性进行标记。再次,提取光场子孔径图像水平(行)、垂直(列)、45°和135°四个方向的EPI,生成四流EPI。接下来,对EPI进行多尺度观测,根据纹理度分类的标记,将不同纹理区域的EPI放入尺度不同的卷积块中提取特征,标记为纹理简单区域的EPI使用大卷积核提取特征,标记为纹理复杂区域的EPI使用小卷积核提取特征。最后,利用融合网络将四流EPI的特征级联,组成更高维度的特征,通过匹配寻找特征之间的相关性,最终得到深度估计的结果。本文通过计算光场深度估计图与其深度真值图(Ground Truth)的平均绝对误差(Mean Absolute Error,MAE)定量分析本文提出算法的性能。实验结果表明,当对原始无噪声污染的光场图像进行测试时,本文提出的深度估计算法与其他深度估计方法相比,MAE平均值减小,从而验证了本文算法具有较高的精确性;当对受噪声污染的光场图像进行测试时,与其他深度估计算法相比,本文算法的MAE平均值仍然减小,且与不加噪声的深度估计得到的MAE差值也减小,从而验证了本文算法具有较强的鲁棒性。在主观评价上,采用本文提出的算法得到的深度图在局部纹理简单区域的深度估计结果表现良好,表明本文的算法能够有效避免在图像纹理较弱区域产生的错误估计。