基于多流卷积神经网络的光场图像深度估计算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:ty532215014
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
光场(LightField,LF)成像以其独特的成像原理而备受关注。传统相机拍摄的图像只能记录光线投影到二维平面的位置信息,忽略了光线传播的方向信息。通过密集微透镜组成的阵列进行采集所获得的光场,其能够记录光在传播过程中的携带四维信息,即位置信息和方向信息。根据光场的四维信息可以提取光场的宏像素图像、子孔径图像和极线平面图像(Epipolar Plane Image,EPI),从而实现光场的可视化。利用可视化后的光场图像可以还原场景的深度,光场图像的深度估计算法大致分为四种:基于多视图的算法、基于极线平面图像(EPI)的算法、基于重聚焦的算法以及基于深度学习的算法。由于现实场景的多样性,每种深度估计算法的性能在不同程度上受到限制。考虑到在光场图像纹理较弱的区域容易出现错误的深度估计,且深度估计结果容易受到图像中噪声的影响,结合多种算法的原理和特点,本文提出了基于多流卷积神经网络的光场图像深度估计算法。首先,对光场图像进行预处理,采用单个图像超分辨(Single Image Super Resolution,SISR)算法对光场子孔径图像进行空间超分辨,以增加像素数目,然后提取中心子孔径图像所在的水平(行)、垂直(列)、45°和135°的子孔径图像,作为四流子孔径图像输入。其次,对光场图像进行纹理度分类,计算图像内像素的梯度值,与给定的梯度阈值比较,从而将图像的区域分为纹理简单和纹理复杂两类,并对区域属性进行标记。再次,提取光场子孔径图像水平(行)、垂直(列)、45°和135°四个方向的EPI,生成四流EPI。接下来,对EPI进行多尺度观测,根据纹理度分类的标记,将不同纹理区域的EPI放入尺度不同的卷积块中提取特征,标记为纹理简单区域的EPI使用大卷积核提取特征,标记为纹理复杂区域的EPI使用小卷积核提取特征。最后,利用融合网络将四流EPI的特征级联,组成更高维度的特征,通过匹配寻找特征之间的相关性,最终得到深度估计的结果。本文通过计算光场深度估计图与其深度真值图(Ground Truth)的平均绝对误差(Mean Absolute Error,MAE)定量分析本文提出算法的性能。实验结果表明,当对原始无噪声污染的光场图像进行测试时,本文提出的深度估计算法与其他深度估计方法相比,MAE平均值减小,从而验证了本文算法具有较高的精确性;当对受噪声污染的光场图像进行测试时,与其他深度估计算法相比,本文算法的MAE平均值仍然减小,且与不加噪声的深度估计得到的MAE差值也减小,从而验证了本文算法具有较强的鲁棒性。在主观评价上,采用本文提出的算法得到的深度图在局部纹理简单区域的深度估计结果表现良好,表明本文的算法能够有效避免在图像纹理较弱区域产生的错误估计。
其他文献
目前氧化物薄膜晶体管具有高迁移率、高透光率、高电流开关比、低工作电压等优点而受到广泛关注。最常使用的非晶铟镓锌氧(a-IGZO)具有较好的光透过率和电导率,但a-IGZO中的Ga2
目的:兴奋性毒性是导致神经退行性疾病神经元细胞大量丢失的主要原因。海人藻酸(Kianic acid,KA),兴奋性神经递质谷氨酸(glutamate)类似物,其诱导的神经元兴奋性毒性损伤被认
有轨电车以其节能环保、安全快捷等优势,在国内得到大力发展和广泛应用。在有轨电车高牵引功率、高制动功率并频繁大幅度波动的工况及高温等极端环境下,车用超级电容器内部将产生大量的热量使其温度迅速升高,影响性能与寿命,给热管理带来巨大挑战。为了提高间歇式供电有轨电车的使用性能、降低其储能成本,车载储能系统必须工作在适宜的温度和较小的温差范围内。本文依托国家重点研发计划项目(任务)(No.2017YFB12
大多数分布式发电系统通过并网逆变器连接到电网,为减少高频谐波注入电网,通常在逆变器和电网之间接入低通滤波器如LLCL滤波器来获得高质量的电网电流。针对传统滤波器参数设计方法存在计算复杂、过程繁琐等问题,本文将高维多目标进化算法应用于光伏并网逆变器LLCL滤波器参数设计,对高维多目标进化算法的相关理论进行了深入研究和实验论证。在针对RVEA(Reference Vector Guided Evolu
赤拟谷盗Tribolium castaneum(Herbst),是一种重要的次生性储粮害虫。目前赤拟谷盗的主要防治方法是磷化氢熏蒸。由于长期过度、单一地使用PH3防治赤拟谷盗,其己对磷化氢产生抗性。将昆虫信息素与诱捕设备相结合的生物防治技术已成为国际上储粮科技工作者研究的重点。本文研究了赤拟谷盗磷化氢抗性种群和敏感种群在信息素分泌和剂量反应上的差异。以3个不同磷化氢抗性种群赤拟谷盗为研究对象,通过
类风湿性关节炎(Rheumatoid arthritis,RA)是一种常见的自身免疫性疾病,病理特征包括滑膜组织的过度增生,关节局部的炎症反应,关节骨和软骨组织的破坏。RA关节破坏的机制尚不
近年来我国科技发展迅速,高清视频、虚拟现实以及物联网等各种高新网络应用和技术层出不穷,极大的改善了网民的生活体验,基本上实现了万物互联的智能时代。思科白皮书预测在
自旋电子学是物理学中一个新兴的研究领域,是磁学与微电子学相结合的一门交叉学科,用于研究电子的自旋而非电荷在固体物理学中所起的作用,通过操控电子自旋可以发展具有广大
聚类方法是数据挖掘的重要组成部分,其目的是把相似的数据对象聚在一起,把不相似的数据对象尽可能地分离,是一个极富挑战性的研究领域。DBSCAN是一种性能优越的基于密度的聚
随着国家经济社会快速发展,人民对体育需求不断提高,体育事业同样需要顺应时代的发展,体育现代化进程中就是体育不断满足人们美好生活的需要。本文运用文献资料法、德尔菲法