基于深度学习的单目场景深度估计方法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:anan9077
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
单目图像的深度估计是计算机视觉研究的基础性课题,由于其可以指导多种高阶视觉任务的学习,且具有良好的实际应用前景,近年来也成为计算机视觉领域的热门课题。单目深度估计旨在基于单张图片或单目视频信息,预测并恢复出场景像素级别的深度信息。由于现实场景较为复杂,且单目图像或视频信息又缺乏鲁棒的几何约束,现有的深度估计方法往往会丢失细节或无法预测正确的尺度信息,使得其实际应用受到制约。本文通过设计有效的深度卷积网络及其学习框架,提出了几种新的深度估计方法。主要研究成果概述如下:(1)本文提出了一种新的多尺度端到端深度估计框架。先前的主流方法往往只能预测超像素级别的深度信息,或基于多步非端到端的学习方法。这导致了算法预测的深度图像丢失细节,且不利于实际应用。为了端到端的预测精细的深度图像,本文从两个方面整合了多尺度信息:(a)提出了一种新的多尺度网络以学习多级深度表征,并利用多尺度表征逐步地引导网络的上采样和预测过程;(b)提出了一种细粒度正则化方法,使优化器引导网络学习正确的深度结构信息。在不同数据集上的大量实验表明,本文的方法可以预测更完善的细节信息,且可以取得同期最佳的预测效果。(2)现有的基于深度神经网络的方法缺少有效机制以恢复并保留深度图像中的边缘细节信息,这使其预测效果受到影响。因此,本文提出了一种新的渐进困难挖掘网络以处理该问题。特别地,本文构建了困难挖掘目标函数,尺度内和尺度间子网络来精确地定位和修正预测困难的区域。尺度内修正模块可以递归地从不同语义特征中恢复深度细节,尺度间修正模块可以利用不同尺度的深度信息进行互补交互。困难挖掘目标函数可以引导网络的学习过程,使得网络自适应地关注容易产生累计预测误差的区域。这三种模块可以有效地协作,逐步地减少学习过程中的误差传播,进一步地增强深度预测效果。大量的实验分析表明,本文的方法可以有效恢复深度图像中的边缘和细节信息,并取得同期最好的预测效果。(3)本文提出了一种新的任务递归学习框架(Task-recursive Learning,TRL)以同时处理语义分割,平面法向量预测和深度估计三个任务。TRL通过一系列任务层面的交互以递归地修正预测结果,其中位于每一个时间阶段的网络模块可以封装每一个跨任务交互过程。在每一个时间阶段内,TRL将多任务学习过程序列化,并递归地进行交互。为了自适应地增强任务间的相似模式,本文将交互过程封装在任务注意力模块(TAM)中,进而使任务的学习过程可以相互促进。在时间阶段之间,通过使用特征选择单元(FS-unit),网络将先前获得的经验有选择性地传播至接下来的时间节点,进而使任务间的互补信息更充分地被利用。同时,任务交互序列也在由粗到细的尺度空间中得到延伸,使得细节信息可以被逐步地修正。最终,该多任务序列化问题被统一地整合进递归网络框架中。在公开数据集上的大量实验表明,本文的方法可以递归地修正三个任务的预测结果,并获得同期最佳的数值效果。(4)本文提出了一种新的模式相似性传播框架以同时预测场景深度,法向量和语义分割。其动机来自于相应的统计观察,即模式相似像素对在同一任务内部和不同任务之间均频繁地出现。因此,可以进行两种形式的传播过程,即跨任务传播和任务特异传播以自适应地扩散这些相似的模式。跨任务传播通过计算非局部的关联性信息以整合跨任务的相似模式,使这些相似模式更好的适应每一个任务。任务特异性传播则是在特征空间进行迭代扩散过程,使跨任务的相似模式能够被广泛地应用于任务内部。由此一来,这些任务层面的关联性信息可以调整和促进每一个任务的学习。在公开数据集上的大量实验证明了本文方法的有效性,同时也在多个数据集和三个任务上获得了同期最佳的效果。(5)在线的景深学习问题要求连续地调整深度估计模型使其适应于不断变化的场景。由于神经网络往往容易过拟合至当前场景而遗忘之前学得的经验,这类开放世界问题十分具有挑战性。为此,本文提出了一种新的抵抗遗忘的学习方法(LPF)以处理无监督的在线单目景深学习。与以往更新模型中所有参数的方法不同的是,LPF学习适应器模块以高效地调整特征表示和分布,从而避免在线场景下的知识丢失问题。具体地,本文提出了一个新的元学习方法,通过将在线适应过程与目标函数相结合,使学习到的适应器模块可以适应于视频中时间连续的景深模式。为了进一步地避免过拟合,本文提出了一种新的时间连续正则化方法来调整每个在线学习步骤的梯度下降过程。在现实场景数据库上的大量实验表明,本文的方法在仅增加少量参数的情况下,明显地提升了在线景深估计的质量。
其他文献
时间反演(Time Reversal,TR)是一种新型信号处理手段,它基于无耗、非时变介质中的波动方程不变性,将多个传感器接收信号通过物理或数值的方式反转并回传,使其经过逆向传播后在原始的信号源或目标处产生相干叠加。在电磁波成像领域,时间反演和传统成像技术最本质的区别在于:它有效地融合了波的物理传输与阵列信号处理过程,能对环境自适应地完成空时同步聚焦,尤其在复杂传播背景下可以借助多径信息拓展常规阵
小学是学生思想启蒙时期,教师在这一阶段需要为学生输出正确的思想道德观念,让他们在正确的思想引领下参与各类社会实践活动,保证学生身心健康发展,在此期间班主任应在班级内展开德育工作,有意识地培养小学生文明礼仪、诚实守信等行为习惯,将教书与育人完美融合,为学生提供最优质的学习与发展平台,构建健康的德育环境,实现健康、快乐成长。随着新课程标准改革政策的不断推行,素质教育理念逐渐深入人心,教师不仅要为学生开
期刊
人体姿态识别由于在公共监控、搜索救援、智能交互、老年人监护等领域的巨大应用前景成为近年来生物医学传感与现代信号处理交叉领域的研究热点之一。相对于传统的接触式传感器,基于雷达传感器的人体姿态识别技术具有非接触式测量的特点,适用于长时间监测;与其他非接触式传感器(如视频传感器和音频传感器等)相比,该技术又具有适应性好、穿透性好、无隐私问题等优点。然而,现阶段基于雷达传感器的人体姿态识别研究仍存在许多亟
在小学班主任工作中,教师要基于皮格马利翁效应,积极优化班级管理工作,提升学生自主能力。教师要积极评价,把握住过程细节,捕捉合适的契机,为学生搭建平台,点燃他们的心理驱动。在和学生沟通的时候要倾注爱心,用体态语言关怀他们,了解他们的性格,维护他们的尊严。班主任还要帮助学生树立目标,让他们体验需要,获得突破,感受成功。这样能充分调动大家的积极情感,从而提高班级管理效率。
“火热”是夏季的关键词,火热的生命力体现在人们目光所及的所有场景中:郁郁葱葱的作物、花草与树木,在阳气旺盛的夏季茁壮生长着;绿荫间的蝉、池塘里的蛙也叫得热闹;即使是相对安静的夜晚,于街道拐角处也可见不少三五成群的人们在乘凉度夏。“火热”是老百姓对于夏季的认识,也是中医学对这个季节特性的总结。在中医五行中,
期刊
长期处于溶蚀和氯盐侵蚀环境下的混凝土结构,不仅遭受溶蚀、氯盐等多种环境因素侵蚀,还受到地震、强风等各种荷载作用。环境水中的氯离子侵入混凝土内部,引起钢筋的锈蚀;长期的溶蚀导致混凝土微结构劣化及力学性能下降,加速了氯离子在混凝土中的传输进程,所以溶蚀和氯盐侵蚀是导致混凝土性能劣化、结构耐久性降低和服役寿命缩短的重要原因之一。因此,必须对溶蚀和氯盐侵蚀环境下混凝土结构的性能退化过程有明确的认识,有必要
自2020年“双碳”目标提出以来,我国绿色保险发展迅速,已成为助力实现该目标的重要金融工具,粤港澳大湾区在推广绿色保险方面具有特殊的优势和潜力。然而,囿于大湾区内“一国两制三法域”的特殊性,构建大湾区绿色保险制度仍面临着一些挑战。立足大湾区绿色保险的实践状况,借鉴美国、德国、法国等国外有益的制度经验,构建大湾区绿色保险制度,在总体思路上应以激励性机制为主、规制性机制为辅,在具体内容上应适时扩容绿色
现阶段,数据资源易于获取,以集合为研究对象的分类问题已成为模式识别与计算机视觉中的一个研究热点。相比于传统的基于单幅图像的分类任务而言,图像集包含了丰富多样的图像信息,包括不同姿态、不同光照条件、多表情、遮挡等,充分利用这些信息更加有利于分类。目前,图像集分类任务存在很多难点,考虑到数据集内部结构的复杂性,利用单一视图建模无法有效地反映集合信息;考虑到数据间统计分布相关性较弱时,基于参数统计学习的
多年来,大连市甘井子区知远小学坚持把立德树人作为学校教育的根本任务,深入思考“培养什么人、怎样培养人、为谁培养人”这个根本问题,贯彻落实“三全育人”(全员育人、全程育人、全方位育人)宗旨。学校以“知·行教育”理念为引领,构建并形成了完善的德育工作体系,提出并践行“知礼仪——行修品德,知读写——行增智慧,知思考——行有创新,
期刊
高精度的零件加工对精密性和稳定性要求很高,由温度引起的“热胀冷缩”是提高精度的关键困难之一。本文在调研国内外对热膨胀系数测量研究的基础上,提出了通过长距离显微光路的特别设计,提升对微小位移的分辨能力,在不需要特定的样品形状、不需要在样品上做标记的情况下就能进行微小热膨胀量的测量。本文主要工作如下:首先,进行了长工作距离的显微成像光路研制。高低温箱为了绝热需要,观察窗口安装有四层玻璃。同时,为了准确