基于深度学习的双目深度与光流联合估计

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:joinsoft
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维重建是包括机器人导航、目标识别、场景理解、动画制作、工业控制、医疗诊断和自动驾驶在内诸多领域所需的核心技术,而深度和光流信息是重建真实三维场景的必备条件。早期方法针对深度或光流进行单独估计,近年陆续出现联合估计深度与光流的不同方法。但联合估计方法依然在泛化性、准确性、完整性等方面存在不足,严重制约该领域进一步发展。因此,为了得到更高精度的深度信息与光流信息,本文提出了一种新的双目深度与光流联合估计方法。本文建立统一的网络框架,使用无监督学习方式,利用注意力机制方法进行深度与光流的联合任务估计,得到精度更高的估计结果。主要工作为:首先,提出了一个基于任务内注意力机制的共享特征网络。采用轻量化的编码器-解码器主干网络进行联合任务估计,设计跳跃连接拼接同尺度下的编码器特征和解码器特征,利用多尺度模块输出多个维度的估计结果以训练损失函数,提出任务内注意力机制提取任务内特征,初步提升了估计的精度;在此基础上,提出了一个基于任务间注意力机制的联合优化网络。共享特征网络利用任务内注意力机制虽然从全局特征中学习了特定任务的特征,但是没有进行任务特征的交互,而联合优化网络可以利用任务间注意力机制融合任务内特征的多模态信息并生成任务间特征,在共享特征网络结果的基础上进一步提升联合估计的精度。本文采用KITTI数据集的道路双目视频数据训练网络,并通过一系列自比实验,对比实验和可视化结果进行实验分析,证明了所提出方法的有效性。低纹理或重复纹理区域的细节估计结果得以改善,联合估计的精度得以提升。
其他文献
轮式移动机械臂由轮式移动平台和机械臂组合而成,由于其可以在空间内自由移动,故具有工作空间大、应用场景丰富、环境适应性强等优点。将轮式移动机械臂引入到智能工厂中,控制其按照参考轨迹进行加工作业,不仅可以代替传统固定式机械臂,还能提高加工效率,创新加工模式。为解决轮式移动机械臂结构复杂和多变量等问题,本文对轮式移动机械臂的加工作业过程进行划分,建立相应的数学模型和控制方法,以保证轮式移动机械臂在智能工
随着现代化信息技术的不断提高,互联网、物联网、5G等应用被广泛普及,海量数据是一种客观的存在,它们发挥着越来越重要的作用。时序数据为海量数据中的一种重要的结构化形式数据,如何高效的对各类时序数据进行异常检测是一个重要的研究课题,其旨在能够准确地从海量数据中识别出异常数据,为操作人员提供所监控设备各个部件的健康情况。本文借助深度学习强大的学习能力,对时序数据异常检测任务进行了深入的研究。针对时序数据
近年来,随着科技的进步,无人机机型向着小型化、低成本的方向不断发展。凭借着易部署、可控制、移动性的优点,无人机尤其是可悬停的旋翼无人机被大量应用在民用和商用领域,比如目标跟踪与检测、物流、辅助通信等等。其中,无人机辅助无线通信是目前的研究热点。在无人机辅助无线通信中,无人机可以通过安装小型的通信设备,为地面用户提供通信服务、作为中继节点为距离较远的收发设备建立连接、或作为移动汇聚节点采集地面无线传
近年来,随着各种人工智能(AI)应用不断地融入现实生活中并受到了日益广泛的关注,由深度神经网络(DNN)驱动的AI智能应用已经成功应用于许多现实领域。本文所研究是由DNN驱动的人工智能应用推理请求在5G移动边缘云(MEC)中的任务卸载策略问题,目的是在满足应用程序严格的延迟要求的前提下,尽可能多的处理DNN推理请求,以提高移动设备、基站和边缘服务器的能源效率。随着各种AI智能应用对精度、速度和能耗
自2007年发布以来,Android操作系统逐渐在智能终端的操作系统领域占据领先地位。官方平台和许多第三方市场都允许用户轻易地查找,下载以及使用大量的第三方应用程序,具有较好的用户体验。但与此同时,Android平台逐渐变成了恶意软件的主要攻击目标,恶意软件广泛存在各大应用市场,对用户的使用安全造成威胁。因此,高效地提高恶意软件的检测效率,提升模型鲁棒性,对其在现实背景下的实用性和维护Androi
作为水下计算机视觉的基础任务,精准的深度估计能够提升水下机器人的测距、定位以及目标抓取等任务的水平;高质量的颜色校正对于水下目标检测、识别等图像处理技术的发展具有重要意义。水下深度估计是对水下RGB图像中每一个像素相对拍摄源的距离进行估计;颜色校正解决图像中由水体环境导致的光衰减和后向散射等问题。但是,相较于陆上环境所具备的数据量大、技术研发成熟等优势,光照不均和能见度低等恶劣环境导致水下成像存在
近些年来,基于深度学习的显著性目标检测算法被广泛提出,并且相较于传统算法获得了极为可观的性能提升。但是,基于深度学习的像素级图像分割任务往往需要精细的人工标注数据。为了减少对人工标注数据的依赖,当前的研究者们推动了一系列基于无监督学习和弱监督学习的显著性目标检测算法的产生。然而这些方法与目前基于全监督学习的方法在性能上依然存在较大的差距。在现实场景应用下,除了绝大多数的弱标签数据之外,还存在少部分
最优传输的理论和方法日益渗透进深度学习等许多工程领域,其Figalli正则性定理揭示了生成模型存在模式崩溃和模式混合的本质原因是传输映射在奇异集处不连续。此外根据对抗样本生成机理的流形假说,奇异集中存在对抗样本,因此计算和研究最优传输映射奇异集变得更加重要。本文主要研究两个问题:一是计算最优传输映射的奇异集,二是利用奇异集生成对抗样本。为了解决上述问题,本文首先基于几何变分方法设计并实现最优传输映
深度学习技术的快速发展使得DNN驱动的自动驾驶技术的研究和部署有了质的突破。然而,虽然自动驾驶汽车已在无人操作的情况下路测行驶数百亿公里,其自动驾驶行为的安全性并不能得到保证——转向角度、安全距离、加速度及制动等因素的微小偏差都可能对安全操纵造成难以预计的结果。因此,自动驾驶汽车的安全性验证技术逐渐成为当前的研究热点和难点。本文以摄像头传感器采集的图像数据作为输入,以正确的转向角度作为输出,研究D
时间序列是大数据的一种重要存在形式,对其利用的方式之一就是通过聚类或分类来挖掘其中的类别信息。时间序列分类(Time series classification,TSC)任务是一项普遍且具有重要意义的课题,常见于工业、金融和医学等领域。然而,时间序列数据存在维度过高和在时间上不对齐的缺点,难以从中获取到对分类任务有益的特征信息。深度学习模型对输入数据具有一定的容错性并能够自动提取特征,在TSC问题