深度信息在室内场景图像语义分割中的应用研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:leesy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
语义分割是计算机视觉领域中的一项基本任务,通常根据RGB彩色图像给各像素分配对应的类别,是像素级的多分类任务。近年来的研究表明,在室内场景的语义分割任务中,深度信息的引入会在一定程度上提高分割的精度,原因是深度图像可以提供彩色图像相对匮乏的空间深度信息,能够区分视觉特征相似但深度特征差异较大的不同物体。当前主流深度神经网络均采用固有几何结构的卷积核,而真实世界中物体的形状千变万化,固定几何结构的卷积核对于不同物体的自适应能力较差。可变形卷积(deformable convolution,DC)通过对视觉特征卷积学习采样点的位置偏移,使得采样点可以自由移动。可是,彩色图像的空间深度信息相对匮乏,导致学习到的位置偏移略有不足。针对这个问题,本文提出了深度信息嵌入的可变形卷积(Depth embedded deformable convolution,DDC)网络,利用深度图像中丰富的空间深度信息增强可变形卷积的特征提取能力。该方法在NYUv2数据集上的mIoU和PA分别为50.6%和76.9%,相对于可变形卷积的mIoU与PA分别提高了3.4%和2.3%。在将深度信息用于室内场景图像语义分割时并非所有的深度信息都是有用的。对于仅依靠视觉特征网络就可以轻易区分的不同物体,这时深度信息的引入反而会画蛇添足,甚至使网络产生错误的分类结果。针对这个问题,本文提出了深度信息引导的特征选择(Depth guided feature selection,DFS)网络,可以自适应地决定深度信息引入的程度。在网络需要的情况下,引入更多的深度信息;反之,不引入或引入较少的深度信息,从而更合理地利用深度信息。该方法在NYUv2数据集上的mIoU和PA分别为51.4%和77.1%,相对于基准分别提高了5.4%和3.5%。在前述工作的基础上本文将DFS与DDC有机地组合在一起,提出了深度信息辅助的特征选择与可变形卷积网络。将含有关键深度信息的多模特征作为DDC的部输入,相比之前引入全部深度信息的多模特征,可以根据需要学习恰当的多模特征,进一步改进DDC。该方法在NYUv2数据集上的mIoU和PA分别为51.9%和77.6%,相对于基准分别提高了5.9%和4.0%,实现了最好的分割结果。本文主要针对室内图像语义分割的方法进行研究,提出的改进算法为深度信息的利用提供了一种新的思路,可以应用于SLAM、室内机器人导航等领域,对RGB-D(彩色图像与深度图像)语义分割的研究具有重要的意义。
其他文献
加工质量是制造过程的核心需求,误差补偿是一种高效提升零件加工质量的方式。基于零件测量数据的误差补偿方法,是误差补偿工作的重要分支。目前,基于零件测量数据的误差补偿研究,主要通过三坐标测量机获取零件表面数据,但该方法无法快速、在线获取零件误差;并且现有研究,主要基于逆向工程与CAM系统,重新生成补偿后的零件模型与加工代码,补偿流程繁琐,难以在车间批量加工场景下应用。面向批量加工场景,本文提出一种基于
目的分析了解2004年以来深圳市儿童感染性眼内炎临床特点及变化情况。方法回顾性分析2004年1月1日至2007年12月30日深圳市眼科医院眼外伤-玻璃体视网膜病区收治的儿童病例(12例12只眼)。了解临床发病特点、手术方法、感染源与抗生素敏感度等变化情况。结果本组患儿年龄9个月~14岁,平均年龄6.79岁。治疗后眼内炎痊愈。随访
会议
人眼虹膜具有唯一性、持久性与高辨别性的特点,虹膜验证是基于该生物特征的身份验证方法,适合各种安全场合的身份验证场景。然而虹膜图像在真实复杂环境中受到反光、遮挡、虹膜形变等因素的干扰,给虹膜的特征提取带来了困难,降低了虹膜验证的鲁棒性和准确性。因此本文提出了一种基于深度度量学习的虹膜验证方法,主要工作如下:(1)提出一种基于虹膜外接矩形图的虹膜特征提取策略,并以此提出基于残差神经网络的虹膜验证方法,
适应性免疫功能失调是导致慢性阻塞性肺疾病(COPD)持续进展的重要因素,其中CD4+辅助性T细胞与调节性T细胞(Treg)是该过程的两个关键参与者。诱导性共刺激分子(ICOS)在促炎的CD4+辅助T细胞和抗炎的CD4+Tregs上均有表达,ICOS信号在不同疾病中的整体作用要具体情况具体分析。在本项研究中,我们发现ICOS的表达水平在COPD病人外周血CD4+T细胞和CD4+Tregs中均升高,且
半球谐振陀螺作为航空航天等高端装备中惯导系统的核心器件,对战术武器的飞行精度和姿态稳定性起着决定性作用。在其制造过程中半球谐振子金属化镀膜至关重要,但薄膜应力对谐振子Q值影响较大,直接决定着半球谐振陀螺的最终性能。本文从半球谐振陀螺的发展、工作原理出发,结合镀膜工艺的介绍与比较、残余应力的成因与计算,围绕薄膜沉积过程中工艺参数对薄膜应力的影响展开研究,介绍了Stoney公式法与XRD法,最终选定X
热交换过程和换热装置是工业生产过程中广泛应用的流程和设备,其中金属传热面往往会遭受严重的腐蚀。金属腐蚀一直是换热器运行中的巨大挑战。传热系统最重要的特征是存在热边界层,传热界面的热边界层内存在显著温差即热场,将导致热量穿越金属/流体介质界面传导。热场的存在可能影响金属的腐蚀行为,改变金属腐蚀机制,同时热场可能对缓蚀剂的吸附行为产生显著影响。因此,研究传热作用下金属腐蚀行为和缓蚀剂的作用机制具有重要
在过去的二十年间,二维材料在凝聚态物理的研究中占据了非常重要的地位。作为第一个在实验上成功制备的二维材料,石墨烯独特的电子特性使其成为了凝聚态物理和材料领域的研究焦点。在石墨烯之后,许多新型的二维材料都在实验上成功合成,诸如Mxene,Mo S2,黑磷,BN,以及众多的过渡金属硫化物等等。在这些材料之中,人们发现了许多优良的物理特性,比如二维拓扑,二维磁性,二维铁电等等,再加上二维材料本身尺寸非常
全球互联网流量急速增长,新一代短距光互联系统正向高速率、大容量的方向发展。由于四电平幅度调制(4-level Pulse Amplitude Modulation,PAM-4)信号结构简单、易于实施,已经获得广泛应用。高速PAM-4光信号的监测评估是保障光电模块质量的重要环节,这依赖于先进信号采集与分析技术。传统基于高速光电转换和高精度电域采样的信号分析方法受限于器件工作带宽和自主受控因素,导致测
岩石隧道掘进机挖掘隧道过程中,需及时地将弧形钢拱架拼装成环形结构,以支撑隧道围岩,防止坍塌事故的发生。目前人工辅助拼装钢拱架的作业方式存在效率低、危险性高等问题。因此,本文对钢拱架视觉定位技术进行了研究,开发一套基于双目视觉的钢拱架定位系统,配合机械手抓取钢拱架进行自动化拼装。本文的主要研究内容如下:(1)分析钢拱架结构特点和拼装方式,设计了以铰接孔和棱边作为测量特征的双目视觉定位方案;根据钢拱架
目的:具核梭杆菌(Fusobacterium nucleatum,F.n.)是近年来发现的一种能够引起和加重肠道炎症的肠道细菌,鼠李糖乳杆菌(Lactobacillus rhamnosus,L.r.)是一种具有多种用途的常用益生菌。自噬(autophagy)在维持肠上皮细胞生理和病理状态下的功能的重要因素之一,尤其是在肠上皮细胞对肠道菌群的反应中具有关键作用。本研究旨在探究鼠李糖乳杆菌对具核梭杆菌