基于深度学习的动态场景语义SLAM研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:kukakei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)是指机器人在陌生环境中仅通过自身携带的传感器估计自身位姿与构建环境地图的过程,它是很多机器人应用场景的先决条件,比如路径规划、无碰撞导航、环境感知等。视觉SLAM则是指以摄像头为主要数据采集传感器的定位建图方法,相比于激光等其他传感器,摄像头具有成本低,体积小等许多优点,而且视觉为机器人处理场景提供了丰富的纹理信息,是产生环境语义的重要基础。虽然目前已经有很多成功的开源方案,但是视觉SLAM仍然有许多不足之处。首先,目前的无论是基于直接法,还是特征点法的SLAM均只构建出空间点云位置,并不能展现该点云所代表的视觉含义。其次,也是因为在数据联合过程中的直接匹配处理,没有考虑环境语义信息,导致当环境中存在高动态物体时,系统轨迹计算精度大大降低,甚至导致系统建图失败。针对以上问题,本文提出一种利用深度学习识别环境语义信息并结合光流法识别动态物体来进行三维语义地图构建方法,该方法构建的语义地图可以是用于交互稠密的点云地图,也可为用于室内机器人导航过程的八叉树地图。为实现该过程,整个系统采用多线程的处理方式,系统的输入为彩色图与深度图,语义分割线程与SLAM过程同时运行。首先用实例分割网络对彩色图关键帧进行实例分割建立先验语义信息。然后计算特征点光流场对物体进一步区分,识别出场景真正运动物体,与此同时SLAM过程根据动态信息优化求解位姿方法,并进行三维语义优化,建立动态物体信息库,实现语义地图的动态更新,为方便机器人导航过程,可将稠密点云地图转化为八叉树地图,最终建立无动态物体干扰的语义地图。将本文提出的方法在室内环境公开数据集中测试,结果表明,本文方法可有效的消除动态物体对SLAM过程的影响,大大提高机器人在即时定位与地图构建过程中轨迹的计算精度,建立可靠的三维稠密语义地图或八叉树语义地图。
其他文献
海洋观测的发展在本世纪初来到了以水下机器人为代表的智能化观测时代,水下滑翔机是目前应用较为广泛的一种观测型水下机器人,近些年来成为大时空、高密度海洋观测的首选。然而,传统水下滑翔机通常采用船基布放方式,多数情况下布放效率较低。因此,水下滑翔机若能具备多平台快速部署尤其是管式发射(空投、潜射等)能力,并结合其可自主移动观测的特点,将极大提高突发海域应急机动观测能力。针对上述问题提出水下柔性可折叠翼概
在复合材料中,纤维增强复合材料是一种被广泛认可且应用于各领域的新型材料,与传统材料相比有很高的比强度和比刚度,耐高温、耐疲劳、热稳定性好,并且已广泛应用在船舶、建筑、车辆以及航空航天领域。目前,在实际工程中,存在大量通过该类型材料制成的纤维增强复合材料结构件,由于它们服役的环境越来越多样化,由此带来的振动及疲劳破坏问题越来越复杂和严峻,尤其是在热环境中最为常见。为了能够深入研究并抑制由振动引发的结
盲人对于出行的需求自古有之。随着机器人技术、传感器技术、尤其是室外定位技术的发展,采用具有室外导航能力的移动机器人为盲人导盲成为可能。本文采用”路径示教与往返”的导盲策略;将集成RTK技术的GNSS模块应用于导盲领域,解决了室外高精度定位问题;采用路径示教的手段解决了获得全局路径的问题。本文的主要研究内容如下:(1)总结了国内外导盲辅具的研究现状,分析了室外导盲问题的关键技术和盲人对于导盲功能的需
折臂式高空作业车是机械领域中一种重要的施工设备,具有作业效率高、安全性好、机动灵活、适用于狭窄场地等特点,应用前景较为广泛。高空作业车在作业时,会遇到诸如负载过大、地基塌陷、路面坑洼不平和作业坡脚过大等情况,致使作业车发生倾翻或者局部失稳,引发安全事故。因此,对高空作业车的稳定性进行分析尤为重要。本文针对A45折臂式高空作业车,对其进行了整机抗倾覆稳定性及其主要影响因素分析,展开作业稳定性及其主要
盾构机在施工的过程中,泥沙土石分布情况难以预测,导致刀盘磨损严重,一次施工需要多次换刀;人工换刀效率低,耗费时间久,操作人员的人身安全也难以保障,所以拟采用换刀机器人代替人工进行自主换刀作业。而采用机器人换刀,精度就成为了主要的考虑点。因此本文主要是对换刀机器人样机进行运动精度分析。影响工业机器人运动精度的主要因素包括:换刀机器人的零部件加工误差(如;杆长误差、轴径误差等)、为满足装配和实现旋转设
近来,随着人工智能和“中国制造2025”的发展,大量工业机器人应用于分拣系统,以机器人为主导的生产模式取代传统的人力模式,降低恶劣环境对人体的伤害且极大提高分拣任务的自动化程度、工作效率,降低生产成本等。然而2D图像缺乏3D几何信息,且受纹理、光线等影响明显,这导致视觉采集的图像比较模糊,整体质量不高。同时,传统的3D点云的视觉处理,步骤繁杂且计算复杂度高。虽然3D深度学习网络的出现提供了新的思路
仿人机器人能模拟人类形态和运动特征,并且能代替人类完成很多工作,在服务业、工业等领域均有广泛的应用前景。目前仿人机器人腿部的柔性仍存在不足,导致了机器人运动时存在冲击较大、难以适应各种复杂地形等问题,因此针对机器人腿部柔顺性方面的研究具有重要的意义。首先,通过分析人体腿部的变刚度机理,将变刚度膝关节引入机器人腿中,使机器人下肢具备柔性。然后,分别从能量守恒和力矩相等的角度,建立含有变刚度膝关节的机
目前建模方法主要为机理建模、知识模型和数据驱动建模方法,机理建模的模型准确度较高,但是建模的周期特别长,难度较大,并且模型内的参数比较难辨识。知识模型建模方法的模型形式简单,容易实现,但是精度较低,对于知识比较难获取。而且这两种建模方法对于自由度较多、动力系统本身或环境发生改变,现有运动方式无法满足运动的情况是难以建模的。对于一个机器人系统,不需要过程结构信息、利用输入输出数据建立的模型,能够更好
随着国六排放标准政策的实施,各汽车生产厂商相继推出自己的混动或者纯电动汽车车型,随着未来排放标准的越来越严格,新的能源燃料推出之前,纯电动汽车肯定是汽车企业主打车型。而驱动电机作为纯电动汽车动力源,它的动力特性,控制策略也会研究的越来越深入。现在主流驱动电机是永磁同步电机,它相对于其他类型的电机有很多优越性,功率因数大,调速范围宽等。矢量控制是现在比较成熟的控制策略,由于它是双闭环控制,为了调高电
随着科学技术的进步和制造水平的提高,轨道交通行业发展迅速。虽然我国在高速动车组列车方面的研究相对较晚,但通过科研人员的不断努力,使得设计水平和制造技术得到了很大的提高,已逐渐走到了世界的前列。车体是动车组的重要承载结构,在车身结构设计中十分重要。由于加工工艺、焊接工艺、服役载荷和环境等方面的影响,车体服役一段时间后会在局部区域出现裂纹等损伤。本文主要针对某型号动车组中间车体,围绕含损伤动车组车体结