基于轻量级神经网络的移动机器人目标检测方法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:ydaf1aj9
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目标检测是移动机器人感知环境的重要方式之一。移动机器人利用自身携带的摄像头,可以实时获取周围环境的图像。而目标检测利用图像可以帮助机器人对周围可能存在的目标进行检测和定位。本文专注机器人智能化,着力于将深度学习目标检测方法应用在移动机器人平台上。针对机器人计算设备算力有限的问题,本文中目标检测网络均采用轻量级基础网络,使得目标检测整体算法能够实时运行。本文实现了三类不同目标检测方法以解决移动机器人中多个问题。三类目标检测方法分别为二维目标检测方法、旋转目标检测方法和三维目标检测方法。移动机器人平台包括四旋翼无人机和移动射击机器人两种。四个问题分别为:四旋翼机器人中的斜视图像二维目标检测问题和俯视图像旋转目标检测问题,步兵机器人中的自主目标打击问题和单目三维定位问题。针对以上四个问题,本文主要做了四个方面的工作:1.四旋翼飞行器斜视图像二维目标检测问题。本文基于Faster-RCNN[]进行改进,设计了 一个轻量级基础网络(lightweight backbone network)加快整个算法的运行速度,在保证目标检测准确率的同时解决了原Faster-RCNN[]方法实时运行速度不高的问题。根据斜下视图像中目标物体大小与物体图像中心纵坐标相关的特点,本文提出了一种增量式先验框(incremental anchor),增量式先验框尺寸与其图像纵坐标线性相关,实验证明增量式先验框能有效提高目标检测准确率。此项工作在国际空中机器人大赛(International Aerial Robotics Competition)中作为环境感知模块帮助四旋翼机器人自主搜索地面移动机器人,助力团队连续两年获得大赛冠军。2.四旋翼飞行器俯视图像旋转目标检测问题。本文提出了一种深度学习二维旋转目标检测方法。目标检测网络主要包含三个模块:轻量级基础网络,用于提取图像特征获取特征金字塔(featurepyramid);旋转检测网络,在特征金字塔上进行五参数回归预测旋转边界框及框内目标类别;朝向检测器,利用运动物体头尾区域分离式分类获取物体运动朝向。实验验证提出方法能够在有效检测旋转移动物体的同时估计物体运动方向。3.步兵机器人中的目标检测和目标打击问题。本文提出了 一种基于深度学习的目标打击方法。该方法主要包含两个部分:第一,对目标检测方法YOLOv3[]进行改进,设计一个轻量化基础网络,使改进后的算法能够在算力有限的微型计算设备TX2上达到每秒处理26帧图像的运行速度,同时保持较高的目标检测准确度。第二,提出了一种步兵机器人中的自主打击快速移动目标方案,依赖目标检测结果控制二自由度炮台瞄准目标发射子弹进行打击。同时,设计状态机控制云台运动解决摄像机感知范围过小的问题。最后以实物实验形式实现整体方案,展示移动机器人自主击打移动目标过程。此项工作助力团队在2019 ICRA Robomaster人工智能挑战赛中获得亚军。4.步兵机器人中的单目三维目标定位问题。本文利用当前最先进的单目三维深度学习目标检测方法M3D-RPN[]对步兵机器人进行三维定位,引入纵向分离的卷积操作改进算法有效提高定位精度。进行实物实验验证算法有效性,实验结果表明算法能够解决步兵机器人中的三维目标定位问题。
其他文献
高速飞行器的研究一直是研究热点。由于相关技术的迅速发展和越来越复杂的飞行环境,对于高速飞行器的控制要求也越来越高。本文针对高超声速飞行器具有高度非线性、飞行环境复杂以及参数不确定性等特点,提出了基于随机鲁棒优化的控制方法。另外,对飞行器的姿控系统进行了性能评估方面的研究,以确保飞行控制系统的正确性和可靠性。针对高超声速飞行器的姿态控制,提出了基于随机鲁棒优化的LQR控制方法。首先分析了不确定性的产
开颅手术适应症广泛,是治疗颅内胶质瘤、颅内损伤、颅底肿瘤的常用手段。然而,目前开颅手术耗时费力,风险较高。针对这些问题,提出人机协同智能开颅手术机器人系统,结合医生
背景与目的随着国人生活水平的不断提高和饮食习惯的变化,我国结直肠癌(colorectal cancer,CRC)的发病率近年来逐年升高,特别是大城市的增幅更快。目前,上海CRC的发病率已跃
如今,光探测器已广泛应用于学术和工业领域,受到了人们越来越多的关注。有机-无机杂化钙钛矿作为光探测器活性层的新型材料,为研发出更高性能的光探测器提供了可能。目前绝大
目的:探讨异丹叶大黄素(Isorhapontigenin,ISO)和白藜芦醇(Resveratrol,RES)抑制骨肉瘤K7M2细胞生长及免疫调节的作用,并明确相应的细胞和分子机制,为骨肉瘤的治疗提供新的实验依据。方法:(1)不同浓度的ISO和RES体外处理K7M2细胞,MTT检测细胞增殖情况。(2)流式细胞术检测ISO和RES对K7M2细胞凋亡和细胞周期的影响。(3)实时定量多聚酶链聚合反应(R
在世界的广阔天地中,存在着大范围的非结构化路面环境。有腿机器人作为类生物腿的一种机器,在非结构化路面环境中具有运动速度快、移动效率高以及能够快速越过障碍、沟壑等优
有机发光二极管(Organic light-emitting diode,OLED)在显示应用中具有高效率、轻量化、高色质等优点而备受关注。然而,已报道的大多数传统荧光材料以及大多数热活化延迟荧光(TA
在神经科学研究中,从单神经元水平对神经环路结构的研究有助于理解大脑的运行机制和工作原理。借助显微光学切片断层成像系统可以获取大脑中的神经纤维等精细结构图像,通过这些图像数据,人们可以在单神经元分辨率水平上研究神经环路。然而,由于成像时的光照不均、切片过程不稳定等因素的影响,采集的原始图像往往存在信号强度不均的问题,主要表现为背景亮度不均匀以及无规律的切削伪影,这为后期的图像数据定量分析带来了困难。
研究目的:疟疾是由疟原虫引起的。目前疟疾的治疗手段和预防途径仍然是以药物治疗为主。然而由于疟原虫耐药性的出现,可用于疟疾治疗的药物种类和药物数量非常有限。随着药物化学和有机合成技术的发展,研发具有独特结构和作用机制的天然来源或合成的小分子药物已成为治疗疟疾的新方向。Carroll等在2013年从桃金娘科植物Corymbia watsoniana中分离鉴定了一系列化合物,其中watsonianone
神经元作为神经系统结构和功能的基本单元,一直是脑科学的重要研究对象。而功能与结构相关,神经元的形态影响着神经元的功能,准确地获得神经元形态数据对神经元分类、类脑模拟等研究具有重要意义。显微光学断层成像系统等一系列高分辨光学成像系统的出现,为人们观察神经元的形态提供了准确可靠的数据来源。基于这些系统所采集的小鼠全脑高分辨数据,通过手工重建的方式可以获得神经元形态的骨架信息,但仅有骨架并不能满足人们对