基于深度学习的空间站舱内航天员智能检测与跟踪研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:xiangfeng007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中国空间站将于2022年前后建成,未来空间站的长期在轨运营、复杂科学实验的开展将主要依赖航天员来完成。载人飞行成本高、在轨驻留航天员人数有限,实现航天员工作效率提升,充分利用宝贵的在轨时间开展更多有价值的空间任务,对载人航天活动意义重大。为辅助空间站舱内航天员工作、提升航天员工作效率,本文提出了一款智能的舱内航天员跟随辅助机器人。该机器人能够智能地跟随所服务的航天员并与其进行交互,代替或辅助航天员完成一些简单、耗时的日常工作,如视频拍摄、数据查询等。航天员位置检测与运动跟踪,是辅助机器人实现航天员跟随、智能人机交互的前提。本文基于深度学习方法,提出了不同应用场景下的航天员智能检测与跟踪算法,并实现了算法于嵌入式上的实时、在线部署,满足了工程应用需求。首先,通过对空间站舱内环境以及航天员舱内活动的特点进行分析,提出了航天员检测与跟踪问题的科学描述,即结构化环境中具有相似视觉特征确定对象集的成员位置检测与运动跟踪。给出了相关科学概念的定义,并对问题难点和关键技术进行了分析描述。其次,针对舱内行走或单人作业任务场景下的航天员检测与跟踪,设计了基于回归方法的乘员位置检测深度卷积神经网络,构建了训练和测试数据集,完成网络训练、验证,实现了对姿态任意、穿着多样乘员人体的稳定、准确检测。基于融合的彩色和深度图像,获取了乘员人体空间位置信息,构建了乘员运动预测的概率模型,实现了对指定乘员的稳定、准确跟踪。再次,针对舱内多人作业任务场景下的多目标乘员检测与跟踪,利用乘员头部特征,设计了基于回归方法的乘员头部检测深度卷积神经网络,构建了训练和测试数据集,完成网络训练、验证,实现了对乘员头部的稳定、准确检测。同样基于融合的彩色和深度图像,获取了乘员头部的空间位置信息,构建了多目标跟踪算法,实现了对多个乘员的稳定、准确跟踪。最后,考虑到嵌入式实时、在线应用需求,我们对深度学习网络结构进行了轻量优化设计、对深度学习网络推理计算过程进行了优化。乘员位置检测网络、乘员头部检测网络可在嵌入式平台Jetson TX2上分别以42fps和33fps速度实时运行。完成了两种应用场景下的乘员运动跟踪算法实时、在线实现,基于全向运动平台构建了在线乘员运动跟踪实验系统,并通过实验验证了算法的有效性和工程实用性。论文的研究为舱内辅助机器人实现航天员智能检测与跟踪提供了方法有效、工程可行的解决方案,为辅助机器人实现航天员跟随飞行、智能人机交互奠定了重要基础。
其他文献
随着我国城镇化的快速发展,公共场所人群失稳事故频发。大数据时代,行人运动及人群疏散数据的获取空前便利,如何利用这些数据增强建模仿真技术在公共场所人群应急管理全过程的效能面临巨大机遇和挑战。为应对这些机遇和挑战,本文提出使用数据驱动的方式对行人运动及人群疏散建模仿真进行研究。首先建立了基于平行仿真的行人运动及人群疏散建模仿真应用框架,其中数据驱动的仿真建模是实现该框架的的关键技术。然后从模型结构空间
基于红外成像的空间目标识别是导弹防御系统中的关键环节。远距离空间目标的红外成像为点目标,仅能获取目标辐射强度序列。如何从中提取目标的形状和姿态运动等特征信息,进行有效的点目标识别是研究的重点和难点问题。在智能化作战需求的牵引下,本课题基于空间点目标的红外辐射强度时间序列,开展了神经网络空间目标识别技术的研究,主要研究内容包括以下三个方面:第一,空间目标红外辐射强度建模及形状与姿态反演。对目标表面温
空间机器人一直是在轨服务技术中的重要选项之一。随着服务对象的不断扩展,加之航天任务对可靠性的极高要求,单臂乃至多臂空间机器人将面临一些难以胜任的操作任务。而小卫星的应用和编队技术的成熟,使得多空间机器人协同服务成为可能。本文以多空间机器人编队组成的在轨服务系统为研究对象,以李群李代数和旋量理论为基本工具,在建立系统运动学和动力学模型的基础上,重点研究了运动规划和跟踪控制问题。所得主要成果如下:1、
雷达辐射源分选与识别一直是电子侦察监视、电子对抗等领域的热点研究问题。随着各类辐射源和有意无意干扰的增多,并伴随着雷达低截获概率技术的发展、工作体制的复杂化以及抗干扰技术的综合应用等,导致截获信号呈现出信噪比低、干扰脉冲多、观测误差大等特点,雷达脉冲序列规律性被严重破坏,使得模型驱动类的传统分选与识别方法面临严重挑战。机器学习是由数据驱动的信号处理与信息获取工具,近年来在图像处理、数据挖掘、自然语
阵列信号处理是现代信号处理领域的重要分支,在移动通信、雷达、声呐、射电天文、电子医学等领域具有重要的应用。目前,经典的阵列测向方法属于模型驱动类方法,如MUSIC、ESPRIT及其各种改进算法。然而,模型驱动类方法在实际工程应用中始终面临着阵列误差、低信噪比等复杂环境的严峻挑战。机器学习是由数据驱动的信号处理与信息获取工具,在数据挖掘、文本理解、图像处理、模式识别(人脸、语音)等领域受到了广泛的关
在线社交网络是一种允许人们建立社会联系、参与互动交流、分享心得体会的在线平台。随着互联网信息技术的蓬勃发展,在线社交网络以其通讯即时、使用便捷、信息多元、用户海量等特点,深受广大用户的青睐与好评。人们将日常社交行为从线下生活延伸至线上网络,使得在线社交网络成为人们日常生活中不可或缺的重要平台。用户作为在线社交网络中的信息产生者与消费者,是各类在线社交平台的核心资产,其社交特征是识别用户身份、描述用
高功率光纤激光器的发展日新月异,随着应用领域的不断扩展,对激光器的输出稳定性更加关注,然而光子暗化效应成为制约光纤激光器高功率、高稳定性输出的重要因素。总结国内外对光子暗化效应的研究,虽然涉及表征方法、产生机理和抑制方法等方面,但是对光子暗化的产生机理仍无定论,且抑制方法上各有优劣。因此,本论文围绕高功率光纤中的光子暗化效应,以产生机理为指导,以表征方法为基础,对其抑制方法进行深入的理论和实验研究
当前,随着计算机科技的不断发展,尤其是可视化技术取得了突破性的进展,三维人体模型重建受到了国内外研究人员的广泛关注,并取得了一定的成果,是计算机图形学领域中的一个热点研究课题。高质量的三维人体模型在军事训练、航空航天、安全监控与影视游戏等诸多领域都具有非常可观的实用价值与广泛的应用前景。但是,由于硬件条件的约束限制,以及一些客观因素,三维人体模型重建仍然存在一些难点问题亟待解决,例如误差导致的纹理
常规光电成像系统主要由光学系统、面阵光电探测器和信号处理系统组成,其自动对焦机制在提升系统成像质量的同时,又使光电探测器被入射激光汇聚照明,成为二次发光点。有相当一部分反射光将按原入射光路返回,产生较强的猫眼效应,导致成像设备极易被激光主动侦察系统发现和定位,从而被施以激光致盲,乃至火力摧毁。目前基于猫眼回波探测技术的激光主动侦察或者侦察/致盲一体化系统已被广泛应用,对光电成像设备的隐蔽性与安全性
高功率光纤激光以其突出优势在工业加工、地球科学和军事国防等领域得到了广泛的应用。在光纤激光系统中,非线性效应与时频特性是紧密联系的,一方面,非线性效应会对光纤激光时频特性产生显著影响,这限制了高功率光纤激光在某些特殊场合的应用;另一方面,光纤激光时频特性是光纤中非线性效应的直观表征,具有不同时频特性的光纤激光,其非线性效应会呈现出不同的特性。本文以高功率光纤激光受激拉曼散射动力学特性为主要研究对象