【摘 要】
:
强化学习是机器学习领域重要的研究之一,在移动机器人导航技术方面有许多应用。但是当前强化学习算法都有收敛速度慢,环境适应能力差等很多问题,而且在现实应用中需要高昂的训练成本,所以给移动机器人导航的应用带来了诸多困难。因此,针对以上问题,本文主要完成以下工作:(1)通过Gazebo仿真环境搭建仿真环境和ROS仿真移动机器人,并且通过ROS操作系统在真实环境中搭建移动机器人平台。(2)针对目前机器人导航
论文部分内容阅读
强化学习是机器学习领域重要的研究之一,在移动机器人导航技术方面有许多应用。但是当前强化学习算法都有收敛速度慢,环境适应能力差等很多问题,而且在现实应用中需要高昂的训练成本,所以给移动机器人导航的应用带来了诸多困难。因此,针对以上问题,本文主要完成以下工作:(1)通过Gazebo仿真环境搭建仿真环境和ROS仿真移动机器人,并且通过ROS操作系统在真实环境中搭建移动机器人平台。(2)针对目前机器人导航策略在环境迁移中需要花费大量时间重新训练的问题,本文提出一种基于深度强化学习的机器人导航策略。该策略使用深度强化学习作为机器人的决策框架,结合后继特征,使机器人可以将先前环境中提取的特征映射到新的环境中。在适应某个的环境后,若在新的环境中遇到类似的特征,则会启用之前的策略,减少重复训练,迅速适应新的环境。在模拟环境中进行训练并验证,实验表明,本文的方法可以自主完成导航任务,且与传统的强化学习方法相比,能更快适应新的环境。(3)针对目前强化学习在真实环境中需要通过进行大量训练才能得到合适控制策略的问题,本文提出了一种基于模仿学习的DDPG算法框架(DDPG-IL)。该框架首先通过模仿学习获取演示数据并将其存储在专家库中,同时对DDPG算法进行了预训练。然后,该算法合理地利用了演示数据及其自身的探索数据进行学习。最后,当算法达到近似专家水平时,它逐渐成为普通的强化学习,并通过自学习继续训练,直到算法收敛到稳定状态为止。通过ROS搭建移动机器人平台在实际环境进行实验,实验结果表明,该算法收敛速度快于普通的强化学习算法,能够在现实环境中快速收敛。
其他文献
随着工业自动化水平的不断提高,现代控制系统的复杂程度快速增加,这也导致系统发生故障的可能性增大,一旦故障发生,将会降低系统的性能、导致系统的不稳定,甚至造成严重的财产损失和人员伤亡。因此,对系统实施故障诊断与容错控制,对提高系统的可靠性和安全性有着重要的意义。同时,受系统非线性和随机干扰的影响,随机系统中的变量大都为非高斯变量,传统的以期望和方差为优化指标的控制方法已不再适用于非高斯随机系统。为此
降水是地球水资源循环的重要环节,对于研究全球气候变化和监测自然灾害有重要意义。西藏地区位于青藏高原,针对其降水强度等级估计面临地面观测站点稀少,基于云团物理特征的传统方法易受高亮地表及复杂下垫面的影响。使用高分辨率的风云四号A星(Feng Yun-4A,FY-4A)作为主要数据源,通过深度学习算法研究适用于西藏高原地区的降水云团识别及降水强度等级估计算法,准确地估计三十分钟内的降水强度等级。提出一
微表情是一种自发的、不受人为控制的特殊面部肌肉运动,可以“泄露”出一个人内心的真实情感,在国家安防以及心理咨询等领域等存在广泛的应用价值。与普通宏观表情可以直接被人眼识别不同,即使经过培训的专业人员在识别微表情时也难以达到满意的结果。为了提高微表情的识别率以及节省人工成本,自动识别微表情逐渐成为研究的主要方向。目前对微表情的研究大都只提取其单一的特征,这导致提取到的微表情信息不全,影响最终的识别率
海洋气象数据采集要素主要包括温度、湿度、气压、风速和风向。现有的海洋气象数据采集多以监测站和雷达卫星为主,难以开展监测站以外的精细化气象数据采集工作。现有的GPS下投式探空仪多用于高空气象数据探测,难以满足在海洋方面的数据精度要求,本文基于多旋翼无人机高机动性和易操作等特点,结合GPS测风技术和动态卡尔曼滤波算法设计了一种海洋气象数据采集系统。本文主要内容由以下几个部分组成:(1)基于现有的GPS
表面等离激元是一种沿金属表面传播并周期性振荡的电子疏密波,由入射光的光子与金属结构表面的自由电子相互作用而产生。表面等离激元具备破坏衍射极限的特性,可在单个纳米器件上实现光特性和电特性的集成,也可在环境检测、太阳能电池以及生物医学等多领域实现应用。本论文研究了周期性金属纳米结构的光学特性,探索了其传感性能,以下是本论文的主要工作:提出了一种利用微球自组装技术制备具有偏振调控光学特性的金属纳米狭缝型
卫星云图在天气分析和预报中起着重要的作用。然而卫星云图的空间分辨率逐渐不能满足气象监测日益增长的需求。使用超分辨率(SR)方法提高分辨率有助于识别和定位天气系统。此外,预测卫星云图中云移动演变信息有助于实现更准确的天气预报。然而卫星云图预测方法的复杂性限制了预测云图的空间分辨率。通过卫星云图SR算法可以得到更高分辨率的预测云图。本文基于深度学习的方法,研究了卫星云图SR和预测问题。主要结论如下:(
本文基于TIGGE资料集下欧洲中期天气预报中心(European Centre for MediumRange Weather Forecasts,ECMWF)的集合预报数据,以及对应的ERA-Interim再分析资料及中国降水融合数据,对中国东南部地区(20°N-36°N,106°E-125°E)24-168h预报时效的2m气温及24h累积降水进行概率预报试验。首先使用前馈式神经网络(Feedf
认证协议在保障智能家居环境下用户数据和隐私安全发挥着重要的作用。然而,当前智能家居认证协议面临着众多的挑战。一方面,智能家居设备大多采用无线连接的方式接入网络,由于其开放性、异构性的特点,易遭受中间人攻击、消息窃听等多种安全威胁。同时,智能家居中还普遍存在密码设置简单、用户认证凭证丢失、缺乏安全加密机制等问题。现有的认证协议未能综合考虑智能家居面临的安全威胁,无法满足用户隐私保护需求。另一方面,智
量子机器学习是量子信息领域内新兴的子课题,其将量子计算潜在的加速能力和经典机器学习模型的学习和适应能力结合在一起,尝试提出全新的量子机器学习算法或经典机器学习算法的对应量子方案。随着量子计算机在计算规模和稳定性方面的突破,量子机器学习的研究也在不断深入。本文主要研究对象是基于参数化量子电路(PQC)的量子生成对抗网络(QGAN),是经典生成对抗网络在量子领域的扩展,通过量子生成器和判别器的对抗性训
气象探测对农业生产、防灾减灾、交通与能源安全、国防等领域都具有重要意义,气象传感器是为气候变化观测、数值天气预报等应用提供原始测量数据,在气象行业发挥不可或缺的作用。本文设计了一种可适用于探空仪搭载的“Y”型结构云水含量传感器,用于测量云中液态水含量,针对性解决了传统测量仪器人工操作困难、消耗功率大等问题;本文亦提出了一种阵列式温度传感器,可降低太阳辐射误差,提高温度观测精度,可用于地面气象站或由