【摘 要】
：
机器人在工业、农业、物流、安防、家居等行业被广泛应用,随着任务越来越复杂,单个机器人很难满足人们的需求。由于多机器人系统在高容错性、可拓展性、自主性以及高效性方面的优点,受到广泛关注,在搬运、物流、国防、搜救等场景有更好的应用前景。如何在环境未知且模型未知的情况下,提高多机器人系统自适应能力和交互能力是多机器人系统的一个研究热点。强化学习可以通过机器人和环境的交互,学习到最优的控制策略。因此本文针
论文部分内容阅读
机器人在工业、农业、物流、安防、家居等行业被广泛应用,随着任务越来越复杂,单个机器人很难满足人们的需求。由于多机器人系统在高容错性、可拓展性、自主性以及高效性方面的优点,受到广泛关注,在搬运、物流、国防、搜救等场景有更好的应用前景。如何在环境未知且模型未知的情况下,提高多机器人系统自适应能力和交互能力是多机器人系统的一个研究热点。强化学习可以通过机器人和环境的交互,学习到最优的控制策略。因此本文针对多移动机器人的优化跟踪控制问题,提出了一套基于分布式Q学习的控制方法,主要研究工作如下:（1）针对多移动机器人跟踪控制问题,设计了一种基于离散分布式Q学习的控制算法。首先,基于机器人的运动学模型和图理论,建立多移动机器人分布式跟踪控制模型。定义了多移动机器人局部跟踪误差,进一步将局部跟踪误差离散为若干个区间作为分布式Q学习状态量,设定由角速度线速度组成的动作空间,从而构建出多机器人状态-动作Q表。采用迭代算法更新Q表,即选择Q表中当前状态Q值最小的动作或一定概率随机在Q表中选择动作,得到机器人下一个时刻的位姿和邻居节点误差,直至Q表收敛。最后分析多机器人离散分布式Q学习的收敛性和稳定性,并通过仿真验证了该方法的可行性。（2）考虑多机器人连续动作空间的情形,设计了一种基于连续分布式Q学习的控制算法。采用Critic网络拟合Q函数,Actor网络拟合控制器,提出了基于Actor-Critic网络控制方式。为提高该算法的学习效率,进一步提出了基于一致性的分布式Q学习跟踪控制方法。该方法在Actor-Critic算法的基础上,增加一致性学习环节。在一致性学习环节中,每个机器人依次将自身Actor-Critic网络权重信息发送给邻居节点机器人,并接受到来自邻居节点的Actor-Critic网络权重,然后将邻居和自身Actor-Critic权重做加权平均。通过这种方式可使所有机器人的Actor-Critic权重快速达到一致,加快Actor-Critic网络的收敛。最后,对提出的算法进行收敛性分析和仿真验证,并在多履带机器人系统实验平台验证了该算法的可行性。
其他文献
随着智能汽车的发展,在实现全自动驾驶之前,智能汽车将长期处于驾驶员和驾驶自动化系统共同参与车辆控制的人机共驾阶段,使得如何提升人机协同效果受到了广泛的关注。此外,在交通密度日益增大的背景下,车辆之间的相互作用关系愈发复杂,车车协同对于改善人机协同驾驶车辆的控制性能有着不可忽视的作用。因此,如何一体化考虑智能汽车内部人机协同与外部车车协同问题,对于提高自动驾驶车辆通行效率,保证道路交通安全性有着重要
单幅图像去雨是计算机视觉领域的难题之一。在自然环境中,雨纹呈现不同尺度和不同方向的特点,增加了图像去雨难度。PReNet（Progressive Image Deraining Networks）算法作为目前去雨性能较好的轻量级单幅图像去雨算法,适用于实际存储资源受限的场合,但其尚存在雨纹去除不彻底和无法精细恢复图像背景细节等问题。因此,对PReNet算法进行改进,以保持其模型轻量的同时提升其去雨
近年来,小包装中药饮片以其计量准确、干净卫生的优势逐渐取代了传统的散装中药,然而其在出配药方式上与散装中药并无明显差异,仍存在效率低下的问题,这阻碍了小包装中药饮片的进一步发展,因此,有必要设计一种散袋小包装中药自动出配药系统用以提升中药房的信息化建设。而在散袋小包装中药自动出配药系统中,采用AGV（Automated Guided Vehicle）可以减少人力成本,节约中药房的空间,提升系统运行
流量仪表标定系统作为仪器仪表生产过程中重要的组成部分,承担着流量仪表的检定与校准任务。在仪表标定校准过程中,控制器需在不同标定流量位点反复拟合被校表的测量误差,因此各位点的流量控制精度直接影响标定结果。随着现代工业仪器的性能需求越来越高,提高仪器仪表标定精度及效率已成为各企业抢占市场的首要目标,这对流量校准系统的标定性能提出了挑战,给仪器制造产业的发展造成了不小的阻力。本文以与重庆某仪表厂的合作项
铸造工艺是现代机械制造工业的基础工艺,应用量大面广,其绿色化改进对绿色制造工程战略实施具有重要作用。工艺过程环境影响评价是开展绿色化改进的前提条件。现有研究通常是把工艺过程看作一个整体,基于一种平均化、合并式的数据进行评价,这虽然能有效支撑环境影响评价,但难以实现对工艺过程节能减排关键环节的识别,也不能响应工艺过程的动态变化。这已成为制约企业进行工艺绿色化改造的一个亟待解决的问题。数字孪生技术的发
无人机的无人区域值守系统集飞行控制、区域覆盖和自主降落等技术于一体,因此在公共安全、智慧农业和测绘等领域得到广泛应用。但是,此类平台常常需要操作人员介入其中,存在效率低、局限性大等问题。故而本文设计了一种完全自主的四旋翼无人机区域值守系统,其可在没有人为干预的情况下,执行室外重复飞行和区域观测的值守任务。该系统支持在大范围的室外环境中实现着陆台上一键起飞,低空区域覆盖路径规划,采集数据后返航,通过
在世界“工业4.0”以及“中国制造2025”的大背景下,汽车工业水平逐渐成为我国提升整体工业水平的重中之重。汽车工业的发展不仅取决于其机械制造水平的提升,很大程度上也依赖于高水平汽车振动试验平台的研发。目前,国内多轴电液振动平台研制水平与国外仍有较大差距,且多数高性能伺服设备仍依赖于进口,存在供货期长、检修难、成本高等缺点。本论文致力于开发一种基于EtherCAT高速总线的电液伺服系统从站控制器,
随着科技的发展,汽车电子越来越多引入进整车当中。作为汽车电子四大控制系统之一的车身采集控制系统,主要负责对汽车运行状态进行监控和管理,并根据车辆状态作出优化控制决策,实现对车用电器的优化管理,从而提升车辆的人性化、舒适性及安全性。然而,目前车辆中常用的车身控制系统核心控制芯片主要依赖于进口,自主化程度低,在芯片处处受限的当下,常常因缺芯导致车身控制器生产停滞。此外,现有设计方案中各功能模块采用集成
中枢神经系统感染引发的各种疾病一直是神经学领域高死亡率的疾病之一,其目前的主要诊断依靠的是脑脊液细胞学检查,且主要靠人工进行分析,需要消耗大量人工和时间成本,这种分析具有主观性,随意性,因此,亟需一种能对脑脊液细胞进行识别与分类的客观方法和系统;同时,获取脑脊液细胞的过程较复杂,会因为制片过程繁冗造成样本的质量参差,存在粘连重叠的细胞,增加对脑脊液细胞自动识别分析的难度;为了提高不同工艺以及人工经
人体连续运动模态识别是外骨骼与人进行自然人机交互（Human-robot Interaction,HRI）的关键。表面肌电信号（surface Electromyography,s EMG）产生于人体动作,与人体运动直接相关,蕴含丰富的运动信息。因此,对s EMG信号进行解析,可有效识别人体运动模态。然而,在连续运动过程中,s EMG信号容易受到各种噪声干扰,同时s EMG信号本身具有混沌性、非线