基于深度强化学习的集装箱堆叠优化算法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:a591393620
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在集装箱码头的堆场中,集装箱的堆叠操作是存储环节中不可缺少的一部分,合理的堆叠方案能有效减少倒箱操作,降低码头船只与陆运车辆的等待时间以及场桥的运行成本,对集装箱操作和堆场运行效率有重要意义。本文研究的问题为将一组集装箱按顺序存储在一定数量的具有容量限制的堆栈中,目标为产生的无序堆叠集装箱数最少。在之前的研究中,简单的堆叠规则难以保证求解的质量,精确求解算法和启发式搜索算法的求解效率受问题规模影响巨大,本文采用一种基于深度强化学习的优化算法解决此问题,具体研究工作如下:研究了集装箱堆叠过程、混合整数规划模型及其求解过程,在此基础上,设计了强化学习解决集装箱堆叠问题的流程。依据强化学习原理,对集装箱堆叠优化进行强化学习建模,针对集装箱堆叠过程设计了环境状态、动作、奖励、状态转移和策略等强化学习基本要素。根据深度强化学习框架设计了策略网络,包括堆场环境特征提取网络和堆叠决策网络。为提高学习效果,设计了基于多头自注意力机制的堆场环境特征提取网络和基于多层感知机的堆叠决策网络,策略网络能够较好地提取状态矩阵中不同堆栈状态之间的关联信息并做出决策。根据不同强化学习算法的特点和本文研究的问题特点,选用近端策略优化算法为本文强化学习训练算法。实验结果表明,与现有方法相比,训练得到的堆叠策略在小规模问题(30个集装箱)上与最优解的差距为17.36%,在中规模问题(200个集装箱)和大规模问题(500个集装箱)上均可以超过Best fit等常用堆叠规则和集束搜索算法,且求解时间不会随问题规模的增大而大幅增长。深度强化学习算法能适应一定的随机性变化,当集装箱数量和堆栈容量限制(最高堆叠层数)发生一定变化时,训练得到的深度模型仍然可用,且求解结果优于堆叠规则和集束搜索算法,具有较强的泛化性能。为了本文堆叠优化算法的深入研究和实际应用,设计了集装箱堆叠优化软件。通过需求分析确定了软件的功能和数据需求,采用模型-视图-控制器架构模式设计软件结构。经过运行测试,软件的工程管理、深度模型训练和集装箱堆叠优化功能均可以正常使用,为软件的实际应用奠定了良好基础。
其他文献
随着城市建设的不断推进,越来越多的城市建立了城市综合地下管线信息系统。但是由于城市地下管线信息化档案利用程度的不同,取得的效果也有着很大的差异性。本文着重阐述城市地下管线信息化现状及存在问题,对城市地下管线信息化档案利用进行了深入探索。
目的:运用网络药理学和分子对接方法研究六味地黄丸治疗糖尿病视网膜病变的作用机制,为六味地黄丸的治疗作用提供参考依据。方法:运用TCMSP数据库获取并筛选六味地黄丸化合物及靶点,并通过Uniprot软件得到靶点的基因名称;在Gene Cards数据库、Drug Bank数据库、Pharmgkb数据库、OMIM数据库、TTD数据库进行检索糖尿病视网膜病变疾病靶点;运用Venny 2.1.0软件找出药物
支链氨基酸是人体营养必需氨基酸。它们不仅是蛋白质的基本构成单位,而且作为调节糖脂代谢、细胞凋亡和自噬的信号分子发挥着重要的生理功能。除了合成代谢外,分解代谢在支链氨基酸代谢中也同样发挥着重要作用。支链氨基酸代谢异常与胰岛素抵抗、糖尿病、动脉粥样硬化、肿瘤等疾病的进展密切相关。然而BCAA代谢机制并不十分清楚,本文现将支链氨基酸的代谢途径及各器官的分解代谢特点作一综述。
<正>引言公元1539年农历6月24日,明朝第一大学者、大诗人杨升庵夜宿西昌,作诗感叹:“老夫今夜宿泸山,惊破天门夜未关,谁把太空敲粉碎,满天星斗落人间”。478年后的2017年,央视春晚将西昌作为西部唯一分会场,向全世界展示中国第一火秀,与之“同台”的还有上海的夜色、桂林的山水和哈尔滨的冰雪。2021年,央视再次择址月城西昌录制中秋晚会,月出邛池、水映北斗,“碧水荡秋月,夜深人未眠”。
期刊
在德育视角下有效开展小学数学教学,既要提高学生的数学成绩,又要利用有效的方法在数学教学中融入思想品德教育。小学数学教学在培养学生解决实际问题能力的同时也具备德育的相关特征。教师要注意在培养小学生实际问题解决能力时引入德育内容,提高学生的数学学习水平,促进小学德育的有效开展。
小学数学教育是以特定的目标为导向进行的。新一轮义务教育阶段的小学数学课程改革,对小学数学的教学提出了新的要求,而这一新的要求,则主要体现在对学生进行素质教育的理念上,以全面发展小学生的综合素质为中心,对其进行全面的教育。因此,作为一名小学数学教师,在进行数学教学时,必须先对课程内容进行全面地学习,并对其进行深入的理解。因此,在教学中要有针对性地进行素质教育,以防止过分强调考试的偏颇。
在经济发展增速放缓、结构升级的新形势下,需要加快转变经济发展方式,以创新创业发展为动力,推动经济结构改革,促进经济高水平发展。科技型中小企业由于其自身特点,发展过程中资金需求大,存在融资渠道少、融资难等发展困境。根据科技型中小企业融资的特点,总结泰州市科技型中小企业的融资现状,分析泰州市科技型中小企业融资存在的问题,结合国内外科技金融发展的成功经验,提出解决泰州市科技型中小企业融资困境的相关建议,
目的 检索、评价和总结慢性心力衰竭患者自我管理相关证据,为医护人员进行自我管理健康教育、规范患者自我管理行为提供循证依据。方法 按照“6S”证据模型检索UpToDate、BMJ Best Practice、乔安娜布里格斯研究所循证卫生保健中心数据库、英国国家卫生与临床优化研究所网站、国际指南协作网、美国国立指南库、苏格兰院际间指南网、Cochrane Library、医脉通、梅斯医学、PubMed
【目的】对甘肃省豆科(Leguminosae)植物进行表型性状多样性综合评价,为甘肃省豆科植物的种质资源评价和园林植物选育与创新提供参考。【方法】根据文献调查与资料收集,汇总甘肃省豆科种质资源共54属256种,提取木本的10个质量性状和6个数量性状及草本的9个质量性状和6个数量性状进行赋值分级,分别进行表型性状的多样性分析、相关性分析、主成分分析与系统聚类分析。【结果】(1)表型性状变异程度木本高
职业学校是背负着为国家、社会以及企业输送优秀专业人才的义务。但就目前状况来看,职业院校的学生出现较为普遍的不利状况。所以,研究出适用与职业学校学生的教学模式是解决问题的关键,对此探究式教学模式不但能够较好的培养学升学习的自主性,还可以有效的改善学生学习的行为。本文将主要研究职业学校学生行为现状、探究式教学模式对职业学校学生学习行为的关键性以及具体实施的措施。