基于强化学习的反应力场参数优化方法研究

来源 :东北大学 | 被引量 : 0次 | 上传用户:liongliong469
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算材料学领域基于反应力场的分子动力学模拟方法扮演着非常重要的角色,反应力场的质量将直接影响到最终的性质结论的准确性,因此如何获得高质量的反应力场成为计算材料学领域中一个非常重要的研究课题。由于反应力场形式复杂不易确定,只能通过将其参数化然后对参数进行优化的方法来获取最优反应力场参数,这需要付出更大的计算代价并且严重影响最终获得的反应力场质量。针对当前反应力场参数优化方法中所存在的问题,本文对国内外相关研究现状进行总结分析,并围绕强化学习反应力场参数优化方法开展研究。首先本文设计了基于强化学习的反应力场参数优化系统,主要包括反应力场数据文件分布式存储系统设计;强化学习模型设计,其中将当前值以及历史梯度和回报值作为状态,保证了位移不变性,动作空间设计了离散型和连续型两种方案,回报函数设计为连续型;强化学习模型训练算法设计及强化学习模型评估模块设计。其次,本文对离散动作空间深度Q网络算法进行研究,通过引入attention机制解决了传统深度Q网络算法突变点的问题,并成功将训练好的模型参数应用到相似的任务上,提升了搜索效率。为了降低动作空间维度,解决初始解依赖问题,在连续动作空间对异步优势行动者评论家算法研究基础上,借鉴模拟退火思想对算法进行改进,采用32个智能体在不同策略下同时与环境进行交互,到达终止状态时,使用带折扣因子的截尾高斯分布对状态进行重新初始化,并由中央智能体对每个智能体的经验进行综合分析学习,最终得到最优策略。该算法解决了强化学习算法初始解依赖问题,实现了并行化搜索,从而提高搜索效率和搜索范围加速算法收敛。为了进一步提高反应力场参数精度,本文提出一种模型学习和蒙特卡洛树搜索(MCTS)结合的强化学习算法,该算法采用前面强化学习算法运行过程中产出的数据,进行强化学习环境的状态转移模型和回报值函数学习,并将学习到的模型与蒙特卡洛树搜索结合,进一步提升了效率和精度。最后,本文针对以上算法设计了效率精度对比实验及参数平移实验,实验结果表明本文提出的强化学习反应力场优化算法相较GARFfield具有高效性,自适应性和可复用性。将最终得到的力场参数应用到具体的化学反应模拟中去,验证了力场参数的准确性,符合本文预期对于强化学习反应力场参数优化方法的需求。并将强化学习算法与基于梯度的最优化算法在氟元素反应力场参数优化任务上进行对比实验,结果表明强化学习算法可以应用到最优化领域。
其他文献
花生(Arachis hypogaeaL.)是世界范围内重要的经济作物和油料作物之一。通过改良花生的遗传性状,发挥其最大的生产潜力,是当前花生育种的重要任务。众所周知,花生荚果和种子大小是决定产量的关键因子之一。为解析产量相关性状,尤其是荚果和种子性状的遗传规律,本研究以大果型品种冀花5号和小果型种质资源M130杂交衍生的包含315个重组自交系(RIL)群体为试验材料,构建了 2张花生遗传连锁图谱
随着全球制造水平的提高,下游制造业对带钢产品质量要求越来越高。带钢表面质量评估作为带钢产品质量检验的重要一环,对用户选择具有重要指导意义本文以某钢铁企业带钢产品表面质量评估问题为背景,对带钢表面质量评估方法进行了深入研究,提出了一种新颖的带钢表面质量评估方法,主要研究工作如下:(1)对带钢表面缺陷检测的研究现状进行了综述,并对图像特征提取方法,目标检测算法以及分类算法进行了研究。为后续算法的实现设
ERT技术具有低成本、非入侵和响应速度快等特点,是目前两/多相流检测领域的研究热点之一。三维ERT系统实现对被测物场三维信息的检测,解决了二维ERT系统对物场中离散相的几何形状、相对位置、空间分布等三维信息提取不足,具有重要的研究价值。目前三维ERT系统普遍存在着测量精度低和实时性差的问题,其严重降低了重建图像质量。本文以三维ERT测量系统为研究对象,针对三维ERT系统极板边界电压微弱、动态范围大
架空输电线路的安全、可靠是保证电力输送系统运行的保障。而架空输电线路因外界环境等各类因素而导致线路故障,对电力系统的安全运行造成威胁,引发的事故和损失也越来越大,为了保证架空输电线路的安全运行,就必须加强对架空输电线路的运行与维护。架空输电线路的检测主要以人工和直升机巡检方式为主,此类检测方式存在成本高、劳动强度大和效率低等缺点。近年来,很多研究机构对架空输电线路巡检机器人做了很多研究,但是实际应
随着“美丽乡村”建设的如火如荼开展,对于传统村落的关注度在近年来持续走高。历经百年变迁仍保留旧时风貌与民俗文化的传统村落,以传统文化与村民的凝聚力作为传统延续的内生动力缓慢进化演变。但在乡村振兴的时代背景下,如何以最妥善的理论与最小程度的介入方式进行传统村落的保护与更新成为颇受争议的议题。闽南传统村落因其历史文化价值得到了学术界的广泛关注,本文以闽南村落文化的集大成者——诚峰村为研究对象,用典型个
量化工程环境中的不确定因素对机构运动轨迹的影响,结合误差界限来评价机构失效概率的过程被称为机构的运动精度可靠性分析。工程实际中,为了对机构的运动轨迹进行整体评价,通常将连续的轨迹离散为一系列的机构位置,直接对这些位置的最大误差进行系统可靠性分析。由于获取极值函数时执行了导致函数不规则的操作,造成了极值统计量的求解困难,因此需要发展出更为精确、高效的可靠性算法来处理这类基于极值函数的可靠性模型。本文
高炉炼铁是钢铁工业的重要生产环节,是现代炼铁的最主要方式。高炉炼铁需要准确判断整个高炉运行态势,及时调整布料制度、热风制度等相关操作制度及工艺参数,使炉内煤气分布合理、热量充分利用、渣铁顺利排放,实现高炉生产的优质、高产、低耗和长寿运行。但是,高炉内部存在复杂的物理化学反应,高温高压,强耦合,非线性,工况时变且存在固、液、气多态,冶炼环境十分恶劣,难以对其进行实时监测和有效控制。目前,出铁口的铁水
我国作为农业大国,秸秆产量位居世界首位,其中水稻秸秆为1.15亿吨。然而废弃秸秆大部分直接在田间就地焚烧,既浪费了资源又造成了环境污染。随着现代农业的高速发展,秸秆还田机的研究变得越来越重要。秸秆还田机的功耗也一直是国内外学者们的研究热点,以降低功耗为目标,对秸秆还田机主要工作部件的重要参数进行优化设计。作为一种现代机械优化设计方法,遗传算法的研究热度不减,而且随着优化问题的变化,遗传算法的机理也
随着我国轨道交通行业的飞速发展,高速、舒适、节能、环保的发展理念成为了轨道交通运输业发展的重要议题。枕梁作为地铁车体的重要承载结构,在地铁安全评估中起着十分重要的作用。由于结构在焊接过程中的不均匀受热,通常会使材料的均匀性以及材料参数发生改变,同时,伴随着焊接残余应力的产生,焊缝部位相比于其他位置更容易产生局部裂纹。本文以车体铝合金焊接结构为研究对象,对典型焊接接头的残余应力、材料参数进行了测试,
夹层板结构具有较高的弯曲刚度重量比,在相同边界、加载条件下,它比单层金属板有更小的横向变形、更高的屈曲阻力和更高的固有频率。因此,通过合理设计夹层板厚度,可以在整体重量较低的情况下,得到类似单层金属板强度和屈曲性能的夹层结构。同时,考虑到材料属性广泛存在着空间随机性的特点,本文利用随机有限元方法,研究车身轻量化的工作,主要研究内容包括:(1)单层板与夹层板模型建立与分析基于单层板与夹层板的理论分析