【摘 要】
：
二阶优化算法一般由牛顿法发展而来,是求解无约束优化问题的强有力工具.因为它利用了目标函数的曲率信息,相比一阶优化方法而言,能显示出更好的鲁棒性,且收敛速度更快.然而二阶优化算法在每次迭代时需要求解黑塞矩阵和对应的逆,一旦遇到高维情况,这是很大的计算开销甚至无法完成计算.拟牛顿法、有限内存拟牛顿法以及子抽样的牛顿法都是基于黑塞矩阵“改造”的二阶方法.本文首先回顾了求解无约束优化的几种方法,重点介绍牛
论文部分内容阅读
二阶优化算法一般由牛顿法发展而来,是求解无约束优化问题的强有力工具.因为它利用了目标函数的曲率信息,相比一阶优化方法而言,能显示出更好的鲁棒性,且收敛速度更快.然而二阶优化算法在每次迭代时需要求解黑塞矩阵和对应的逆,一旦遇到高维情况,这是很大的计算开销甚至无法完成计算.拟牛顿法、有限内存拟牛顿法以及子抽样的牛顿法都是基于黑塞矩阵“改造”的二阶方法.本文首先回顾了求解无约束优化的几种方法,重点介绍牛顿法和拟牛顿法的发展现状.然后提出了一种带有比例系数修正的拟牛顿方法,该比例因子结合了标准拟牛顿方程和Yuan提出新拟牛顿方程的思想,并证明了新的BFGS算法在凸条件下的收敛性质.基于新的BFGS算法主体,我们再给出了保守修正,可以实现在非凸条件下的收敛.其次根据Chu等人提出的新修正的BFGS算法,考虑其特殊形式,并推广到有限内存的框架之内,降低问题的存储规模,可以证明其收敛性.接着基于传统的子抽样牛顿方法,我们考虑了均匀抽样和非均匀抽样的组合方式.对梯度进行均匀抽样,对黑塞矩阵进行非均匀抽样,避免了对所有样本进行处理,非常适用于“大数据”情形.最后对提出的新算法进行数值实验.与标准的方法相比,我们提出的算法数值结果比较稳定,有较好的实用性.
其他文献
工作记忆作为二语习得领域中一个重要的认知因素,与写作这项复杂的人类认知活动的关系吸引了国内外学者的关注。至今为止,工作记忆容量与二语习得之间关系的研究已屡见不鲜。其中,有关工作记忆与第二语言习得中阅读和听力的研究数量较多,而关于工作记忆与二语写作和口语的研究仍较少。且因为被试和测验方法的不同,实验结果也各有不同。因此,这一领域还需要更多的实证研究。本次研究主要考察中国英语学习者的工作记忆容量与二语
卡罗琳娜·封·君特罗德(1780-1806)是德国早期浪漫主义时期最重要的女作家之一,她的作品形式多样,其中尤以诗歌和散文见长,创作了诸多关于爱情和死亡的凄美忧伤而不失深刻寓意的作品,被誉为“死亡诗人”。君特罗德在经历了几段无果的爱情后,在莱茵河畔结束了自己短暂的一生,年仅26岁。爱情与死亡不仅是君特罗德在现实生活中的精神归宿,也是她创作的文学母题,蕴含着浪漫诗意和深刻思想。本论文以卡罗琳娜·封·
在柯西噪声的变分模型中平衡参数入控制着正则项与保真项之间的权衡,起着非常重要的作用,一个全局的约束并不能产生理想的效果。如何根据噪声和图像的特性,提出局部约束下柯西噪声的变分模型,实现平衡参数的自动迭代是本文研究的问题。本文首先介绍柯西噪声的变分模型,然后提出局部约束下柯西噪声的变分模型,并证明解的存在性;最后提出空间自适应的全变分柯西噪声去噪算法 SA-TV-C(Spatially Adapti
近年来,蜻蜓仿生学的微型飞行器(MAV)尤其是扑翼式飞行器的研究引起了广泛关注。作为一种微型无人驾驶飞行器,可以被用在多个领域,例如野外探查。由于尺度效应等因素,MAV的设
本文针对变截面辊弯成形装备加工过程中变负载导致外力不平衡的多机构协调操作动力学规划问题进行研究,从多机构动力学建模、内力动态优化分配和滑模变结构控制三方面来解决
《缎子鞋》是20世纪法国作家和外交家保尔·克洛岱尔以中国民间传说《牛郎织女》为灵感创作的一部戏剧作品。《缎子鞋》与《牛郎织女》的一致性主要体现在故事情节相似、天文意象重复和主题禁忌之爱。但是两者的精神内涵却完全不同:《牛郎织女》的故事反映的是封建农业社会文化,而《缎子鞋》则浸淫着欧洲天主教文化;《牛郎织女》的结局是规则秩序与爱情的妥协,是“中庸之道”的体现;而《缎子鞋》则是西方古典主义悲剧的延续,
目的描述急性心肌梗死(acute myocardial infarction,AMI)住院费用的基本构成情况,利用多种数据挖掘工具构建AMI患者住院费用分类模型。分析影响AMI患者住院费用的主要因素,
近年来,心血管疾病的发病率呈逐年攀升的趋势,并且几乎各种不同类型的心血管疾病都会使患者出现左心室功能障碍,最终导致心力衰竭的发生。在全球范围内,心衰患者的数量累计已
在计数组合学中,杨表是一类极为重要的研究对象.它在表示理论,代数几何等数学分支中有着广泛的应用,也是组合数学近年来的研究热点.本文中我们主要研究了两行杨表的下降指标的分布及计数.对于正整数n和非负整数a,k且满足0≤a≤(?),0≤k≤a,我们研究了形如(n-a,a),有k个重复数字的递增杨表,行递增杨表以及标准杨表的下降指标的分布及计数.首先我们通过构造双射得到了两行行递增杨表,递增杨表和标准杨
实际结构工程中,很多钢筋混凝土梁所承受的荷载并不是直接施加在梁顶面,而是通过次梁传递到作为其支座的主梁梁腹,这种加载方式通常称之为间接加载方式。研究表明,间接加载方式下的梁斜截面承载性能相对于直接加载方式更为不利,而在热力耦合作用下或火灾作用后,由于材料性能的劣化,间接加载下钢筋混凝土梁的斜截面抗剪性能将有可能进一步消弱,因此,开展热力耦合作用下和火灾作用后间接加载钢筋混凝土梁的斜截面抗剪性能研究