基于三次正则的梯度算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:xiaoxi21175
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着当今社会经济和科学技术的飞速发展,现实生活中涌现出大量的大规模优化问题.大规模优化问题广泛应用于国防建设、工程设计、农业生产等多个领域.梯度算法是解决优化问题的一类重要方法,其具有计算简单、易于储存等优点,是求解大规模无约束优化问题的一种较好的选择,更能适应当今大数据、云计算的时代.其中Barzilai-Borwein(BB)算法以其简便性和高效的数值性能激发起人们对梯度法研究的热情.众所周知,梯度模型的建立与选择对梯度算法的数值性能有着至关重要的影响,因此构建更准确且有效的梯度模型不仅具有理论意义,同样也具有非常重要的实际应用价值.近年来,无约束优化问题的三次正则算法作为一种新的高效算法被提出,成为信赖域算法和线搜索算法之外的一种新选择.三次正则算法的基本思想是通过对目标函数的三次过高估计模型求近似全局极小值来达到求解近似目标函数极小值的目的.目标函数Hessian矩阵是L连续时,三次正则模型拥有比最速下降模型更好的计算复杂度.自适应的三次正则化算法和线搜索一样都是求解无约束优化问题的重要方法,如何充分利用它们的优点,高效的将两种方法结合是一个新的挑战.本文针对梯度算法的高效性,结合三次正则化模型提出了两类新的梯度算法,主要工作如下:针对梯度法,利用三次正则化模型能够包含比二次模型更多的函数信息的特点,构造出当前迭代点的三次正则化近似最优模型,计算出新的近似最优步长.并建立合理的模型选择机制,自适应的选取二次模型或者三次正则化模型.此外,对正则参数的更新方式做了适当改进来匹配新算法.提出一种基于三次正则化模型的求解无约束优化问题的近似最优梯度法,并且建立了算法的全局收敛性.设计一个BB类型参数,构造一个含有BB类型参数的标量矩阵来近似目标函数的Hessian矩阵.构造当前迭代点处的三次正则化模型,通过极小化三次正则化模型求解试探步,简化三次正则化算法子问题的求解过程,并提出了一种简单模型的三次正则化BB算法.考虑到BB算法的非单调性,结合非单调线搜索技术提出一种非单调的简单模型的三次正则化BB算法.在假设条件成立的情况下,建立了算法的全局收敛性.对给出的函数测试集,所提算法的数值性能优于传统的BB算法和近似最优梯度算法GM-AOS(cone),并较于著名的有限内存共轭梯度算法CG DESCENT(6.0)有一定的竞争力.
其他文献
Kronecker标准形这一理论是十分经典的,它在对称线性微分方程组以及矩阵方程组这些领域也发挥着重要的作用。长期以来,人们对矩阵对的标准形理论和计算方法进行了大量研究。在现代数学中,组合学与图论作为活跃的研究领域应用于数学的许多分支,并且在自然科学与通信网络中也得到了广泛的应用。基于国内外数学家对这些领域的研究成果,本文主要研究双圈有向图的关联矩阵对的Kronecker标准形以及与Kroneck
[目 的]目前神经影像学研究已证明精神分裂症(SZ)存在大脑结构、功能的异常,且近年来动物实验、血液、脑脊液等方面的相关研究提出了血脑屏障损伤是精神分裂症的病理生理机制
随着人们生活水平的提高及生活方式的改变,世界范围内糖尿病的发病率逐渐升高,作为糖尿病主要的微血管并发症并发症之一,糖尿病肾病(Diabetic nephropathy,DN)的发生率亦逐渐
非线性Schr(?)dinger方程是研究偏微分方程数值解的一个基本方程.在研究该方程的数值解过程中,人们已经建立起了多种数值计算方法,例如:有限差分法、有限元方法、有限体积法、几何体积法、分步傅里叶变换法、傅里叶级数分析法和拟谱方法等.这些方法各有千秋.在研究非线性Schr(?)dinger方程的过程中,立方Schr(?)dinger方程具有鲜明的代表性,比起一般的非线性方程,该类方程的计算和推
视觉显著性检测,受启发于人类视觉注意机制,能够模拟人眼快速检测出图像场景中最具吸引力的区域。它作为一种图像预处理技术,能够帮助人们快速定位感兴趣的图像区域,并优先分
本文主要是研究中国商品期货市场的动量效应情况。希望通过对不同参数(信号周期和持仓周期)的组合所得收益的结果进行分析,找到动量效应明显的参数,并试图找到运用动量策略能
模形式聚集了数论、实分析与复分析、代数几何等方面的理论知识,可想而知,它是数学家们感兴趣的方向之一。自从Euler、Gauss、Jacobi等人提出theta函数的概念以来,theta函数便被广泛地推广。Theta函数在物理、理论化学和工程科学中得到了广泛的应用,在数论和数学的其他分支中也扮演着越来越重要的角色。在本文中,我们主要在K?hler书中给出的关系式的基础上,权k≡1 mod4时(即当k
在我国,心血管疾病已成为居民致死的主要原因之一,而缺血性心脏病所占的比例最高。心梗发生后,及时有效的再灌注治疗仍可进一步造成心肌缺血再灌注损伤,研究表明血管开通后心
目的:本研究通过对比高海拔地区普通肝素与低分子肝素分别在导管接触溶栓下治疗下肢深静脉血栓的疗效,探讨两种抗凝药物的优缺点,为高海拔地区协同导管接触溶栓治疗急性下肢
阿尔茨海默病(Alzheimer’s disease,AD)是老年人常见的一种神经退行性疾病,以进行性认知、学习和记忆功能障碍为主要临床表现。如今,老龄化进程日益加剧,AD发病率逐年上升。