论文部分内容阅读
对于非线性优化问题寻找快速有效的算法一直是优化专家们研究的热门方向之一.经理论证明和实践检验,在所有需要计算导数的优化方法中,最速下降法是最简单的,但它速度太慢;拟牛顿方法收敛速度较快,被广泛认为是非线性优化最有效的方法之一; 1964年Fletcher和Reeves提出了求解无约束极小化问题的共轭梯度法<[1]>,它是直接由Hesteness和Stiefel解线性方程组的共轭梯度法发展而来的,共轭梯度法具有占用内存少,二次终止性和良好的数值表现等优点,它的基本思想是把共轭性与最速下降方法相结合,经常用来解决大规模问题.然而当目标函数为一般的非线性函数时,即使在精确线搜索下,各共轭梯度法的收敛性也很难保证.在文献[2]中Al-Baali证明了Fletcher-Reeves方法具有全局收敛性,文献[5]推广上述结果到非精确搜索即强wolfe线搜索的情形,但因其可能连续产生小步长的性质使得FR方法在数值计算中有时表现很差:PRP和HS方法是数值表现较好的两种轭共梯度算法,但是Powell在[3]中指出,即使使用精确线搜索Plak-Ribière-Polyak方法也不会有全局收敛性,但此方法具有良好的数值表现(详见[13,19,33]).随后有许多学者对这些算法的全局收敛性做了更深刻的研究, 1997年L.Grippo和S.Lucidi提出了 Grippo-Lucidi线搜索,并证明了在此线搜索下Plak-Ribière-Polyak方法的全局收敛性(参见[27,28]).1995年戴或虹和袁亚湘提出了DY法,并对这一方法的全局收敛性和内在性质做了详细的研究.DY方法具有很好的收敛性,Dai在文献[10]中系统的介绍了DY方法在一般线搜索下的全局收敛性,但其数值表现一般.为寻求既能保证具有较好收敛性质又具有良好数值表现的共轭梯度类算法,在前述文献的基础上本文给出了求解无约束非线性优化问题的一类新的共轭梯度算法.数值实验表明此类算法是有效的.
论文整体安排如下:
在第一章中,我们首先简要介绍了最优化问题的提出以及判断最优解常用的最优性条件,回顾了无约束优化问题常用的几类导数下降类算法.
在第二章中,就一般共轭梯度法的迭代格式,受Dai-Yuan共轭梯度算法提出的启发,我们给出—个新的共轭梯度算法,算法中新参数的选取保证了搜索方向的下降性,并证明新算法在Wolfe线搜索下具有全局收敛性.在第三章中,基于第二章中给出的新参数给出了另一个新参数,并证明此算法在强Wolfe线搜索下具有搜索方向的充分下降性和算法的全局收敛性.