线性模型的理论已经非常丰富,应用也相当广泛.但现实生活中,越来越多的模型呈现出了非线性的特点,而且线性模型的很多优良性质在非线性条件下并不成立。因此,研究非线性模型的理论及算法有着极其重要的意义。 本文也将着重讨论非线性模型的参数估计问题.通过第二章的讨论可以看出,虽然非线性回归模型参数估计的方法各不相同,但到最后都化为一个最优化问题或者求解方程的问题,而一般情况下我们难以得到它们的解析解.那么,研究这些问题的数值解就成为一个值得考虑的问题.同时可以发现,这些问题最终的结论都与非线性最小二乘估计的问题类似,所以我们只讨论最小二乘法的数值解法。 在非线性模型中,参数估计的常用解法分为两类：1使用线性近似法,根据Taylor展式,将非线性模型转化为线性模型,并在线性框架下解决问题,例如Gauss-Newton算法。但这类问题存在非线性模型能否线性化以及线性化后的误差有多大等缺陷,在一定程度上限制了该算法的应用；2把原问题转化为函数的最值问题,并借助优化的理论寻找最小值点,例如Newton-Raphson算法。但这类问题往往对初值的选取比较依赖,而且每一步的计算量都比较大,导致在高维空间中,该算法的实用性受到了很大的挑战。 在原有方法的基础上,本文提出了一种新的算法-梯度压缩法。其思想是:寻找有界闭凸区域D的重心p0,计算出该点的函数值g(p0)；以过重心p0点的Y-直线为界,将区域D分割成两部分D+和D-,使得对于区域D+上的任一点p1,有g(p1)＞g(p0)成立；去掉区域D+,在区域D-上重复上述过程,直到找到最小值点p*(第三章的理论证明保证了最小值点的存在)。 一般来讲,衡量一种算法优劣的标准有三个：1、收敛性；2、收敛速度；3、每一步的计算量。 牛顿类的算法(Newton-Raphson算法、Gauss-Newton算法、信赖域法等)尽管收敛快,但是需要计算Hessian矩阵,计算量比较大；而且是局部收敛的,收敛性质不是很好.最速下降法虽然具有全局收敛性,但是收敛速度太慢,而且步长的计算相当繁琐. 作为一种新的算法,梯度压缩法则有以下优点：1、具有全局收敛性.相比牛顿类算法的局部收敛性,该算法的性质更加优越；2、以指数的速度收敛,远远高于其他算法；3、每一步的计算量相对较小,即使推广到高维空间也是有很强实用性的。 基于该算法的种种优越性,在本文的第四章里,我们将其应用范围进行了进一步的推广,从而使其应用性得到了进一步的加强。