在统计学中,线性回归模型是一种十分重要的模型,最小二乘估计是估计回归系数最常用的方法。最小二乘估计具有很多优良的性质。但是,应用最小二乘估计并不是所有的情况都能得到非常理想的结果。假如设计矩阵X出现病态时,LS估计的性能可能就会很坏,有很大的MSE,估计所波动的范围就会有很大程度地增加,因此所得结果的精度就会很差。在实际的生活中,特别是在处理大型回归问题时,出现复共线性的现象是不可避免的。因此,针对这种情况,统计学家们开始寻求改进LS估计的方法。其中有偏估计的提出在解决复共线性问题方面指明了一个行之有效的方向。有偏估计是抛弃了估计值的无偏性这个特点,来换取方差的减小。这样就实现了在MSE的情况下,LS估计的很多良好的性质劣于有偏估计,这为解决大量的实际问题贡献了力量。本文在以前统计学者的成果上,总结了有偏估计发展的历史,增强了我们对有偏估计的了解。还介绍了三种应用广泛的有偏估计：Stein压缩估计、PCE以及RR,对它们的性质进行了归纳和总结,并对有偏估计中应用广泛的广义岭估计进行了改进,证明其在均方误差意义下较最小二乘估计具有的优良性质。以往对广义岭估计的研究多集中在设计矩阵存在复共线性上,本文是将广义岭估计的设计矩阵列满秩、零均值、等方差推广到设计矩阵非满秩、零均值、等方差的情况,定义了此时的广义岭估计,证明其具有的优良性质。然而,在我们处理许多现实的问题时,还会有很多问题存在,比如线性回归模型并不时时都有等方差的情况,在这种情况下,如果再使用以前的一些理论就很难处理这时的问题,因此本文继续将假设条件放宽,扩展到异方差的情况,即将设计矩阵扩展到非满秩、零均值、异方差的情况。将假设条件放宽,更符合实际情况。