多元线性模型与岭回归分析

回归分析是统计学中的一个重要分支,它在工商管理、经济、社会、医学和生物科学等领域应用十分广泛。从十九世纪初Gauss 提出最小二乘法算起,回归分析已经有180 多年的历史,二十世纪初以来,更多的统计学者投入到这一领域,发表了一系列有关回归分析的理论和应用的论文,近三十年来,回归分析的研究已有了一系列较为成熟的结果。 回归分析中,当自变量之间出现多重共线性现象时,回归系数的估计值将会不稳定,同时方差变大,这势必对问题的研究带来不利影响,因此消除多重共线性成为回归分析中参数估计的一个重要环节。消除多重共线性常用的参数改进方法有主成分回归和岭回归。本文简单介绍了主成分回归,阐述了主成分估计方法的原理和优缺点; 重点是从不同的角度不同的思想出发,对最常见的岭回归估计法进行了深入的探讨:岭参数K 的存在性,岭估计的优良性,岭参数K 的选择方法等。 自从1970 年Hoerl 和Kennard[1],[2]提出岭估计以来,岭回归估计法开始广泛应用于实际。本文以多元线性回归模型的典则形式为研究对象,从减小均方误差的角度出发,在一定的范围内分析了岭参数K 的存在性和岭估计的优良性。岭参数K的确定依赖于未知参数,但是若只凭样本推断,就会使大量的经验和信息作用无从发挥。岭迹法确定K值存在着一定的人为主观因素,这种人为性正好让我将定性分析和定量分析结合起来,改进了Hoerl 和Kennard 的方法。本文通过分析均方误差函数的单调性,将K 的范围缩小到一个相对较小的区间。关于K值的逼近,怎样才能达到极值点,尚需进一步研究。 文章最后进行了总结,并提出了有待进一步解决的问题。