多元线性回归：估计方法及
回归系数显著性检验
线性回归模型的基本假设:
yi??0??1x1i??2x2i????kxki?ui i = 1 , 2 , … , n
在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出若干基本假设：
1．解释变量间不完全相关；
2．随机误差项具有0均值和同方差。即:
E(ui)?0, Var(ui)??2 i = 1 , 2 , … , n 3．不同时点的随机误差项互不相关（序列不相关），即 Cov(ui,ui?s)?0 s ≠ 0, i = 1 , 2 , … , n 4．随机误差项与解释变量之间互不相关。即
Cov(xji,ui)?0 j = 1 , 2 , … , k , i = 1 , 2 , … , n
5．随机误差项服从0均值、同方差的正态分布。即 ui~ N(0,?) i = 1 , 2 , … , n
当模型满足假设1 ~ 4时，将回归模型称为“标准回归模型”，当模型满足假设1 ~ 5时，将回归模型称为“标准正态回归模型”。如果实际模型满足不了这些假设，普通最小二乘法就不再适用，而要发展其他方法来估计模型。
2 广义（加权）最小二乘估计（generalized least squares）
2当假设2和3不满足时，即随机扰动项存在异方差E(ui2)??ii，i = 1 , 2 , … , n，且随
机扰动项序列相关Cov(ui,uj)??ij,i?j， i = 1 , 2 , … , n，j=1 , 2 , … , n ，此时OLS 估
计仍然是无偏且一致的，但不是有效估计。
线性回归的矩阵表示：
y = Xβ + u （1）
则上述两个条件等价为：
??11?12..?1n?????21?22...?2n?2
Var(u)== ? ? ? I ?......??????T1?T2...?nn?对于正定矩阵
存在矩阵M，使得 MΩM'?I?M'M?Ω?1。在方程（1）两边同时左
乘M，得到转换后的新模型：y?Xβ?u?My?MXβ?Mu，令y*?My,?X*?MX,?u*?Mu，即
y*?X*β?u* （2）
新的随机误差项的协方差矩阵为var(u*)?E(Muu'M')?MΩM'?I，显然是同方差、无序列相关的。目标函数，即残差平方和为：Q?u'u?u'M'Mu?u'?u。目标函数是残差向量的加权平方和，而权数矩阵则是u的协方差矩阵的逆矩阵（因此，广义最小二乘估计法也称为加权最小二乘估计法）。而新模型的OLS估计量则是原模型的GLS估计量。
??(X*'X*)?1X*'y*?(X'M'MX)?1X'M'My?(X'Ω?1X)?1X'Ω?1y βGLS???1Var（
**-1 -1
GLS）= (X’X)=(X’M’MX)=(X’
-1
X)-1（ Var（
-1
OLS）= (X’X)X’
X(X’X)-1 ）。
由于变换后的模型(2)满足经典OLS 的所有假设，所以根据高斯-马科夫定理可知， GLS 估计量是BLUE （Best Linear Unbiased Estimator）。
虽然从理论上讲，GLS比OLS有效，但由于多数情况下残差序列的协方差矩阵未知，当我们用代替GLS 估计式中的以获得估计时，估计量虽然仍旧是一致的，但却不是最好线性无偏估计。而且，也很难推导出估计量的小样本性质。继而用White(1980)的异方差一致协方差估计方法（残差序列有未知形式的异方差，但序列不相关）和
Newey-West(1987) 的异方差--自相关一致协方差估计方法（有未知形式的异方差且自相关存在）得到修正的Var（
OLS）是相对较好的选择。（使用White或Newey-West异方差
一致协方差估计不会改变参数的点估计，只改变参数估计的标准差。）
White 协方差矩阵公式为：
???Wnn??1?(X?X)??ui2xixi??(X?X)?1 n?k?i?1?其中n是观测值数，k是回归变量数，ui是最小二乘残差。
Newey-West协方差矩阵公式为：
???1???1?NW?(XX)?(XX)
??n其中?n?kq??????n??n2????????uxx?1?(xuux?xuux)) q是滞??iii????，i?vi?vii??iii?vi?v?q?1?v?1???i?v?1???i?1?后截尾，一个用于评价OLS残差 ui的动态的自相关数目的参数。q?[(4(n100)29)]。
二阶段最小二乘法 （TSLS，Two stage least squares，Sargan（1958））
当假设4不成立时，即随机误差项与某些解释变量相关时，OLS和广义LS都是有偏的和不一致的。
有几种情况使右边某些解释变量与误差项相关。如：在方程右边有内生决定变量，或右边变量具有测量误差。为简化起见，我们称与残差相关的变量为内生变量，与残差不相关的变量为外生变量。
解决解释变量与随机误差项相关的方法是使用工具变量回归。就是要找到一组变量满足下面两个条件：
（1）与内生变量相关； （2）与残差不相关；
这些变量称为工具变量。用这些工具变量来消除右边解释变量与扰动项之间的相关性。考虑工具变量时，应注意以下问题：
１）使用TSLS估计，方程说明必需满足识别的阶条件，即工具变量的个数至少与方程的系数一样多（Davidson & MacKinnon(1994)和Johnston & DiNardo(1997)）。
２）根据经济计量学理论，与扰动项不相关的解释变量可以用作工具变量。 ３）常数c是一个合适的工具变量。
在二阶段最小二乘估计中有两个独立的阶段。在第一个阶段中，找到内生变量和工具变量。这个阶段包括估计模型中每个内生变量关于工具变量的最小二乘回归。第二个阶段是对原始方程的回归，所有内生变量用第一个阶段回归得到的拟合值来代替。这个回归的系数就是TSLS估计。
令Z为工具变量矩阵，y和X是因变量和解释变量矩阵。则二阶段最小二乘估计的系数由下式计算出来：
????1??1???1??TSLS?(XZ(ZZ)ZX)XZ(ZZ)Zy
系数估计的协方差矩阵为：
?)?s2(X?Z(Z?Z)?1Z?X)?1 Var(?其中s2是估计残差的协方差矩阵。
广义矩方法（GMM，Generalized Method of Moments，Hansen(1982)）
由于传统的计量经济模型估计方法，例如普通最小二乘法、工具变量法、极大似然法等，都有它们的局限性，其参数估计量必须在模型满足某些假设时才具有良好的性质，而GMM估计是一个稳健估计量，因为它不要求扰动项的准确分布信息，允许随机误差项存在异方差和序列相关，所得到的参数估计量比其他参数估计方法更合乎实际；而且可以证明，普通最小二乘法、工具变量法、极大似然法都是GMM的特例
设模型为：
yt?xtβ?ut
其中，xt?(x1t,x2t,?,xKt)，β?(?1,?2,?,?K)'，zt为工具变量（1?L）。令wt??yt,xt,zt?，则L个矩条件为：
m?wt,θ??E?zt'ut??E??zt'?yt?xtβ????0L?1 对应的样本矩条件为：
1T1??wt,θ?????mz'y?xβ?z'?y?xβ??0L?1 ??ttt??Tt?1T等价于解方程：
?(wt,θ)'m?(wt,θ)?0 （3） ?l2?mQ??ml?1K当存在L>K个工具变量时，共有L个矩方程，而只有K个未知参数。因此，根据MM方法，
?K??K?共有??个组合，可以得到的矩估计量的个数为??。这时，每个组合得到的MM估计量
?L??L?都不能满足（3）式，即（3）式不会恰好为0。但可以考虑将各种不同的估计结果综合起来，使（3）式最小化，即使得L个矩条件的平方和最小。
因为不同矩的方差不同，因此更科学的方法是使用加权的平方和，
?(wt,θ)'Wtm?(wt,θ) Q?mGMM估计量是求下式的最优解：
?θGMM?Wt?Q?(wt,θ)'Wm?(wt,θ)? ?argmin?mtθ
相关推荐：
loading