计量经济学课件第三章 多元线性回归模型及非线性回归模型

第二节 多元线性回归模型的估计

一、普通最小二乘法（OLS）

原则：寻求剩余平方和最小的参数估计式

???????????????????2 )2

i

即

min : ? e ? ? ( Yi Yi ? X )]2

i

????k ki

min : ??e ???[Yi ??( ??1 ????2 X 2i ????3 X 3i ? 2 ??

2 ???

i

min : ??e ??min : e?e ??min : (Y - Xβ)?( Y - Xβ)(i ? 1, 2, ??????? 2 求偏导，并令其为0

???(X )????e 0) j ? 0 其中 即 ? ????X ????X ???? ??

? ?

?2???Yi ??( ?1 ?2 2i ?3 3i

kiki

?

i

( j ? 1, 2, n)

i

n)

?e ?0

?X

2i i

?

e ?0

?????

?????????? ? X ? X ? X )? ? 0 ???????? ? ? X )????0 ???????????????? ????ki ki ? 2? X 2i ?Yi ( ?1 ?2 2i ?3 3i

????????? X ?2i ?? ? 2 ?? X ki ? Y i ?? ( ? 1 ?? ?? 2 kiki ?3 X 3i ?

?? ????????

?X

ki i

e ?0

13

用矩阵表示的正规方程

1 ??1 ? ?e 1 ??0 ? ? ?e ??0 ?

偏导数

X 22 ??X 2 n ? ?2 ?

?? X 2i ei ? ? ?X

? X?e ? ? ? 21

? ??? ??

??????????? ? ???

X ? ?? ??? e ? ? X ki ei ? ?X 0 X k 2 ??X kn ? ?en ??0 ? 因为样本回归函数为

k1??

? ? ei ? ? 1 ???

两边左乘 X ? 根据最小二乘原则 则正规方程为

X ?e = 0

?

X ?Y = X ?Xβ + X ?e

??????

Y = Xβ + e

?

X ?Xβ = X ?Y

14

OLS估计式

由正规方程

???? ( X ?X )k?k 是满秩矩阵, 其逆存在 X ?Xβ = X

? = (X ?X)-1 X 多元回归的OLS估计量为

?Y

?Y?

当只有两个解释变量时为：

???

?1 ??Y ???2 X 2 ???3 X 3

2

对比

简单线性回归中

(? yi x2i )(? x3i ) ? (? yi x3i )(? x2i x3i )

2 2 2

(? x )(? x ) (? x2i x3i ) ?2 ? 2i 3i ? ?

2

(??yi x3i )(??x ) 2i ??(??yi x2i )(??x2i x3i )

??

?1 ? Y ?2 X

?

?3 ? 注意：

(??x )(??x ) ??(??x2i x3i )

2 2i

2 3i

2

? 2 ?

??x y

i

i

??x

2 i

x、 y 为X、Y的离差

15

OLS回归线的数学性质

●回归线通过样本均值

(与简单线性回归相同)

???

Y ???1????2 X 2 ????3 X 3 ? ?

??k Xk

?Yi n ?Y

???

●估计值 Y i 的均值等于实际观测值 ●剩余项

Yi

的均值 ??

ei 的均值为零

ei ????ei n ??0

?

不相关

???

●被解释变量估计值 Yi 与剩余项

ei

?????

Cov(Y i , ei ) ? 0

●解释变量 X i 与剩余项

或

??(e ?y) ??0

i

i

ei 不相关

（j=1,2,---k）

16

16

Cov( X ji , ei ) ??0