第三章_线性回归模型的统计推断_Part 3.pdf

四 、参数估计量的评价准则 四 参数估计量的评价准则 线性 估计量是样本观察值 的线性函数 • 线性 ： 估计量是样本观察值y i 的线性函数 • 无偏性 ： ˆ () () Ey E   • 无偏性 ： • 有效性 ： 方 差 较小的估计 量 () , () Ey E   有效性 方 较小的估计 • 最优线性无偏估计量 （BLUE ）：估计量 是线性的和无偏的，并且在所有线性无偏 估计量中方差最小 估计量中方差最小 45 13-14 秋 《计量经济学》第三章样本均值的抽样分布或概率分布 样本均值的抽样分布或概率分布 若 来自 总体均值为 • 若y 1 ， y 2 ，……， y n 是来自 于 总体均值为  的 组随机样本 则样本均值是对 的个 的 一组随机样本 ， 则样本均值是对  的 一 个 估计 该估计量是线性无偏估计量 估计 。 该估计量是线性无偏估计量 。 1 n 1 n  1 1 n i i y y n     1 1 n i i Ey E y n         1 i n  1 i  46 13-14 秋 《计量经济学》第三章样本均值的抽样分布或概率分布 样本均值的抽样分布或概率分布 • 样本均值（总体均值的估计量）的方差 （抽样方差）是  2 /n。当n →∞时，样本均 值的抽样方差 →0 。 47 13-14 秋 《计量经济学》第三章样本均值的抽样分布或概率分布 样本均值的抽样分布或概率分布 • 若y 1 ， y 2 ，……， y n 是来自于均值为  ，方 差为  2 的正态总体的一组随机样本，则样 本均值（总体均值的估计量）也服从正态 分布。 2 () yN   ~ ( , ) yN n  48 13-14 秋 《计量经济学》第三章• 另一个  的线性无偏估计量是y • 另一个  的线性无偏估计量是y 1   E    1 E y   的抽样方差是 • y 1 的抽样方差是 2 49 13-14 秋 《计量经济学》第三章有时有偏估计量方差更小 兼顾无偏性和小 • 有时有偏估计量方差更小 。 兼顾无偏性和小 方差的指标是估计量的均方误(Mean 方差的指标是估计量的均方误(e Squared Error ，MSE)         2 2 ˆˆ ˆˆ MSE E V E            MSE E Var E          50 13-14 秋 《计量经济学》第三章• 一 致性 ： 记  n  ˆ 是基于样本容量为 n 的一组样本 致性 ： n ,y , y  1 得到的参数估计值，可以看作是 n 的函 数。随着   n ，对于任意小的正数  ，均有     0 ˆ li     ˆ      0 - P lim        n n ，即   n  ˆ 的概率极限是  ，称   n  ˆ 是总体参数  的 一 致估计量 记作   n  是总体参数  的致 估 计 量 ， 记作       n ˆ plim 。 51 13-14 秋 《计量经济学》第三章  大数定 理 大数定 • 随机样本y 1 , y 2 ,…y n ，总体均值 μ 。 1 n i y y   1 i i n   () Ey    () plim Ey y     52 13-14 秋 《计量经济学》第三章  ˆ f    53 13-14 秋 《计量经济学》第三章 ˆ 渐近 正 态性 渐近 态性 如果我们能利用一组样本数据 y y  如果我们能利用一组样本数据 n ,y , y 1 ， 得到 一个统计 量 n Z （ 可以 看作是样本容 量 n 的 得到 个统计 可以 看作是样本容 的 函数） 。对于任意数 z ，有       Z P li             z Z n n P lim ，其 中     标准正态累积分 布函数 。 布函数 。 称 n Z 具有渐近标准正态发布，记为  1 0 Z , N ～ a n54 13-14 秋 《计量经济学》第三章概率极限的一些 性质 概率极限的 性质 （1 ） 函数 的概 率极 限等 于 概率极 限的 函数         连续函 数   g ，有             n n   ˆ plim g ˆ g plim  假设        n ˆ plim ，        n ˆ plim   0,1 a n Z ~N   ~0 ,1 Z N     p       p ，   , n ，   , （2）和 的概 率极 限等 于概率 极 限的 和              n n ˆ ˆ plim              n n plim （3 ） 乘积 的概 率极 限等 于 概率极 限的 乘积       ˆ              n n ˆ plim （4）除 的概 率极 限等 于概率 极 限相 除              n n ˆ ˆ plim55 13-14 秋 《计量经济学》第三章 （5 ）    2 ˆ 0, a nZn~N  中 心 极限定 理 中 极限定 均值为  ，方差为 2  的随机样本 n ,y , y  1 ， 样 ， 本 均值   n i n y n Y 1 ， 经过标准化后 ， 服从渐近的标准 本 均值 i n ， 经过标准化后 ， 服从渐近的标准 正态分布 （ 注 意， 这个定理并不要求总体具有某种 特定类型的分布 特定类型的分布 。   1 0 Z , N ～ - μ Y a n    1 0 Z , N n σ/ n 进一步地，如果用样本标准差替换总体标准 差，统计量仍然具有渐近正态性 。   1 0 Z N - μ Y a n 56 13-14 秋 《计量经济学》第三章   1 0 Z , N ～ n / S μ n n n 五、OLS估计量的统计性质 估计量的统计性质 OS 估计方法得到的样本回归线是否是总 • OLS估计方法得到的样本回归线是否是总 体回归线的一个好的估计量 ？ 体回归线的一个好的估计量 ？ • 回答上述问题 需要了解参数估计量的抽 • 回答上述问题 ， 需要了解参数估计量的抽 样分析 ， 因此需要对随机误差项等进行 一 样分析 ， 因此需要对随机误差项等进行 系列的假定。 57 13-14 秋 《计量经济学》第三章横截面回归的经典假定 （Gauss Markov 假定） （Gauss-Markov 假定） • MLR 1 模型对参数而言是线性的 • MLR.1 模型对参数而言是线性的 。 01 12 2 iiik k i i y xx xu         01 12 2 1, , iiik k i i y in        • MLR.2 n次观测 为随机样本 （ 第 i 次观测和第 j 次观测来自     1 ,,,,1 ,, ii i k yx xi n   为随机样本 （ 第 i 次观测和第 j 次观测来自 于独立同分布的总体） 58 13-14 秋 《计量经济学》第三章横截面回归的经典假定 （Gauss Markov 假定） （Gauss-Markov 假定） MLR 3 扰动项的条件期望为零E( | • MLR.3 扰动项的条件期望为零E(u|x 1 , …, x k )=0 （ E(u)=0 ， COV(u x j )=0 ），称为 外 x k )0 （ E(u)0 ， COV(u, x j )0 ），称为 外 生解释变量 • MLR.4 解释变量之间不存在完全的线性相 关关系（模型的可识别条件） 59 13-14 秋 《计量经济学》第三章完全线性相关 完全线性相关   0  存 在 一 组 不 完 全 为 的 系 数 使 得   1 0 , K   存 在 组 不 完 全 为 的 系 数 ， 使 得 11 0 KK xx      11 KK 1 , K xx  则称 之间存在完全的线性关系。 1 , K 01 12 23 3 y xxxu      例如， 01 12 23 3 y   123 2 xxx  其中， 60 13-14 秋 《计量经济学》第三章OLS的统计性质：一阶矩 的统计性质 阶矩 • 线性 参数估计量 是 的线性函数 ˆ  y • 线性 ： 参数估计量 是 的线性函数  j i y ˆ ˆ ji i r y   无偏性 2 ˆ ji i j ji y r     ˆ • 无偏性 ˆ ( |),0 ,,     X  jj Ej k ˆ () , 0 ,,      jj E jk 61 13-14 秋 《计量经济学》第三章OLS的统计性质：二 阶矩 的统计性质 阶矩 MLR 5 同方差性 • MLR.5 同方差性 2 (| xx x) Var u  12 (| x , x,, x) k Var u      2 2 ˆ       j j ji j SST R r Var 2 2 1 ˆ X |          j j j  62 13-14 秋 《计量经济学》第三章OLS估计量的抽样方差 （ 估计精度 ） 估计量的抽样方差 估计精度 估计量的条件方差依赖于三个因素 • 估计量的条件方差依赖于三个因素 – σ 2 – SST j 取决于解释变量样本数据的变动 – R j 2 取决于解释变量之间的共线性强度（完全的 共线性会出现什么情况 ？） 共线性会出现什么情况   V 2 2 X | ˆ       j j ji j SST R r Var 2 2 1 ˆ X |      63 13-14 秋 《计量经济学》第三章    2 1 2 ˆ |X 1 Var RS S T        11 1 RS S T  2  1 SST 64 13-14 秋 《计量经济学》第三章多重共线性程度的判断 多重共线性程度的判断 • 方差膨胀因子VIF • 方差膨胀因子VIF 1 VIF    2 1 1 VIF R     2    1 1 ˆ |X Var VIF SST    • 如果一个变量的VIF超过10 ，就认为该变量 是高度共线性的 1 是高度共线性的 。 65 13-14 秋 《计量经济学》第三章例子：消费支出与收 财富的关系 入和财富的关系 66 13-14 秋 《计量经济学》第三章多重共线性导致的后果 多重共线性导致的后果 OLS参数估计量的方差很大 估计精度差 • OLS参数估计量的方差很大 ， 估计精度差 （同样的置信水平下 ， 置信区间很宽 ） 。 （同样的置信水平下 ， 置信区间很宽 ） • T值很小，但F 值很大 67 13-14 秋 《计量经济学》第三章R 2 =0.997926 方差膨胀因子 方差膨胀因子 VIF=1/(1-0.997926)=482.16 10 68 13-14 秋 《计量经济学》第三章如何消除不利影响 ？ • 如何消除不利影响 ？ – 从模型中删除不重要的解释变量 但可能会引 – 从模型中删除不重要的解释变量 ， 但可能会引 起模型设定偏误 – 尽可能获取更多的样本数据 – 重新考虑模型（或选择变量） 69 13-14 秋 《计量经济学》第三章• 有效性或最佳性或最小方差性（所有线性、 无偏估计量中方差最小） 70 13-14 秋 《计量经济学》第三章OLS估计值的抽样分布 估计值的抽样分布 MLR 6 随机误差项 服从均值为零 （ 同 ） • MLR.6 随机误差项u服从均值为零 ， （ 同 ） 方差为  2 的正态分布 方差为  的正态分布   2 , 0 ~ X |  N u i       ˆ ˆ |X~ |X NV a r      2 |X , |X jjj NV a r    2~ , ˆ j ji N r        71 13-14 秋 《计量经济学》第三章 72 13-14 秋 《计量经济学》第三章经 典线性模型假定 典线性模型假定 C • Classical Linear Model Assumption (CLM假定) 假定1至假定6 (CLM假定) ：假定1至假定6 73 13-14 秋 《计量经济学》第三章随机误差项方差的估计量 随机误差项方差的估计量 最乘 估 的偏 2 ˆ u  • 最 小二乘估计量 是 的 无 偏 估计量 2 ˆ 1 i u nk      2  估计量 回归标准误 （St d d E f • 回归标准误 （Standard Error of Regression ） 真实观测值 偏 2 ˆ i u  Regression ） ：真实观测值 y 偏 离估计的回归函数的样本标准差 1 i nk    离估计的回归函数的样本标准差 74 13-14 秋 《计量经济学》第三章75 13-14 秋 《计量经济学》第三章大样本性质 （asymptotic/large sample properties ） （asymptotic/large sample properties ） 致性是对估计量 的 基本要求 • 一致性是对估计量 的 基本要求 • 在假设1 假设4成立的前提下 OLS参数估 • 在假设1-假设4成立的前提下 ，OLS参数估 计值是 一 致估计量 。 计值是 致估计量 。     n    ˆ plim     j j n    plim   Cov x u        , ˆ plim jj Cov x u n Var x       76 《计量经济学》第三章 13-14 秋 76 《计量经济学》第三章   Var x渐近 正 态性 渐近 态性  ˆ ˆ i ji y r     2 ˆ ji i ji j r y  ， 在 MLR1 ～MLR5 假定 下， 应用中心极限定理，        2 2 0 ˆ j a j j /a , σ N ~ - β β n ，其中          n i ji j r n a 1 2 2 ˆ 1 plim 2 2 ˆ plim    k j  1      0,1 ˆ ˆ se ˆ 2 2 N ~ - β β β - β β a n j j j j       01 1 N ~ nk t a  ,k , j  1   ，   ˆ / ˆ se 1 2 2 r β i ji j    ，     0,1 1 N ~ n-k- t77 《计量经济学》第三章 13-14 秋 77 《计量经济学》第三章