第三章_线性回归模型的统计推断_Part 3.pdf
四 、参数估计量的评价准则 四 参数估计量的评价准则 线性 估计量是样本观察值 的线性函数 • 线性 : 估计量是样本观察值y i 的线性函数 • 无偏性 : ˆ () () Ey E • 无偏性 : • 有效性 : 方 差 较小的估计 量 () , () Ey E 有效性 方 较小的估计 • 最优线性无偏估计量 (BLUE ):估计量 是线性的和无偏的,并且在所有线性无偏 估计量中方差最小 估计量中方差最小 45 13-14 秋 《计量经济学》第三章样本均值的抽样分布或概率分布 样本均值的抽样分布或概率分布 若 来自 总体均值为 • 若y 1 , y 2 ,……, y n 是来自 于 总体均值为 的 组随机样本 则样本均值是对 的个 的 一组随机样本 , 则样本均值是对 的 一 个 估计 该估计量是线性无偏估计量 估计 。 该估计量是线性无偏估计量 。 1 n 1 n 1 1 n i i y y n 1 1 n i i Ey E y n 1 i n 1 i 46 13-14 秋 《计量经济学》第三章样本均值的抽样分布或概率分布 样本均值的抽样分布或概率分布 • 样本均值(总体均值的估计量)的方差 (抽样方差)是 2 /n。当n →∞时,样本均 值的抽样方差 →0 。 47 13-14 秋 《计量经济学》第三章样本均值的抽样分布或概率分布 样本均值的抽样分布或概率分布 • 若y 1 , y 2 ,……, y n 是来自于均值为 ,方 差为 2 的正态总体的一组随机样本,则样 本均值(总体均值的估计量)也服从正态 分布。 2 () yN ~ ( , ) yN n 48 13-14 秋 《计量经济学》第三章• 另一个 的线性无偏估计量是y • 另一个 的线性无偏估计量是y 1 E 1 E y 的抽样方差是 • y 1 的抽样方差是 2 49 13-14 秋 《计量经济学》第三章有时有偏估计量方差更小 兼顾无偏性和小 • 有时有偏估计量方差更小 。 兼顾无偏性和小 方差的指标是估计量的均方误(Mean 方差的指标是估计量的均方误(e Squared Error ,MSE) 2 2 ˆˆ ˆˆ MSE E V E MSE E Var E 50 13-14 秋 《计量经济学》第三章• 一 致性 : 记 n ˆ 是基于样本容量为 n 的一组样本 致性 : n ,y , y 1 得到的参数估计值,可以看作是 n 的函 数。随着 n ,对于任意小的正数 ,均有 0 ˆ li ˆ 0 - P lim n n ,即 n ˆ 的概率极限是 ,称 n ˆ 是总体参数 的 一 致估计量 记作 n 是总体参数 的致 估 计 量 , 记作 n ˆ plim 。 51 13-14 秋 《计量经济学》第三章 大数定 理 大数定 • 随机样本y 1 , y 2 ,…y n ,总体均值 μ 。 1 n i y y 1 i i n () Ey () plim Ey y 52 13-14 秋 《计量经济学》第三章 ˆ f 53 13-14 秋 《计量经济学》第三章 ˆ 渐近 正 态性 渐近 态性 如果我们能利用一组样本数据 y y 如果我们能利用一组样本数据 n ,y , y 1 , 得到 一个统计 量 n Z ( 可以 看作是样本容 量 n 的 得到 个统计 可以 看作是样本容 的 函数) 。对于任意数 z ,有 Z P li z Z n n P lim ,其 中 标准正态累积分 布函数 。 布函数 。 称 n Z 具有渐近标准正态发布,记为 1 0 Z , N ~ a n54 13-14 秋 《计量经济学》第三章概率极限的一些 性质 概率极限的 性质 (1 ) 函数 的概 率极 限等 于 概率极 限的 函数 连续函 数 g ,有 n n ˆ plim g ˆ g plim 假设 n ˆ plim , n ˆ plim 0,1 a n Z ~N ~0 ,1 Z N p p , , n , , (2)和 的概 率极 限等 于概率 极 限的 和 n n ˆ ˆ plim n n plim (3 ) 乘积 的概 率极 限等 于 概率极 限的 乘积 ˆ n n ˆ plim (4)除 的概 率极 限等 于概率 极 限相 除 n n ˆ ˆ plim55 13-14 秋 《计量经济学》第三章 (5 ) 2 ˆ 0, a nZn~N 中 心 极限定 理 中 极限定 均值为 ,方差为 2 的随机样本 n ,y , y 1 , 样 , 本 均值 n i n y n Y 1 , 经过标准化后 , 服从渐近的标准 本 均值 i n , 经过标准化后 , 服从渐近的标准 正态分布 ( 注 意, 这个定理并不要求总体具有某种 特定类型的分布 特定类型的分布 。 1 0 Z , N ~ - μ Y a n 1 0 Z , N n σ/ n 进一步地,如果用样本标准差替换总体标准 差,统计量仍然具有渐近正态性 。 1 0 Z N - μ Y a n 56 13-14 秋 《计量经济学》第三章 1 0 Z , N ~ n / S μ n n n 五、OLS估计量的统计性质 估计量的统计性质 OS 估计方法得到的样本回归线是否是总 • OLS估计方法得到的样本回归线是否是总 体回归线的一个好的估计量 ? 体回归线的一个好的估计量 ? • 回答上述问题 需要了解参数估计量的抽 • 回答上述问题 , 需要了解参数估计量的抽 样分析 , 因此需要对随机误差项等进行 一 样分析 , 因此需要对随机误差项等进行 系列的假定。 57 13-14 秋 《计量经济学》第三章横截面回归的经典假定 (Gauss Markov 假定) (Gauss-Markov 假定) • MLR 1 模型对参数而言是线性的 • MLR.1 模型对参数而言是线性的 。 01 12 2 iiik k i i y xx xu 01 12 2 1, , iiik k i i y in • MLR.2 n次观测 为随机样本 ( 第 i 次观测和第 j 次观测来自 1 ,,,,1 ,, ii i k yx xi n 为随机样本 ( 第 i 次观测和第 j 次观测来自 于独立同分布的总体) 58 13-14 秋 《计量经济学》第三章横截面回归的经典假定 (Gauss Markov 假定) (Gauss-Markov 假定) MLR 3 扰动项的条件期望为零E( | • MLR.3 扰动项的条件期望为零E(u|x 1 , …, x k )=0 ( E(u)=0 , COV(u x j )=0 ),称为 外 x k )0 ( E(u)0 , COV(u, x j )0 ),称为 外 生解释变量 • MLR.4 解释变量之间不存在完全的线性相 关关系(模型的可识别条件) 59 13-14 秋 《计量经济学》第三章完全线性相关 完全线性相关 0 存 在 一 组 不 完 全 为 的 系 数 使 得 1 0 , K 存 在 组 不 完 全 为 的 系 数 , 使 得 11 0 KK xx 11 KK 1 , K xx 则称 之间存在完全的线性关系。 1 , K 01 12 23 3 y xxxu 例如, 01 12 23 3 y 123 2 xxx 其中, 60 13-14 秋 《计量经济学》第三章OLS的统计性质:一阶矩 的统计性质 阶矩 • 线性 参数估计量 是 的线性函数 ˆ y • 线性 : 参数估计量 是 的线性函数 j i y ˆ ˆ ji i r y 无偏性 2 ˆ ji i j ji y r ˆ • 无偏性 ˆ ( |),0 ,, X jj Ej k ˆ () , 0 ,, jj E jk 61 13-14 秋 《计量经济学》第三章OLS的统计性质:二 阶矩 的统计性质 阶矩 MLR 5 同方差性 • MLR.5 同方差性 2 (| xx x) Var u 12 (| x , x,, x) k Var u 2 2 ˆ j j ji j SST R r Var 2 2 1 ˆ X | j j j 62 13-14 秋 《计量经济学》第三章OLS估计量的抽样方差 ( 估计精度 ) 估计量的抽样方差 估计精度 估计量的条件方差依赖于三个因素 • 估计量的条件方差依赖于三个因素 – σ 2 – SST j 取决于解释变量样本数据的变动 – R j 2 取决于解释变量之间的共线性强度(完全的 共线性会出现什么情况 ?) 共线性会出现什么情况 V 2 2 X | ˆ j j ji j SST R r Var 2 2 1 ˆ X | 63 13-14 秋 《计量经济学》第三章 2 1 2 ˆ |X 1 Var RS S T 11 1 RS S T 2 1 SST 64 13-14 秋 《计量经济学》第三章多重共线性程度的判断 多重共线性程度的判断 • 方差膨胀因子VIF • 方差膨胀因子VIF 1 VIF 2 1 1 VIF R 2 1 1 ˆ |X Var VIF SST • 如果一个变量的VIF超过10 ,就认为该变量 是高度共线性的 1 是高度共线性的 。 65 13-14 秋 《计量经济学》第三章例子:消费支出与收 财富的关系 入和财富的关系 66 13-14 秋 《计量经济学》第三章多重共线性导致的后果 多重共线性导致的后果 OLS参数估计量的方差很大 估计精度差 • OLS参数估计量的方差很大 , 估计精度差 (同样的置信水平下 , 置信区间很宽 ) 。 (同样的置信水平下 , 置信区间很宽 ) • T值很小,但F 值很大 67 13-14 秋 《计量经济学》第三章R 2 =0.997926 方差膨胀因子 方差膨胀因子 VIF=1/(1-0.997926)=482.16 10 68 13-14 秋 《计量经济学》第三章如何消除不利影响 ? • 如何消除不利影响 ? – 从模型中删除不重要的解释变量 但可能会引 – 从模型中删除不重要的解释变量 , 但可能会引 起模型设定偏误 – 尽可能获取更多的样本数据 – 重新考虑模型(或选择变量) 69 13-14 秋 《计量经济学》第三章• 有效性或最佳性或最小方差性(所有线性、 无偏估计量中方差最小) 70 13-14 秋 《计量经济学》第三章OLS估计值的抽样分布 估计值的抽样分布 MLR 6 随机误差项 服从均值为零 ( 同 ) • MLR.6 随机误差项u服从均值为零 , ( 同 ) 方差为 2 的正态分布 方差为 的正态分布 2 , 0 ~ X | N u i ˆ ˆ |X~ |X NV a r 2 |X , |X jjj NV a r 2~ , ˆ j ji N r 71 13-14 秋 《计量经济学》第三章 72 13-14 秋 《计量经济学》第三章经 典线性模型假定 典线性模型假定 C • Classical Linear Model Assumption (CLM假定) 假定1至假定6 (CLM假定) :假定1至假定6 73 13-14 秋 《计量经济学》第三章随机误差项方差的估计量 随机误差项方差的估计量 最乘 估 的偏 2 ˆ u • 最 小二乘估计量 是 的 无 偏 估计量 2 ˆ 1 i u nk 2 估计量 回归标准误 (St d d E f • 回归标准误 (Standard Error of Regression ) 真实观测值 偏 2 ˆ i u Regression ) :真实观测值 y 偏 离估计的回归函数的样本标准差 1 i nk 离估计的回归函数的样本标准差 74 13-14 秋 《计量经济学》第三章75 13-14 秋 《计量经济学》第三章大样本性质 (asymptotic/large sample properties ) (asymptotic/large sample properties ) 致性是对估计量 的 基本要求 • 一致性是对估计量 的 基本要求 • 在假设1 假设4成立的前提下 OLS参数估 • 在假设1-假设4成立的前提下 ,OLS参数估 计值是 一 致估计量 。 计值是 致估计量 。 n ˆ plim j j n plim Cov x u , ˆ plim jj Cov x u n Var x 76 《计量经济学》第三章 13-14 秋 76 《计量经济学》第三章 Var x渐近 正 态性 渐近 态性 ˆ ˆ i ji y r 2 ˆ ji i ji j r y , 在 MLR1 ~MLR5 假定 下, 应用中心极限定理, 2 2 0 ˆ j a j j /a , σ N ~ - β β n ,其中 n i ji j r n a 1 2 2 ˆ 1 plim 2 2 ˆ plim k j 1 0,1 ˆ ˆ se ˆ 2 2 N ~ - β β β - β β a n j j j j 01 1 N ~ nk t a ,k , j 1 , ˆ / ˆ se 1 2 2 r β i ji j , 0,1 1 N ~ n-k- t77 《计量经济学》第三章 13-14 秋 77 《计量经济学》第三章