Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

10.5 多元回归中的置信区间

我们经常需要为回归系数 {βj}\{\beta_j\} 和回归模型中的其他感兴趣量构造置信区间。推导这些区间的方法,需要假定误差 {ϵi}\{\epsilon_i\} 相互独立,且服从均值为零、方差为 σ2\sigma^2 的正态分布;这一假定与 10.4 节假设检验中的相同。

10.5.1 单个回归系数的置信区间

最小二乘估计量 β^\hat{\boldsymbol\beta} 是观测值的线性组合,因此服从均值向量为 β\boldsymbol\beta、协方差矩阵为 σ2(X′X)−1\sigma^2(\mathbf X'\mathbf X)^{-1} 的正态分布。于是,统计量

β^j−βjσ^2Cjj,j=0,1,…,k(10.37)\frac{\hat\beta_j-\beta_j}{\sqrt{\hat\sigma^2C_{jj}}},\qquad j=0,1,\ldots,k\tag{10.37}

均服从自由度为 n−pn-p 的 tt 分布。其中,CjjC_{jj} 是矩阵 (X′X)−1(\mathbf X'\mathbf X)^{-1} 的第 (j,j)(j,j) 个元素,σ^2\hat\sigma^2 是由式(10.17)得到的误差方差估计。因此,回归系数 βj\beta_j(j=0,1,…,kj=0,1,\ldots,k)的 100(1−α)%100(1-\alpha)\% 置信区间为

β^j−tα/2,n−pσ^2Cjj≤βj≤β^j+tα/2,n−pσ^2Cjj.(10.38)\hat\beta_j-t_{\alpha/2,n-p}\sqrt{\hat\sigma^2C_{jj}}\leq\beta_j\leq\hat\beta_j+t_{\alpha/2,n-p}\sqrt{\hat\sigma^2C_{jj}}.\tag{10.38}

由于 se(β^j)=σ^2Cjjse(\hat\beta_j)=\sqrt{\hat\sigma^2C_{jj}},这个区间也可写为

β^j−tα/2,n−pse(β^j)≤βj≤β^j+tα/2,n−pse(β^j).\hat\beta_j-t_{\alpha/2,n-p}se(\hat\beta_j)\leq\beta_j\leq\hat\beta_j+t_{\alpha/2,n-p}se(\hat\beta_j).

例 10.7

我们为例 10.1 中的参数 β1\beta_1 构造 95% 置信区间。已知 β^1=7.62129\hat\beta_1=7.62129,σ^2=267.604\hat\sigma^2=267.604,C11=1.429184×10−3C_{11}=1.429184\times10^{-3},因此

β^1−t0.025,13σ^2C11≤β1≤β^1+t0.025,13σ^2C11,7.62129−2.16(267.604)(1.429184×10−3)≤β1≤7.62129+2.16(267.604)(1.429184×10−3),7.62129−2.16(0.6184)≤β1≤7.62129+2.16(0.6184).\begin{aligned} \hat\beta_1-t_{0.025,13}\sqrt{\hat\sigma^2C_{11}}&\leq\beta_1\leq\hat\beta_1+t_{0.025,13}\sqrt{\hat\sigma^2C_{11}},\\ 7.62129-2.16\sqrt{(267.604)(1.429184\times10^{-3})}&\leq\beta_1\\ &\leq7.62129+2.16\sqrt{(267.604)(1.429184\times10^{-3})},\\ 7.62129-2.16(0.6184)&\leq\beta_1\leq7.62129+2.16(0.6184). \end{aligned}

所以,β1\beta_1 的 95% 置信区间为

6.2855≤β1≤8.9570.6.2855\leq\beta_1\leq8.9570.

10.5.2 平均响应的置信区间

还可以为某个指定点 x01,x02,…,x0kx_{01},x_{02},\ldots,x_{0k} 处的平均响应构造置信区间。先定义向量

x0=[1,x01,x02,…,x0k]′.\mathbf x_0=[1,x_{01},x_{02},\ldots,x_{0k}]'.

该点的平均响应为

μy∣x0=β0+β1x01+β2x02+⋯+βkx0k=x0′β.\mu_{y\mid\mathbf x_0}=\beta_0+\beta_1x_{01}+\beta_2x_{02}+\cdots+\beta_kx_{0k}=\mathbf x_0'\boldsymbol\beta.

其估计值为

y^(x0)=x0′β^.(10.39)\hat y(\mathbf x_0)=\mathbf x_0'\hat{\boldsymbol\beta}.\tag{10.39}

由于 E[y^(x0)]=x0′E(β^)=x0′β=μy∣x0E[\hat y(\mathbf x_0)]=\mathbf x_0'E(\hat{\boldsymbol\beta})=\mathbf x_0'\boldsymbol\beta=\mu_{y\mid\mathbf x_0},该估计量是无偏的,且其方差为

V[y^(x0)]=σ2x0′(X′X)−1x0.(10.40)V[\hat y(\mathbf x_0)]=\sigma^2\mathbf x_0'(\mathbf X'\mathbf X)^{-1}\mathbf x_0.\tag{10.40}

因此,点 x01,x02,…,x0kx_{01},x_{02},\ldots,x_{0k} 处平均响应的 100(1−α)%100(1-\alpha)\% 置信区间为

y^(x0)−tα/2,n−pσ^2x0′(X′X)−1x0≤μy∣x0≤y^(x0)+tα/2,n−pσ^2x0′(X′X)−1x0.(10.41)\hat y(\mathbf x_0)-t_{\alpha/2,n-p}\sqrt{\hat\sigma^2\mathbf x_0'(\mathbf X'\mathbf X)^{-1}\mathbf x_0}\leq\mu_{y\mid\mathbf x_0}\leq\hat y(\mathbf x_0)+t_{\alpha/2,n-p}\sqrt{\hat\sigma^2\mathbf x_0'(\mathbf X'\mathbf X)^{-1}\mathbf x_0}.\tag{10.41}