Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

10.4.1 回归显著性检验

# 10.4 多元回归中的假设检验

在多元线性回归中,对模型参数进行假设检验有助于评价模型的用途。本节介绍几种重要的检验。它们都要求误差 ϵi\epsilon_i 相互独立,且服从均值为 0、方差为 σ2\sigma^2 的正态分布,简记为 ϵi∼NID(0,σ2)\epsilon_i\sim\mathrm{NID}(0,\sigma^2)。因此,观测值 yiy_i 也相互独立,且服从均值为 β0+∑j=1kβjxij\beta_0+\sum_{j=1}^k\beta_jx_{ij}、方差为 σ2\sigma^2 的正态分布。

10.4.1 回归显著性检验

回归显著性检验用于判断响应 yy 是否与回归变量 x1,x2,…,xkx_1,x_2,\ldots,x_k 中至少一个具有线性关系。检验假设为

H0:β1=β2=⋯=βk=0,H1:至少有一个 βj≠0.(10.20)H_0:\beta_1=\beta_2=\cdots=\beta_k=0,\qquad H_1:\text{至少有一个 }\beta_j\ne0.\tag{10.20}

拒绝 H0H_0 表示至少一个回归变量对模型有显著贡献。检验基于方差分析,把总平方和 SSTSS_T 分成模型(回归)平方和 SSRSS_R 与残差(误差)平方和 SSESS_E:

SST=SSR+SSE.(10.21)SS_T=SS_R+SS_E.\tag{10.21}

若 H0H_0 成立,则 SSR/σ2∼χk2SS_R/\sigma^2\sim\chi_k^2;同时 SSE/σ2∼χn−k−12SS_E/\sigma^2\sim\chi_{n-k-1}^2,且 SSRSS_R 与 SSESS_E 独立。由此计算

F0=SSR/kSSE/(n−k−1)=MSRMSE.(10.22)F_0=\frac{SS_R/k}{SS_E/(n-k-1)}=\frac{MS_R}{MS_E}.\tag{10.22}

若 F0>Fα,k,n−k−1F_0>F_{\alpha,k,n-k-1},或其 PP 值小于 α\alpha,就拒绝 H0H_0。检验通常汇总成表 10.6 那样的方差分析表。

表 10.6 多元回归的回归显著性方差分析

变异来源平方和自由度均方$F_0$
回归$SS_R$k$MS_R$$MS_R/MS_E$
误差或残差$SS_E$n-k-1$MS_E$
总计$SS_T$n-1

下面给出平方和的计算式。式(10.16)已经得到

SSE=y′y−β^′X′y.SS_E=\mathbf y'\mathbf y-\hat{\boldsymbol\beta}'\mathbf X'\mathbf y.

又因为

SST=∑i=1nyi2−(∑i=1nyi)2n=y′y−(∑i=1nyi)2n,SS_T=\sum_{i=1}^ny_i^2-\frac{(\sum_{i=1}^ny_i)^2}{n} =\mathbf y'\mathbf y-\frac{(\sum_{i=1}^ny_i)^2}{n},

所以 SSE=SST−SSRSS_E=SS_T-SS_R,从而

SSR=β^′X′y−(∑i=1nyi)2n,(10.23)SS_R=\hat{\boldsymbol\beta}'\mathbf X'\mathbf y -\frac{(\sum_{i=1}^ny_i)^2}{n},\tag{10.23}
SSE=y′y−β^′X′y,(10.24)SS_E=\mathbf y'\mathbf y-\hat{\boldsymbol\beta}'\mathbf X'\mathbf y,\tag{10.24}
SST=y′y−(∑i=1nyi)2n.(10.25)SS_T=\mathbf y'\mathbf y-\frac{(\sum_{i=1}^ny_i)^2}{n}.\tag{10.25}

这些计算几乎总是由回归软件完成。例如,表 10.4 给出了例 10.1 黏度回归模型的部分 Minitab 输出;上半部分是模型的方差分析。此例的回归显著性检验为 H0:β1=β2=0H_0:\beta_1=\beta_2=0,对立假设是至少一个系数不为零。表中的 F 统计量 PP 值很小,所以可以认为温度 x1x_1 与进料速率 x2x_2 中至少有一个变量的回归系数不为零。

表 10.4 还给出多重决定系数

R2=SSRSST=1−SSESST.(10.26)R^2=\frac{SS_R}{SS_T}=1-\frac{SS_E}{SS_T}.\tag{10.26}

与试验设计中的用法一样,R2R^2 衡量纳入 x1,…,xkx_1,\ldots,x_k 后,响应 yy 的变异减少了多少。不过,较大的 R2R^2 并不必然意味着模型良好。不论新增变量是否显著,加入它都会使 R2R^2 不下降;因此,R2R^2 较大的模型仍可能无法很好地预测新观测值或估计平均响应。

由于增加模型项会使 R2R^2 不下降,有些建模者更愿意使用调整后的决定系数:

Radj2=1−SSE/(n−p)SST/(n−1)=1−(n−1n−p)(1−R2).(10.27)R_{\mathrm{adj}}^2 =1-\frac{SS_E/(n-p)}{SS_T/(n-1)} =1-\left(\frac{n-1}{n-p}\right)(1-R^2).\tag{10.27}

增加变量并不总会提高 Radj2R_{\mathrm{adj}}^2;加入不必要的项时,它常会下降。以黏度模型为例,表 10.4 的调整后决定系数为

Radj2=1−1513(1−0.92697)=0.915735.R_{\mathrm{adj}}^2 =1-\frac{15}{13}(1-0.92697) =0.915735.

它与通常的 R2R^2 很接近。如果两者相差很大,模型可能包含不显著的项。

10.4.2 单个回归系数及系数组的检验

经常需要检验单个回归系数,以判断相应变量在模型中的作用。例如,加入新变量或删去已有变量,可能改善模型。加入变量必使回归平方和不下降、误差平方和不增加,但新增的回归平方和是否足以支持保留该变量,需要检验。不重要的变量甚至可能使误差均方增大,从而降低模型的实用性。

检验单个系数 βj\beta_j 的假设为 H0:βj=0H_0:\beta_j=0 对 H1:βj≠0H_1:\beta_j\ne0。若不能拒绝 H0H_0,说明数据没有提供足够证据证明 xjx_j 在当前模型中有贡献,可考虑删去它。统计量为

t0=β^jσ^2Cjj,(10.28)t_0=\frac{\hat\beta_j}{\sqrt{\hat\sigma^2C_{jj}}},\tag{10.28}

其中 CjjC_{jj} 是 (X′X)−1(\mathbf X'\mathbf X)^{-1} 中与 β^j\hat\beta_j 对应的对角元素。若 ∣t0∣>tα/2,n−k−1|t_0|>t_{\alpha/2,n-k-1},则拒绝 H0H_0。这是一个偏检验,因为 βj\beta_j 的含义依赖于模型中其他回归变量的存在。

分母称为 β^j\hat\beta_j 的标准误:

se(β^j)=σ^2Cjj.(10.29)se(\hat\beta_j)=\sqrt{\hat\sigma^2C_{jj}}.\tag{10.29}

因此,也可写作

t0=β^jse(β^j).(10.30)t_0=\frac{\hat\beta_j}{se(\hat\beta_j)}.\tag{10.30}

大多数回归软件会为每个参数提供 tt 检验。例 10.1 的 Minitab 输出(表 10.4)列出了各参数的最小二乘估计、标准误、tt 统计量及 PP 值。由此可认为温度与进料速率均对模型有显著贡献。

要直接考察某变量 xjx_j 在其他变量已经纳入模型之后对回归平方和的贡献,可以使用一般回归显著性检验,也称额外平方和方法。它还能检验一组变量的贡献。设含 kk 个回归变量的模型为

y=Xβ+ϵ,\mathbf y=\mathbf X\boldsymbol\beta+\boldsymbol\epsilon,

其中 y\mathbf y、ϵ\boldsymbol\epsilon 为 n×1n\times1 向量,X\mathbf X 为 n×pn\times p 矩阵,β\boldsymbol\beta 为 p×1p\times1 向量,p=k+1p=k+1。欲检验 x1,…,xrx_1,\ldots,x_r(r<kr<k)是否对模型有显著贡献,将参数分块为 β=[β1′,β2′]′\boldsymbol\beta=[\boldsymbol\beta_1',\boldsymbol\beta_2']',其中两块分别有 rr 和 p−rp-r 个参数。检验[1]

H0:β1=0,H1:β1≠0.(10.31)H_0:\boldsymbol\beta_1=\mathbf0,\qquad H_1:\boldsymbol\beta_1\ne\mathbf0.\tag{10.31}

相应模型写为

y=X1β1+X2β2+ϵ.(10.32)\mathbf y=\mathbf X_1\boldsymbol\beta_1+\mathbf X_2\boldsymbol\beta_2+\boldsymbol\epsilon.\tag{10.32}

X1\mathbf X_1、X2\mathbf X_2 分别是与两块参数对应的设计矩阵列。对包含所有变量的完整模型,最小二乘估计为 β^=(X′X)−1X′y\hat{\boldsymbol\beta}=(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf y。若将截距也算入回归平方和,则[2]

SSR(β)=β^′X′y(p 个自由度),MSE=y′y−β^′X′yn−p.SS_R(\boldsymbol\beta)=\hat{\boldsymbol\beta}'\mathbf X'\mathbf y \quad(p\text{ 个自由度}),\qquad MS_E=\frac{\mathbf y'\mathbf y-\hat{\boldsymbol\beta}'\mathbf X'\mathbf y}{n-p}.

要估计 β1\boldsymbol\beta_1 的额外贡献,先按 H0H_0 拟合简化模型

y=X2β2+ϵ.(10.33)\mathbf y=\mathbf X_2\boldsymbol\beta_2+\boldsymbol\epsilon.\tag{10.33}

其最小二乘估计为 β^2=(X2′X2)−1X2′y\hat{\boldsymbol\beta}_2=(\mathbf X_2'\mathbf X_2)^{-1}\mathbf X_2'\mathbf y,回归平方和为

SSR(β2)=β^2′X2′y(p−r 个自由度).(10.34)SS_R(\boldsymbol\beta_2)=\hat{\boldsymbol\beta}_2'\mathbf X_2'\mathbf y \quad(p-r\text{ 个自由度}).\tag{10.34}

在 β2\boldsymbol\beta_2 已纳入模型后,β1\boldsymbol\beta_1 的额外回归平方和是

SSR(β1∣β2)=SSR(β)−SSR(β2),(10.35)SS_R(\boldsymbol\beta_1\mid\boldsymbol\beta_2) =SS_R(\boldsymbol\beta)-SS_R(\boldsymbol\beta_2),\tag{10.35}

占 rr 个自由度,也就是加入 x1,…,xrx_1,\ldots,x_r 后回归平方和的增加量。它与完整模型的 MSEMS_E 独立,故可用

F0=SSR(β1∣β2)/rMSE(10.36)F_0=\frac{SS_R(\boldsymbol\beta_1\mid\boldsymbol\beta_2)/r}{MS_E}\tag{10.36}

检验 H0H_0。若 F0>Fα,r,n−pF_0>F_{\alpha,r,n-p},就认为 β1\boldsymbol\beta_1 中至少有一个系数不为零,因此 X1\mathbf X_1 中至少一个变量对模型有显著贡献。式(10.36)也称偏 F 检验。

偏 F 检验可以把 xjx_j 看成最后加入模型的变量,计算

SSR(βj∣β0,β1,…,βj−1,βj+1,…,βk).SS_R(\beta_j\mid\beta_0,\beta_1,\ldots,\beta_{j-1},\beta_{j+1},\ldots,\beta_k).

这就是在其他所有变量已经纳入后,增加 xjx_j 带来的回归平方和增量。只检验一个变量时,偏 F 检验与式(10.28)的 tt 检验等价;检验一组变量时,偏 F 检验更具一般性。

例 10.6

考虑例 10.1 的黏度数据,检验进料速率 x2x_2 的贡献,即 H0:β2=0H_0:\beta_2=0 对 H1:β2≠0H_1:\beta_2\ne0。所需额外平方和为[3]

SSR(β2∣β0,β1)=SSR(β0,β1,β2)−SSR(β0,β1)=SSR(β1,β2∣β0)−SSR(β1∣β0).SS_R(\beta_2\mid\beta_0,\beta_1) =SS_R(\beta_0,\beta_1,\beta_2)-SS_R(\beta_0,\beta_1) =SS_R(\beta_1,\beta_2\mid\beta_0)-SS_R(\beta_1\mid\beta_0).

表 10.4 的完整模型给出 SSR(β1,β2∣β0)=44 157.1SS_R(\beta_1,\beta_2\mid\beta_0)=44\,157.1,占 2 个自由度。只含温度的简化模型为 y=β0+β1x1+ϵy=\beta_0+\beta_1x_1+\epsilon,其最小二乘拟合式为

y^=1652.3955+7.6397x1,\hat y=1652.3955+7.6397x_1,

并有 SSR(β1∣β0)=40 840.8SS_R(\beta_1\mid\beta_0)=40\,840.8,占 1 个自由度。该数值也列在表 10.4 的 Minitab 输出“Seq SS”(序贯平方和)项下。因此

SSR(β2∣β0,β1)=44 157.1−40 840.8=3316.3,SS_R(\beta_2\mid\beta_0,\beta_1) =44\,157.1-40\,840.8=3316.3,

占 2−1=12-1=1 个自由度。将完整模型的 MSE=267.604MS_E=267.604 用于分母,得到

F0=3316.3/1267.604=12.3926.F_0=\frac{3316.3/1}{267.604}=12.3926.

因为 F0.05,1,13=4.67F_{0.05,1,13}=4.67,拒绝 H0:β2=0H_0:\beta_2=0,认为进料速率对模型有显著贡献。这也与 tt 检验等价:表 10.4 给出的 t0=3.5203t_0=3.5203,其平方 (3.5203)2=12.3925(3.5203)^2=12.3925,约等于上述 F0F_0。

Footnotes
  1. 译者注:第 9 版原书式(10.31)的备择假设印为 β2≠0\boldsymbol\beta_2\ne\mathbf0;所检验的是第一组参数,应为 β1≠0\boldsymbol\beta_1\ne\mathbf0。

  2. 译者注:原文完整模型的 MSEMS_E 公式漏排了 β^\hat{\boldsymbol\beta} 的转置符号;译文据矩阵维度补正。

  3. 译者注:原文例 10.6 的额外平方和第二种写法,末项误排为 SSR(β2∣β0)SS_R(\beta_2\mid\beta_0);按完整模型减去仅含温度的简化模型,应为 SSR(β1∣β0)SS_R(\beta_1\mid\beta_0)。