10.4.1 回归显著性检验
# 10.4 多元回归中的假设检验
在多元线性回归中,对模型参数进行假设检验有助于评价模型的用途。本节介绍几种重要的检验。它们都要求误差 ϵi 相互独立,且服从均值为 0、方差为 σ2 的正态分布,简记为 ϵi∼NID(0,σ2)。因此,观测值 yi 也相互独立,且服从均值为 β0+∑j=1kβjxij、方差为 σ2 的正态分布。
10.4.1 回归显著性检验¶
回归显著性检验用于判断响应 y 是否与回归变量 x1,x2,…,xk 中至少一个具有线性关系。检验假设为
H0:β1=β2=⋯=βk=0,H1:至少有一个 βj=0.(10.20) 拒绝 H0 表示至少一个回归变量对模型有显著贡献。检验基于方差分析,把总平方和 SST 分成模型(回归)平方和 SSR 与残差(误差)平方和 SSE:
SST=SSR+SSE.(10.21) 若 H0 成立,则 SSR/σ2∼χk2;同时 SSE/σ2∼χn−k−12,且 SSR 与 SSE 独立。由此计算
F0=SSE/(n−k−1)SSR/k=MSEMSR.(10.22) 若 F0>Fα,k,n−k−1,或其 P 值小于 α,就拒绝 H0。检验通常汇总成表 10.6 那样的方差分析表。
表 10.6 多元回归的回归显著性方差分析
| 变异来源 | 平方和 | 自由度 | 均方 | $F_0$ |
| 回归 | $SS_R$ | k | $MS_R$ | $MS_R/MS_E$ |
| 误差或残差 | $SS_E$ | n-k-1 | $MS_E$ | |
| 总计 | $SS_T$ | n-1 | | |
下面给出平方和的计算式。式(10.16)已经得到
SSE=y′y−β^′X′y. 又因为
SST=i=1∑nyi2−n(∑i=1nyi)2=y′y−n(∑i=1nyi)2, 所以 SSE=SST−SSR,从而
SSR=β^′X′y−n(∑i=1nyi)2,(10.23) SSE=y′y−β^′X′y,(10.24) SST=y′y−n(∑i=1nyi)2.(10.25) 这些计算几乎总是由回归软件完成。例如,表 10.4 给出了例 10.1 黏度回归模型的部分 Minitab 输出;上半部分是模型的方差分析。此例的回归显著性检验为 H0:β1=β2=0,对立假设是至少一个系数不为零。表中的 F 统计量 P 值很小,所以可以认为温度 x1 与进料速率 x2 中至少有一个变量的回归系数不为零。
表 10.4 还给出多重决定系数
R2=SSTSSR=1−SSTSSE.(10.26) 与试验设计中的用法一样,R2 衡量纳入 x1,…,xk 后,响应 y 的变异减少了多少。不过,较大的 R2 并不必然意味着模型良好。不论新增变量是否显著,加入它都会使 R2 不下降;因此,R2 较大的模型仍可能无法很好地预测新观测值或估计平均响应。
由于增加模型项会使 R2 不下降,有些建模者更愿意使用调整后的决定系数:
Radj2=1−SST/(n−1)SSE/(n−p)=1−(n−pn−1)(1−R2).(10.27) 增加变量并不总会提高 Radj2;加入不必要的项时,它常会下降。以黏度模型为例,表 10.4 的调整后决定系数为
Radj2=1−1315(1−0.92697)=0.915735. 它与通常的 R2 很接近。如果两者相差很大,模型可能包含不显著的项。
10.4.2 单个回归系数及系数组的检验¶
经常需要检验单个回归系数,以判断相应变量在模型中的作用。例如,加入新变量或删去已有变量,可能改善模型。加入变量必使回归平方和不下降、误差平方和不增加,但新增的回归平方和是否足以支持保留该变量,需要检验。不重要的变量甚至可能使误差均方增大,从而降低模型的实用性。
检验单个系数 βj 的假设为 H0:βj=0 对 H1:βj=0。若不能拒绝 H0,说明数据没有提供足够证据证明 xj 在当前模型中有贡献,可考虑删去它。统计量为
t0=σ^2Cjjβ^j,(10.28) 其中 Cjj 是 (X′X)−1 中与 β^j 对应的对角元素。若 ∣t0∣>tα/2,n−k−1,则拒绝 H0。这是一个偏检验,因为 βj 的含义依赖于模型中其他回归变量的存在。
分母称为 β^j 的标准误:
se(β^j)=σ^2Cjj.(10.29) 因此,也可写作
t0=se(β^j)β^j.(10.30) 大多数回归软件会为每个参数提供 t 检验。例 10.1 的 Minitab 输出(表 10.4)列出了各参数的最小二乘估计、标准误、t 统计量及 P 值。由此可认为温度与进料速率均对模型有显著贡献。
要直接考察某变量 xj 在其他变量已经纳入模型之后对回归平方和的贡献,可以使用一般回归显著性检验,也称额外平方和方法。它还能检验一组变量的贡献。设含 k 个回归变量的模型为
y=Xβ+ϵ, 其中 y、ϵ 为 n×1 向量,X 为 n×p 矩阵,β 为 p×1 向量,p=k+1。欲检验 x1,…,xr(r<k)是否对模型有显著贡献,将参数分块为 β=[β1′,β2′]′,其中两块分别有 r 和 p−r 个参数。检验[1]
H0:β1=0,H1:β1=0.(10.31) 相应模型写为
y=X1β1+X2β2+ϵ.(10.32) X1、X2 分别是与两块参数对应的设计矩阵列。对包含所有变量的完整模型,最小二乘估计为 β^=(X′X)−1X′y。若将截距也算入回归平方和,则[2]
SSR(β)=β^′X′y(p 个自由度),MSE=n−py′y−β^′X′y. 要估计 β1 的额外贡献,先按 H0 拟合简化模型
y=X2β2+ϵ.(10.33) 其最小二乘估计为 β^2=(X2′X2)−1X2′y,回归平方和为
SSR(β2)=β^2′X2′y(p−r 个自由度).(10.34) 在 β2 已纳入模型后,β1 的额外回归平方和是
SSR(β1∣β2)=SSR(β)−SSR(β2),(10.35) 占 r 个自由度,也就是加入 x1,…,xr 后回归平方和的增加量。它与完整模型的 MSE 独立,故可用
F0=MSESSR(β1∣β2)/r(10.36) 检验 H0。若 F0>Fα,r,n−p,就认为 β1 中至少有一个系数不为零,因此 X1 中至少一个变量对模型有显著贡献。式(10.36)也称偏 F 检验。
偏 F 检验可以把 xj 看成最后加入模型的变量,计算
SSR(βj∣β0,β1,…,βj−1,βj+1,…,βk). 这就是在其他所有变量已经纳入后,增加 xj 带来的回归平方和增量。只检验一个变量时,偏 F 检验与式(10.28)的 t 检验等价;检验一组变量时,偏 F 检验更具一般性。
例 10.6¶
考虑例 10.1 的黏度数据,检验进料速率 x2 的贡献,即 H0:β2=0 对 H1:β2=0。所需额外平方和为[3]
SSR(β2∣β0,β1)=SSR(β0,β1,β2)−SSR(β0,β1)=SSR(β1,β2∣β0)−SSR(β1∣β0). 表 10.4 的完整模型给出 SSR(β1,β2∣β0)=44157.1,占 2 个自由度。只含温度的简化模型为 y=β0+β1x1+ϵ,其最小二乘拟合式为
y^=1652.3955+7.6397x1, 并有 SSR(β1∣β0)=40840.8,占 1 个自由度。该数值也列在表 10.4 的 Minitab 输出“Seq SS”(序贯平方和)项下。因此
SSR(β2∣β0,β1)=44157.1−40840.8=3316.3, 占 2−1=1 个自由度。将完整模型的 MSE=267.604 用于分母,得到
F0=267.6043316.3/1=12.3926. 因为 F0.05,1,13=4.67,拒绝 H0:β2=0,认为进料速率对模型有显著贡献。这也与 t 检验等价:表 10.4 给出的 t0=3.5203,其平方 (3.5203)2=12.3925,约等于上述 F0。