Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

10.7 回归模型诊断

如前面讨论试验设计时所强调的,检查模型是否充分拟合是数据分析的重要部分;建立回归模型时也一样。例 10.1 已展示,回归模型总应检查残差图。一般需要确认两点:(1)拟合模型能否充分近似真实系统;(2)最小二乘回归的假设是否被违反。若拟合不充分,回归模型很可能给出较差甚至误导性的结果。

除残差图外,其他诊断方法也常有帮助。本节简要介绍其中一些方法。更完整的论述见 Montgomery、Peck 和 Vining(2012)及 Myers(1990)。

10.7.1 缩放残差与 PRESS

标准化残差与学生化残差

许多建模者倾向于使用经过缩放的残差,因为它们通常比普通最小二乘残差提供更多信息。一种缩放残差是标准化残差:

di=eiσ^,i=1,2,…,n.(10.43)d_i=\frac{e_i}{\hat\sigma},\qquad i=1,2,\ldots,n.\tag{10.43}

计算中通常取 σ^=MSE\hat\sigma=\sqrt{MS_E}。标准化残差的均值为零,方差约为 1,因此有助于发现离群值。多数标准化残差应位于 [−3,3][-3,3];超出此区间的观测值,其响应可能异常。应仔细检查这些点:原因可能只是记录错误,也可能是拟合模型在该回归变量区域无法很好地近似真实响应面。

式(10.43)以残差的大致平均标准差为尺度,但同一数据集内,不同残差的标准差可能相差很大。下面的缩放方式考虑了这一点。观测向量 y\mathbf y 对应的拟合值向量为

y^=Xβ^=X(X′X)−1X′y=Hy.(10.44)\hat{\mathbf y} =\mathbf X\hat{\boldsymbol\beta} =\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf y =\mathbf H\mathbf y.\tag{10.44}

n×nn\times n 矩阵 H=X(X′X)−1X′\mathbf H=\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X' 通常称为帽子矩阵,因为它把观测值向量映射为拟合值向量。帽子矩阵及其性质在回归分析中十分重要。

残差向量为 e=y−y^\mathbf e=\mathbf y-\hat{\mathbf y},其协方差矩阵为

Cov⁡(e)=σ2(I−H).(10.45)\operatorname{Cov}(\mathbf e)=\sigma^2(\mathbf I-\mathbf H).\tag{10.45}

由于 I−H\mathbf I-\mathbf H 通常不是对角矩阵,各残差方差不同,而且彼此相关。第 ii 个残差的方差为

V(ei)=σ2(1−hii),(10.46)V(e_i)=\sigma^2(1-h_{ii}),\tag{10.46}

其中 hiih_{ii} 是 H\mathbf H 的第 ii 个对角元素。由于 0≤hii≤10\leq h_{ii}\leq1,直接用 MSEMS_E 估计残差方差会高估 V(ei)V(e_i)。此外,hiih_{ii} 反映第 ii 个点在自变量空间中的位置,因此残差方差也随位置而变。通常,靠近自变量空间中心的点,其残差方差比远离中心的点大。模型假设更可能在远处的点失效,但这些点的普通残差 eie_i 或标准化残差 did_i 通常较小,因而不易察觉。

缩放残差时宜考虑方差差异。建议绘制学生化残差:

ri=eiσ^2(1−hii),i=1,2,…,n,σ^2=MSE.(10.47)r_i=\frac{e_i}{\sqrt{\hat\sigma^2(1-h_{ii})}}, \qquad i=1,2,\ldots,n,\quad \hat\sigma^2=MS_E.\tag{10.47}

当模型形式正确时,不论 xix_i 在何处,学生化残差的方差都是 1。许多情况下,尤其在大数据集中,残差方差较稳定,标准化残差与学生化残差可能差别不大、传递的信息也相近。不过,若某点既有较大残差又有较大 hiih_{ii},它可能强烈影响最小二乘拟合,因此一般仍建议检查学生化残差。表 10.3 给出了例 10.1 黏度模型的 hiih_{ii} 和学生化残差。

PRESS 残差

预测误差平方和(prediction error sum of squares,PRESS)提供了另一种有用的残差度量。计算时,每次留出第 ii 个观测,用其余 n−1n-1 个观测重新拟合模型,再预测留出的 yiy_i。记该预测值为 y^(i)\hat y_{(i)}[1],则第 ii 个 PRESS 残差为 e(i)=yi−y^(i)e_{(i)}=y_i-\hat y_{(i)}。对所有观测重复这一过程,得到

PRESS=∑i=1ne(i)2=∑i=1n[yi−y^(i)]2.(10.48)\mathrm{PRESS} =\sum_{i=1}^ne_{(i)}^2 =\sum_{i=1}^n[y_i-\hat y_{(i)}]^2.\tag{10.48}

因此,PRESS 依次用每一种包含 n−1n-1 个观测的子集拟合模型,并用被留出的观测检验预测。乍看似乎需要拟合 nn 次回归;事实上,只用全部 nn 个观测拟合一次即可,因为

e(i)=ei1−hii.(10.49)e_{(i)}=\frac{e_i}{1-h_{ii}}.\tag{10.49}

所以

PRESS=∑i=1n(ei1−hii)2.(10.50)\mathrm{PRESS} =\sum_{i=1}^n\left(\frac{e_i}{1-h_{ii}}\right)^2.\tag{10.50}

式(10.49)表明,PRESS 残差相当于按 hiih_{ii} 对普通残差加权。hiih_{ii} 较大的点可能具有较大的 PRESS 残差[2],通常也可能是高影响点。若某点的普通残差与 PRESS 残差差别很大,说明模型虽然能拟合该点,但去掉该点后对它的预测很差。下一小节将介绍其他影响度量。

PRESS 还可用于计算近似的预测 R2R^2:

Rpred2=1−PRESSSST.(10.51)R_{\mathrm{pred}}^2=1-\frac{\mathrm{PRESS}}{SS_T}.\tag{10.51}

该统计量可粗略反映模型的预测能力。例 10.1 的黏度模型,由表 10.2 的原始数据拟合,使用未舍入的普通残差和 hiih_{ii} 计算得 PRESS≈5207.7\mathrm{PRESS}\approx5207.7,于是

Rpred2=1−5207.747 635.9=0.8907.R_{\mathrm{pred}}^2 =1-\frac{5207.7}{47\,635.9} =0.8907.

也就是说,按这一准则,模型对新观测值约能解释 89% 的变异;相比之下,最小二乘拟合对原始数据约解释 93% 的变异。其总体预测能力看来相当令人满意。

R-student 残差

学生化残差 rir_i 常用于诊断离群值。计算时使用完整样本拟合的 MSEMS_E 估计 σ2\sigma^2,属于内部缩放。另一种做法是删去第 ii 个观测,再估计 σ2\sigma^2,记为 S(i)2S_{(i)}^2。可以证明

S(i)2=(n−p)MSE−ei2/(1−hii)n−p−1.(10.52)S_{(i)}^2 =\frac{(n-p)MS_E-e_i^2/(1-h_{ii})}{n-p-1}.\tag{10.52}

用 S(i)2S_{(i)}^2 代替 MSEMS_E,得到外部学生化残差,通常称为 R-student:

ti=eiS(i)2(1−hii),i=1,2,…,n.(10.53)t_i=\frac{e_i}{\sqrt{S_{(i)}^2(1-h_{ii})}}, \qquad i=1,2,\ldots,n.\tag{10.53}

许多情况下,tit_i 与 rir_i 差别很小;但若第 ii 个观测影响较大,S(i)2S_{(i)}^2 可能明显不同于 MSEMS_E,R-student 也会更敏感。在标准假设下,tit_i 服从自由度为 n−p−1n-p-1 的 tt 分布,因此还能通过假设检验较正式地识别离群值。例 10.1 黏度模型的 R-student 值列于表 10.3,其中没有异常大的值。

10.7.2 影响诊断

有时少数观测会对拟合模型产生不成比例的影响:参数估计或预测结果更多地由这些点决定,而不是由大多数数据决定。我们需要找出这些点并评估其影响。若这些点本身有误,应予纠正或剔除;若数据没有问题,也仍需了解它们是否控制着模型的重要性质,因为这会影响模型的使用。本节介绍若干影响度量。

杠杆点

点在自变量空间中的分布对模型性质很重要。远离其他观测的点,可能对参数估计、预测值及常用汇总统计量产生不成比例的杠杆作用。

帽子矩阵 H=X(X′X)−1X′\mathbf H=\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X' 有助于识别潜在的高影响观测,因为 V(y^)=σ2HV(\hat{\mathbf y})=\sigma^2\mathbf H,V(e)=σ2(I−H)V(\mathbf e)=\sigma^2(\mathbf I-\mathbf H)。元素 hijh_{ij} 可理解为观测值 yjy_j 对拟合值 y^i\hat y_i 的杠杆作用。通常重点检查对角元素 hiih_{ii}。由于

∑i=1nhii=rank⁡(H)=rank⁡(X)=p,\sum_{i=1}^nh_{ii} =\operatorname{rank}(\mathbf H) =\operatorname{rank}(\mathbf X) =p,

对角元素的平均值为 p/np/n。一个粗略准则是:若 hii>2p/nh_{ii}>2p/n,则将第 ii 个观测视为高杠杆点。例 10.1 的黏度模型中 2p/n=2(3)/16=0.3752p/n=2(3)/16=0.375;表 10.3 中没有 hiih_{ii} 超过此值,因此这些数据没有按该准则识别出的高杠杆点。

对回归系数的影响

帽子矩阵的对角元素只根据点在自变量空间中的位置识别潜在影响。更全面的度量还应考虑响应值。Cook(1977,1979)建议比较完整数据的最小二乘估计 β^\hat{\boldsymbol\beta} 与删除第 ii 个点后的估计 β^(i)\hat{\boldsymbol\beta}_{(i)},其平方距离可写为[3]

Di=(β^(i)−β^)′X′X(β^(i)−β^)pMSE,i=1,2,…,n.(10.54)D_i= \frac{(\hat{\boldsymbol\beta}_{(i)}-\hat{\boldsymbol\beta})' \mathbf X'\mathbf X (\hat{\boldsymbol\beta}_{(i)}-\hat{\boldsymbol\beta})}{pMS_E}, \qquad i=1,2,\ldots,n.\tag{10.54}

通常把 Di>1D_i>1 作为识别高影响观测的参考准则。计算时可用

Di=ri2pV[y^(xi)]V(ei)=ri2phii1−hii,i=1,2,…,n.(10.55)D_i=\frac{r_i^2}{p} \frac{V[\hat y(\mathbf x_i)]}{V(e_i)} =\frac{r_i^2}{p}\frac{h_{ii}}{1-h_{ii}}, \qquad i=1,2,\ldots,n.\tag{10.55}

除常数 pp 外,DiD_i 是第 ii 个学生化残差的平方与 hii/(1−hii)h_{ii}/(1-h_{ii}) 的乘积。后一个比值反映 xi\mathbf x_i 与其余数据中心的距离。因此,DiD_i 同时包含模型对 yiy_i 拟合程度和该点远离其余数据的程度;其中任一方面或两方面都可能使它较大。表 10.3 中黏度模型的 DiD_i 均未超过 1,所以没有强证据表明数据包含高影响观测。

Footnotes
  1. 译者注:原文介绍 PRESS 残差时,有一处将留一预测值印为 y^i\hat y_i;按定义应为 y^(i)\hat y_{(i)}。

  2. 译者注:PRESS 残差变大并非只由 hiih_{ii} 决定,也取决于普通残差 eie_i;译文据式(10.49)写作“可能”。

  3. 译者注:原文式(10.54)左侧印为 D1D_1,但右侧及式(10.55)均针对任意第 ii 个观测;译文改为 DiD_i。