10.7 回归模型诊断
如前面讨论试验设计时所强调的,检查模型是否充分拟合是数据分析的重要部分;建立回归模型时也一样。例 10.1 已展示,回归模型总应检查残差图。一般需要确认两点:(1)拟合模型能否充分近似真实系统;(2)最小二乘回归的假设是否被违反。若拟合不充分,回归模型很可能给出较差甚至误导性的结果。
除残差图外,其他诊断方法也常有帮助。本节简要介绍其中一些方法。更完整的论述见 Montgomery、Peck 和 Vining(2012)及 Myers(1990)。
10.7.1 缩放残差与 PRESS ¶ 标准化残差与学生化残差 ¶ 许多建模者倾向于使用经过缩放的残差,因为它们通常比普通最小二乘残差提供更多信息。一种缩放残差是标准化残差 :
d i = e i σ ^ , i = 1 , 2 , … , n . (10.43) d_i=\frac{e_i}{\hat\sigma},\qquad i=1,2,\ldots,n.\tag{10.43} d i = σ ^ e i , i = 1 , 2 , … , n . ( 10.43 ) 计算中通常取 σ ^ = M S E \hat\sigma=\sqrt{MS_E} σ ^ = M S E 。标准化残差的均值为零,方差约为 1,因此有助于发现离群值。多数标准化残差应位于 [ − 3 , 3 ] [-3,3] [ − 3 , 3 ] ;超出此区间的观测值,其响应可能异常。应仔细检查这些点:原因可能只是记录错误,也可能是拟合模型在该回归变量区域无法很好地近似真实响应面。
式(10.43)以残差的大致平均标准差为尺度,但同一数据集内,不同残差的标准差可能相差很大。下面的缩放方式考虑了这一点。观测向量 y \mathbf y y 对应的拟合值向量为
y ^ = X β ^ = X ( X ′ X ) − 1 X ′ y = H y . (10.44) \hat{\mathbf y}
=\mathbf X\hat{\boldsymbol\beta}
=\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'\mathbf y
=\mathbf H\mathbf y.\tag{10.44} y ^ = X β ^ = X ( X ′ X ) − 1 X ′ y = Hy . ( 10.44 ) n × n n\times n n × n 矩阵 H = X ( X ′ X ) − 1 X ′ \mathbf H=\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X' H = X ( X ′ X ) − 1 X ′ 通常称为帽子矩阵 ,因为它把观测值向量映射为拟合值向量。帽子矩阵及其性质在回归分析中十分重要。
残差向量为 e = y − y ^ \mathbf e=\mathbf y-\hat{\mathbf y} e = y − y ^ ,其协方差矩阵为
Cov ( e ) = σ 2 ( I − H ) . (10.45) \operatorname{Cov}(\mathbf e)=\sigma^2(\mathbf I-\mathbf H).\tag{10.45} Cov ( e ) = σ 2 ( I − H ) . ( 10.45 ) 由于 I − H \mathbf I-\mathbf H I − H 通常不是对角矩阵,各残差方差不同,而且彼此相关。第 i i i 个残差的方差为
V ( e i ) = σ 2 ( 1 − h i i ) , (10.46) V(e_i)=\sigma^2(1-h_{ii}),\tag{10.46} V ( e i ) = σ 2 ( 1 − h ii ) , ( 10.46 ) 其中 h i i h_{ii} h ii 是 H \mathbf H H 的第 i i i 个对角元素。由于 0 ≤ h i i ≤ 1 0\leq h_{ii}\leq1 0 ≤ h ii ≤ 1 ,直接用 M S E MS_E M S E 估计残差方差会高估 V ( e i ) V(e_i) V ( e i ) 。此外,h i i h_{ii} h ii 反映第 i i i 个点在自变量空间中的位置,因此残差方差也随位置而变。通常,靠近自变量空间中心的点,其残差方差比远离中心的点大。模型假设更可能在远处的点失效,但这些点的普通残差 e i e_i e i 或标准化残差 d i d_i d i 通常较小,因而不易察觉。
缩放残差时宜考虑方差差异。建议绘制学生化残差 :
r i = e i σ ^ 2 ( 1 − h i i ) , i = 1 , 2 , … , n , σ ^ 2 = M S E . (10.47) r_i=\frac{e_i}{\sqrt{\hat\sigma^2(1-h_{ii})}},
\qquad i=1,2,\ldots,n,\quad \hat\sigma^2=MS_E.\tag{10.47} r i = σ ^ 2 ( 1 − h ii ) e i , i = 1 , 2 , … , n , σ ^ 2 = M S E . ( 10.47 ) 当模型形式正确时,不论 x i x_i x i 在何处,学生化残差的方差都是 1。许多情况下,尤其在大数据集中,残差方差较稳定,标准化残差与学生化残差可能差别不大、传递的信息也相近。不过,若某点既有较大残差又有较大 h i i h_{ii} h ii ,它可能强烈影响最小二乘拟合,因此一般仍建议检查学生化残差。表 10.3 给出了例 10.1 黏度模型的 h i i h_{ii} h ii 和学生化残差。
PRESS 残差 ¶ 预测误差平方和 (prediction error sum of squares,PRESS)提供了另一种有用的残差度量。计算时,每次留出第 i i i 个观测,用其余 n − 1 n-1 n − 1 个观测重新拟合模型,再预测留出的 y i y_i y i 。记该预测值为 y ^ ( i ) \hat y_{(i)} y ^ ( i ) [1] ,则第 i i i 个 PRESS 残差 为 e ( i ) = y i − y ^ ( i ) e_{(i)}=y_i-\hat y_{(i)} e ( i ) = y i − y ^ ( i ) 。对所有观测重复这一过程,得到
P R E S S = ∑ i = 1 n e ( i ) 2 = ∑ i = 1 n [ y i − y ^ ( i ) ] 2 . (10.48) \mathrm{PRESS}
=\sum_{i=1}^ne_{(i)}^2
=\sum_{i=1}^n[y_i-\hat y_{(i)}]^2.\tag{10.48} PRESS = i = 1 ∑ n e ( i ) 2 = i = 1 ∑ n [ y i − y ^ ( i ) ] 2 . ( 10.48 ) 因此,PRESS 依次用每一种包含 n − 1 n-1 n − 1 个观测的子集拟合模型,并用被留出的观测检验预测。乍看似乎需要拟合 n n n 次回归;事实上,只用全部 n n n 个观测拟合一次即可,因为
e ( i ) = e i 1 − h i i . (10.49) e_{(i)}=\frac{e_i}{1-h_{ii}}.\tag{10.49} e ( i ) = 1 − h ii e i . ( 10.49 ) 所以
P R E S S = ∑ i = 1 n ( e i 1 − h i i ) 2 . (10.50) \mathrm{PRESS}
=\sum_{i=1}^n\left(\frac{e_i}{1-h_{ii}}\right)^2.\tag{10.50} PRESS = i = 1 ∑ n ( 1 − h ii e i ) 2 . ( 10.50 ) 式(10.49)表明,PRESS 残差相当于按 h i i h_{ii} h ii 对普通残差加权。h i i h_{ii} h ii 较大的点可能具有较大的 PRESS 残差[2] ,通常也可能是高影响点。若某点的普通残差与 PRESS 残差差别很大,说明模型虽然能拟合该点,但去掉该点后对它的预测很差。下一小节将介绍其他影响度量。
PRESS 还可用于计算近似的预测 R 2 R^2 R 2 :
R p r e d 2 = 1 − P R E S S S S T . (10.51) R_{\mathrm{pred}}^2=1-\frac{\mathrm{PRESS}}{SS_T}.\tag{10.51} R pred 2 = 1 − S S T PRESS . ( 10.51 ) 该统计量可粗略反映模型的预测能力。例 10.1 的黏度模型,由表 10.2 的原始数据拟合,使用未舍入的普通残差和 h i i h_{ii} h ii 计算得 P R E S S ≈ 5207.7 \mathrm{PRESS}\approx5207.7 PRESS ≈ 5207.7 ,于是
R p r e d 2 = 1 − 5207.7 47 635.9 = 0.8907. R_{\mathrm{pred}}^2
=1-\frac{5207.7}{47\,635.9}
=0.8907. R pred 2 = 1 − 47 635.9 5207.7 = 0.8907. 也就是说,按这一准则,模型对新观测值约能解释 89% 的变异;相比之下,最小二乘拟合对原始数据约解释 93% 的变异。其总体预测能力看来相当令人满意。
R-student 残差 ¶ 学生化残差 r i r_i r i 常用于诊断离群值。计算时使用完整样本拟合的 M S E MS_E M S E 估计 σ 2 \sigma^2 σ 2 ,属于内部缩放 。另一种做法是删去第 i i i 个观测,再估计 σ 2 \sigma^2 σ 2 ,记为 S ( i ) 2 S_{(i)}^2 S ( i ) 2 。可以证明
S ( i ) 2 = ( n − p ) M S E − e i 2 / ( 1 − h i i ) n − p − 1 . (10.52) S_{(i)}^2
=\frac{(n-p)MS_E-e_i^2/(1-h_{ii})}{n-p-1}.\tag{10.52} S ( i ) 2 = n − p − 1 ( n − p ) M S E − e i 2 / ( 1 − h ii ) . ( 10.52 ) 用 S ( i ) 2 S_{(i)}^2 S ( i ) 2 代替 M S E MS_E M S E ,得到外部学生化残差 ,通常称为 R-student:
t i = e i S ( i ) 2 ( 1 − h i i ) , i = 1 , 2 , … , n . (10.53) t_i=\frac{e_i}{\sqrt{S_{(i)}^2(1-h_{ii})}},
\qquad i=1,2,\ldots,n.\tag{10.53} t i = S ( i ) 2 ( 1 − h ii ) e i , i = 1 , 2 , … , n . ( 10.53 ) 许多情况下,t i t_i t i 与 r i r_i r i 差别很小;但若第 i i i 个观测影响较大,S ( i ) 2 S_{(i)}^2 S ( i ) 2 可能明显不同于 M S E MS_E M S E ,R-student 也会更敏感。在标准假设下,t i t_i t i 服从自由度为 n − p − 1 n-p-1 n − p − 1 的 t t t 分布,因此还能通过假设检验较正式地识别离群值。例 10.1 黏度模型的 R-student 值列于表 10.3,其中没有异常大的值。
10.7.2 影响诊断 ¶ 有时少数观测会对拟合模型产生不成比例的影响:参数估计或预测结果更多地由这些点决定,而不是由大多数数据决定。我们需要找出这些点并评估其影响。若这些点本身有误,应予纠正或剔除;若数据没有问题,也仍需了解它们是否控制着模型的重要性质,因为这会影响模型的使用。本节介绍若干影响度量。
杠杆点 ¶ 点在自变量空间中的分布对模型性质很重要。远离其他观测的点,可能对参数估计、预测值及常用汇总统计量产生不成比例的杠杆作用 。
帽子矩阵 H = X ( X ′ X ) − 1 X ′ \mathbf H=\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X' H = X ( X ′ X ) − 1 X ′ 有助于识别潜在的高影响观测,因为 V ( y ^ ) = σ 2 H V(\hat{\mathbf y})=\sigma^2\mathbf H V ( y ^ ) = σ 2 H ,V ( e ) = σ 2 ( I − H ) V(\mathbf e)=\sigma^2(\mathbf I-\mathbf H) V ( e ) = σ 2 ( I − H ) 。元素 h i j h_{ij} h ij 可理解为观测值 y j y_j y j 对拟合值 y ^ i \hat y_i y ^ i 的杠杆作用。通常重点检查对角元素 h i i h_{ii} h ii 。由于
∑ i = 1 n h i i = rank ( H ) = rank ( X ) = p , \sum_{i=1}^nh_{ii}
=\operatorname{rank}(\mathbf H)
=\operatorname{rank}(\mathbf X)
=p, i = 1 ∑ n h ii = rank ( H ) = rank ( X ) = p , 对角元素的平均值为 p / n p/n p / n 。一个粗略准则是:若 h i i > 2 p / n h_{ii}>2p/n h ii > 2 p / n ,则将第 i i i 个观测视为高杠杆点。例 10.1 的黏度模型中 2 p / n = 2 ( 3 ) / 16 = 0.375 2p/n=2(3)/16=0.375 2 p / n = 2 ( 3 ) /16 = 0.375 ;表 10.3 中没有 h i i h_{ii} h ii 超过此值,因此这些数据没有按该准则识别出的高杠杆点。
对回归系数的影响 ¶ 帽子矩阵的对角元素只根据点在自变量空间中的位置识别潜在影响。更全面的度量还应考虑响应值。Cook(1977,1979)建议比较完整数据的最小二乘估计 β ^ \hat{\boldsymbol\beta} β ^ 与删除第 i i i 个点后的估计 β ^ ( i ) \hat{\boldsymbol\beta}_{(i)} β ^ ( i ) ,其平方距离可写为[3]
D i = ( β ^ ( i ) − β ^ ) ′ X ′ X ( β ^ ( i ) − β ^ ) p M S E , i = 1 , 2 , … , n . (10.54) D_i=
\frac{(\hat{\boldsymbol\beta}_{(i)}-\hat{\boldsymbol\beta})'
\mathbf X'\mathbf X
(\hat{\boldsymbol\beta}_{(i)}-\hat{\boldsymbol\beta})}{pMS_E},
\qquad i=1,2,\ldots,n.\tag{10.54} D i = pM S E ( β ^ ( i ) − β ^ ) ′ X ′ X ( β ^ ( i ) − β ^ ) , i = 1 , 2 , … , n . ( 10.54 ) 通常把 D i > 1 D_i>1 D i > 1 作为识别高影响观测的参考准则。计算时可用
D i = r i 2 p V [ y ^ ( x i ) ] V ( e i ) = r i 2 p h i i 1 − h i i , i = 1 , 2 , … , n . (10.55) D_i=\frac{r_i^2}{p}
\frac{V[\hat y(\mathbf x_i)]}{V(e_i)}
=\frac{r_i^2}{p}\frac{h_{ii}}{1-h_{ii}},
\qquad i=1,2,\ldots,n.\tag{10.55} D i = p r i 2 V ( e i ) V [ y ^ ( x i )] = p r i 2 1 − h ii h ii , i = 1 , 2 , … , n . ( 10.55 ) 除常数 p p p 外,D i D_i D i 是第 i i i 个学生化残差的平方与 h i i / ( 1 − h i i ) h_{ii}/(1-h_{ii}) h ii / ( 1 − h ii ) 的乘积。后一个比值反映 x i \mathbf x_i x i 与其余数据中心的距离。因此,D i D_i D i 同时包含模型对 y i y_i y i 拟合程度和该点远离其余数据的程度;其中任一方面或两方面都可能使它较大。表 10.3 中黏度模型的 D i D_i D i 均未超过 1,所以没有强证据表明数据包含高影响观测。