10.8 失拟检验
6.8 节指出,在 2 k 2^k 2 k 因子设计中加入中心点,就能估计纯试验误差。这使残差平方和 S S E SS_E S S E 可分解为两部分:
S S E = S S P E + S S L O F , SS_E=SS_{PE}+SS_{LOF}, S S E = S S PE + S S L OF , 其中,S S P E SS_{PE} S S PE 为纯误差平方和,S S L O F SS_{LOF} S S L OF 为失拟平方和。
下面在回归模型中一般性地推导这一分解。设在回归变量的第 i i i 个不同取值点 x i \mathbf x_i x i (i = 1 , 2 , … , m i=1,2,\ldots,m i = 1 , 2 , … , m )有 n i n_i n i 个响应观测值。记 y i j y_{ij} y ij 为该点的第 j j j 个响应观测值(j = 1 , 2 , … , n i j=1,2,\ldots,n_i j = 1 , 2 , … , n i ),则总观测数为 n = ∑ i = 1 m n i n=\sum_{i=1}^{m}n_i n = ∑ i = 1 m n i 。第 ( i , j ) (i,j) ( i , j ) 个残差可写成
y i j − y ^ i = ( y i j − y ˉ i ) + ( y ˉ i − y ^ i ) , (10.56) y_{ij}-\hat y_i=(y_{ij}-\bar y_i)+(\bar y_i-\hat y_i),\tag{10.56} y ij − y ^ i = ( y ij − y ˉ i ) + ( y ˉ i − y ^ i ) , ( 10.56 ) 其中 y ˉ i \bar y_i y ˉ i 是在 x i \mathbf x_i x i 处 n i n_i n i 个观测值的平均数。将式(10.56)两边平方,并对 i i i 和 j j j 求和,得到
∑ i = 1 m ∑ j = 1 n i ( y i j − y ^ i ) 2 = ∑ i = 1 m ∑ j = 1 n i ( y i j − y ˉ i ) 2 + ∑ i = 1 m n i ( y ˉ i − y ^ i ) 2 . (10.57) \sum_{i=1}^{m}\sum_{j=1}^{n_i}(y_{ij}-\hat y_i)^2
=\sum_{i=1}^{m}\sum_{j=1}^{n_i}(y_{ij}-\bar y_i)^2
+\sum_{i=1}^{m}n_i(\bar y_i-\hat y_i)^2.\tag{10.57} i = 1 ∑ m j = 1 ∑ n i ( y ij − y ^ i ) 2 = i = 1 ∑ m j = 1 ∑ n i ( y ij − y ˉ i ) 2 + i = 1 ∑ m n i ( y ˉ i − y ^ i ) 2 . ( 10.57 ) 式(10.57)左边是通常的残差平方和,右边两项分别度量纯误差和失拟。纯误差平方和为
S S P E = ∑ i = 1 m ∑ j = 1 n i ( y i j − y ˉ i ) 2 . (10.58) SS_{PE}=\sum_{i=1}^{m}\sum_{j=1}^{n_i}(y_{ij}-\bar y_i)^2.\tag{10.58} S S PE = i = 1 ∑ m j = 1 ∑ n i ( y ij − y ˉ i ) 2 . ( 10.58 ) 计算时,先求每个不同 x i \mathbf x_i x i 点处重复观测值的修正平方和,再将 m m m 个点的结果合并。如果方差恒定的假设成立,由于 S S P E SS_{PE} S S PE 只利用同一点处响应值之间的波动,它就是不依赖于拟合模型的纯误差度量。在第 i i i 个点,纯误差有 n i − 1 n_i-1 n i − 1 个自由度,因此总自由度为
∑ i = 1 m ( n i − 1 ) = n − m . (10.59) \sum_{i=1}^{m}(n_i-1)=n-m.\tag{10.59} i = 1 ∑ m ( n i − 1 ) = n − m . ( 10.59 ) 失拟平方和为
S S L O F = ∑ i = 1 m n i ( y ˉ i − y ^ i ) 2 . (10.60) SS_{LOF}=\sum_{i=1}^{m}n_i(\bar y_i-\hat y_i)^2.\tag{10.60} S S L OF = i = 1 ∑ m n i ( y ˉ i − y ^ i ) 2 . ( 10.60 ) 它是各点样本平均响应 y ˉ i \bar y_i y ˉ i 与相应拟合值 y ^ i \hat y_i y ^ i 之间偏差平方的加权和。如果拟合值都接近相应的样本平均值,说明回归函数采用的线性模型形式有较强的支持;若两者偏差很大,则该模型形式很可能不适用。S S L O F SS_{LOF} S S L OF 的自由度为 m − p m-p m − p :共有 m m m 个不同的 x \mathbf x x 取值点,而估计模型的 p p p 个参数要消耗 p p p 个自由度。计算中通常用 S S E − S S P E SS_E-SS_{PE} S S E − S S PE 得到 S S L O F SS_{LOF} S S L OF 。
失拟检验的统计量为
F 0 = S S L O F / ( m − p ) S S P E / ( n − m ) = M S L O F M S P E . (10.61) F_0=\frac{SS_{LOF}/(m-p)}{SS_{PE}/(n-m)}=\frac{MS_{LOF}}{MS_{PE}}.\tag{10.61} F 0 = S S PE / ( n − m ) S S L OF / ( m − p ) = M S PE M S L OF . ( 10.61 ) M S P E MS_{PE} M S PE 的期望为 σ 2 \sigma^2 σ 2 ;M S L O F MS_{LOF} M S L OF 的期望为[1]
E ( M S L O F ) = σ 2 + ∑ i = 1 m n i [ E ( y i ) − β 0 − ∑ j = 1 k β j x i j ] 2 m − p . (10.62) E(MS_{LOF})=\sigma^2+\frac{\sum_{i=1}^{m}n_i\left[E(y_i)-\beta_0-\sum_{j=1}^{k}\beta_jx_{ij}\right]^2}{m-p}.\tag{10.62} E ( M S L OF ) = σ 2 + m − p ∑ i = 1 m n i [ E ( y i ) − β 0 − ∑ j = 1 k β j x ij ] 2 . ( 10.62 ) 如果真实回归函数具有所拟合的线性模型形式,则 E ( y i ) = β 0 + ∑ j = 1 k β j x i j E(y_i)=\beta_0+\sum_{j=1}^{k}\beta_jx_{ij} E ( y i ) = β 0 + ∑ j = 1 k β j x ij ,式(10.62)的第二项为零,故 E ( M S L O F ) = σ 2 E(MS_{LOF})=\sigma^2 E ( M S L OF ) = σ 2 。反之,若真实函数不具有该形式,则 E ( y i ) ≠ β 0 + ∑ j = 1 k β j x i j E(y_i)\ne\beta_0+\sum_{j=1}^{k}\beta_jx_{ij} E ( y i ) = β 0 + ∑ j = 1 k β j x ij ,且 E ( M S L O F ) > σ 2 E(MS_{LOF})>\sigma^2 E ( M S L OF ) > σ 2 。在模型形式正确时,F 0 F_0 F 0 服从 F m − p , n − m F_{m-p,n-m} F m − p , n − m 分布。因此,计算 F 0 F_0 F 0 后,若 F 0 > F α , m − p , n − m F_0>F_{\alpha,m-p,n-m} F 0 > F α , m − p , n − m ,便判定存在失拟。
这一检验很容易纳入方差分析。如果判定存在失拟,就应放弃暂定模型,尝试寻找更合适的方程。若 F 0 F_0 F 0 不超过 F α , m − p , n − m F_{\alpha,m-p,n-m} F α , m − p , n − m ,则没有充分证据表明模型失拟,通常将 M S P E MS_{PE} M S PE 与 M S L O F MS_{LOF} M S L OF 合并用于估计 σ 2 \sigma^2 σ 2 。例 6.7 对该过程给出了完整示范,其中重复试验点是 24 因子设计的中心点。