3.10 方差分析的回归方法 - 试验设计与分析中文翻译

我们对方差分析给出的是直观（启发式）的推导。不过，也可以给出更形式化的推导。这一方法在以后理解更复杂设计的统计分析基础时会很有用。它称为一般回归显著性检验（general regression significance test），其程序实质上是求出包含全部参数拟合模型时总平方和的缩减量，以及在把模型限制到原假设下时平方和的缩减量；这两个平方和之差就是处理平方和，可以用它来检验原假设。该程序需要方差分析模型中参数的最小二乘估计量。这些参数估计我们前面已经给出（3.3.3 节），不过现在给出形式化的推导。

3.10.1 模型参数的最小二乘估计¶

下面我们用最小二乘法推导单因子方差分析固定效应模型

y_{ij} = \mu+\tau_{i}+\epsilon_{ij}

中参数的估计量。为求出 $\mu$ 和 $\tau_{i}$ 的最小二乘估计量，我们先构造误差平方和

L = \sum_{i=1}^{a}\sum_{j=1}^{n}\epsilon_{ij}^{2} = \sum_{i=1}^{a}\sum_{j=1}^{n}(y_{ij}-\mu-\tau_{i})^{2} \tag{3.59}

然后选择使 $L$ 最小的 $\mu$ 和 $\tau_{i}$ 的取值，记为 $\hat{\mu}$ 和 $\hat{\tau}_{i}$ 。适当的取值应是下列 $a+1$ 个联立方程的解：

\begin{array}{l} \left.\frac{\partial L}{\partial \mu}\right|_{\hat{\mu},\hat{\tau}_{i}} = 0 \\ \left.\frac{\partial L}{\partial \tau_{i}}\right|_{\hat{\mu},\hat{\tau}_{i}} = 0 \quad i = 1, 2, \ldots, a \end{array}

对式 3.59 关于 $\mu$ 和 $\tau_{i}$ 求导并令其为零，得到

-2\sum_{i=1}^{a}\sum_{j=1}^{n}(y_{ij}-\hat{\mu}-\hat{\tau}_{i}) = 0

和

-2\sum_{j=1}^{n}(y_{ij}+\hat{\mu}-\hat{\tau}_{i}) = 0 \quad i = 1, 2, \ldots, a

化简后得到

\begin{array}{ccccc} N\hat{\mu} & +n\hat{\tau}_{1} & +n\hat{\tau}_{2} & +\cdots+ & n\hat{\tau}_{a} = y_{..} \\ n\hat{\mu} & +n\hat{\tau}_{1} & & & = y_{1.} \\ n\hat{\mu} & & +n\hat{\tau}_{2} & & = y_{2.} \\ \vdots & & & & \vdots \\ n\hat{\mu} & & & +n\hat{\tau}_{a} &= y_{a.} \end{array} \tag{3.60}

含 $a+1$ 个未知量的这 $a+1$ 个方程（式 3.60）称为最小二乘正规方程（least squares normal equations）。注意若把后 $a$ 个正规方程相加，就得到第一个正规方程。因此这些正规方程不是线性无关的， $\mu, \tau_{1}, \ldots, \tau_{a}$ 不存在唯一解。出现这种情况是因为效应模型是过度参数化的。这一困难可以用几种方法克服。由于我们把处理效应定义为对总均值的偏离，施加约束

\sum_{i=1}^{a}\hat{\tau}_{i} = 0 \tag{3.61}

看来是合理的。利用这一约束，我们得到正规方程的解为

\begin{array}{l} \hat{\mu} = \overline{y}_{..} \\ \hat{\tau}_{i} = \overline{y}_{i.}-\overline{y}_{..} \quad i = 1, 2, \ldots, a \end{array} \tag{3.62}

这一解显然不唯一，它依赖于我们所选的约束（式 3.61）。乍看这似乎令人遗憾，因为两位不同的试验者若施加不同的约束，可能会对同一数据得出不同结果。然而，模型参数的某些函数是唯一可估计的，与约束无关。例如 $\tau_{i}-\tau_{j}$ ，它由 $\hat{\tau}_{i}-\hat{\tau}_{j} = \overline{y}_{i.}-\overline{y}_{j.}$ 估计；又如第 $i$ 个处理均值 $\mu_{i} = \mu+\tau_{i}$ ，它由 $\hat{\mu}_{i} = \hat{\mu}+\hat{\tau}_{i} = \overline{y}_{i.}$ 估计。

由于我们通常关注处理效应之间的差异而不是它们的实际取值， $\tau_{i}$ 不能唯一估计这一点并不构成问题。一般地，模型参数中凡是能表示为正规方程（式 3.60）左端线性组合的函数，都可以唯一估计。无论采用哪种约束都可唯一估计的函数称为可估函数（estimable function）。更多信息参见本章补充材料。现在我们可以把这些参数估计用于方差分析的一般性推导了。

3.10.2 一般回归显著性检验¶

这一程序的一个基本部分是写出模型的正规方程。这些方程总可以通过构造最小二乘函数并对每个未知参数求导得到，正如我们在 3.9.1 节所作的那样。不过还有一种更简便的方法。下面的规则可以直接写出任何试验设计模型的正规方程：

规则 1. 模型中每个待估计参数对应一个正规方程。

规则 2. 任一正规方程的右端就是所有包含该正规方程所对应参数的观测值之和。

为说明这一规则，考虑单因子模型。第一个正规方程对应参数 $\mu$ ，因此右端为 $y_{..}$ ，因为所有观测值都含 $\mu$ 。

规则 3. 任一正规方程的左端是所有模型参数之和，其中每个参数乘以它在右端合计中出现的次数。参数上方加符号（ $\hat{}$ ）表示它们是估计量而非参数真值。

例如，考虑单因子试验的第一个正规方程。按照上述规则，它应是

N\hat{\mu}+n\hat{\tau}_{1}+n\hat{\tau}_{2}+\cdots+n\hat{\tau}_{a} = y_{..}

因为 $\mu$ 出现在全部 $N$ 个观测值中， $\tau_{1}$ 只出现在第一个处理下的 $n$ 个观测值中， $\tau_{2}$ 只出现在第二个处理下的 $n$ 个观测值中，依此类推。由式 3.60，我们验证了上述方程是正确的。第二个正规方程对应 $\tau_{1}$ ，为

n\hat{\mu}+n\hat{\tau}_{1} = y_{1.}

因为只有第一个处理中的观测值含 $\tau_{1}$ （这给出右端 $y_{1.}$ ）， $\mu$ 和 $\tau_{1}$ 在 $y_{1.}$ 中各出现恰好 $n$ 次，而所有其他 $\tau_{i}$ 出现零次。一般地，任一正规方程的左端就是其右端的期望值。

现在考虑求出对数据拟合某一模型所得的平方和缩减量。通过对数据拟合一个模型，我们“解释”了一部分变异；也就是说，我们把未解释的变异减少了某个量。未解释变异的缩减量总是各参数估计量与其对应正规方程右端乘积之和。例如在单因子试验中，拟合完整模型 $y_{ij} = \mu+\tau_{i}+\epsilon_{ij}$ 所带来的缩减量为

\begin{aligned} R(\mu,\tau) &= \hat{\mu}y_{..}+\hat{\tau}_{1}y_{1.}+\hat{\tau}_{2}y_{2.}+\cdots+\hat{\tau}_{a}y_{a.} \\ &= \hat{\mu}y_{..}+\sum_{i=1}^{a}\hat{\tau}_{i}y_{i.} \end{aligned} \tag{3.63}

记号 $R(\mu,\tau)$ 表示拟合含 $\mu$ 和 $\{\tau_{i}\}$ 的模型所得到的平方和缩减量。 $R(\mu,\tau)$ 有时也称为完整模型 $y_{ij} = \mu+\tau_{i}+\epsilon_{ij}$ 的“回归”平方和。与平方和缩减量（如 $R(\mu,\tau)$ ）相关联的自由度个数总等于线性无关正规方程的个数。模型未能解释的剩余变异由下式求出：

SS_{E} = \sum_{i=1}^{a}\sum_{j=1}^{n} y_{ij}^{2}-R(\mu,\tau) \tag{3.64}

这一量用于 $H_{0}:\tau_{1}=\tau_{2}=\cdots=\tau_{a}=0$ 的检验统计量分母。

下面我们用一个单因子试验说明一般回归显著性检验，并表明它给出通常的一元方差分析。模型为 $y_{ij} = \mu+\tau_{i}+\epsilon_{ij}$ ，按上述规则求得正规方程为

\begin{array}{ccccc} N\hat{\mu} & +n\hat{\tau}_{1} & +n\hat{\tau}_{2} & +\cdots+ & n\hat{\tau}_{a} = y_{..} \\ n\hat{\mu} & +n\hat{\tau}_{1} & & & = y_{1.} \\ n\hat{\mu} & & +n\hat{\tau}_{2} & & = y_{2.} \\ \vdots & & & & \vdots \\ n\hat{\mu} & & & +n\hat{\tau}_{a} &= y_{a.} \end{array}

把这些正规方程与式 3.60 中得到的相比较。

施加约束 $\sum_{i=1}^{a}\hat{\tau}_{i} = 0$ ，求得 $\mu$ 和 $\tau_{i}$ 的估计量为

\hat{\mu} = \overline{y}_{..} \quad \hat{\tau}_{i} = \overline{y}_{i.}-\overline{y}_{..} \quad i = 1, 2, \ldots, a

拟合这一完整模型所得的平方和缩减量由式 3.63 求得为

\begin{aligned} R(\mu,\tau) &= \hat{\mu}y_{..}+\sum_{i=1}^{a}\hat{\tau}_{i}y_{i.} \\ &= (\overline{y}_{..})y_{..}+\sum_{i=1}^{a}(\overline{y}_{i.}-\overline{y}_{..})y_{i.} \\ &= \frac{y_{..}^{2}}{N}+\sum_{i=1}^{a}\overline{y}_{i.}y_{i.}-\overline{y}_{..}\sum_{i=1}^{a} y_{i.} \\ &= \sum_{i=1}^{a}\frac{y_{i.}^{2}}{n} \end{aligned}

它有 $a$ 个自由度，因为有 $a$ 个线性无关的正规方程。误差平方和由式 3.64 得

\begin{aligned} SS_{E} &= \sum_{i=1}^{a}\sum_{j=1}^{n} y_{ij}^{2}-R(\mu,\tau) \\ &= \sum_{i=1}^{a}\sum_{j=1}^{n} y_{ij}^{2}-\sum_{i=1}^{a}\frac{y_{i.}^{2}}{n} \end{aligned}

它有 $N-a$ 个自由度。

为求出由处理效应（ $\{\tau_{i}\}$ ）产生的平方和，我们考虑一个简化模型，即把模型限制到原假设（对所有 $i$ 有 $\tau_{i}=0$ ）下。简化模型为 $y_{ij}=\mu+\epsilon_{ij}$ 。这一模型只有一个正规方程：

N\hat{\mu} = y_{..}

$\mu$ 的估计量为 $\hat{\mu} = \overline{y}_{..}$ 。因此，拟合只含 $\mu$ 的简化模型所得的平方和缩减量为

R(\mu) = (\overline{y}_{..})(y_{..}) = \frac{y_{..}^{2}}{N}

由于这一简化模型只有一个正规方程， $R(\mu)$ 只有一个自由度。在 $\mu$ 已在模型中的条件下，由 $\{\tau_{i}\}$ 产生的平方和是 $R(\mu,\tau)$ 与 $R(\mu)$ 之差，即

\begin{aligned} R(\tau|\mu) &= R(\mu,\tau)-R(\mu) \\ &= R(\text{完整模型})-R(\text{简化模型}) \\ &= \frac{1}{n}\sum_{i=1}^{a} y_{i.}^{2}-\frac{y_{..}^{2}}{N} \end{aligned}

有 $a-1$ 个自由度，我们由式 3.9 认出它就是 $SS_{\text{处理}}$ 。作通常的正态性假定，我们得到检验 $H_{0}:\tau_{1}=\tau_{2}=\cdots=\tau_{a}=0$ 的适当统计量

F_{0} = \frac{R(\tau|\mu)/(a-1)}{\left[\sum_{i=1}^{a}\sum_{j=1}^{n} y_{ij}^{2}-R(\mu,\tau)\right]/(N-a)}

它在原假设下服从 $F_{a-1,N-a}$ 分布。这当然就是单因子方差分析的检验统计量。