Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

第 15 章补充材料

S15.1 变换的形式

正文第 3.4.3 节介绍了用变换稳定响应方差,并在方差不齐与非正态同时发生时改善正态性。第 15.1.1 节的 Box–Cox 方法给出了解析选择变换的方法。不过,许多试验者仍通过尝试第 3 章表 3.9 或软件菜单中的简单幂变换,如 y,ln⁡y,1/y\sqrt y,\ln y,1/y,作经验选择。

幂变换可从理论上解释。设响应 y 的均值为 μ\mu,方差为 σ2=f(μ)\sigma^2=f(\mu),希望寻找 x=h(y)x=h(y),使其方差为不依赖均值的常数。围绕 μ\mu 作一阶 Taylor 展开:

x=h(y)=h(μ)+h′(μ)(y−μ)+R≈h(μ)+h′(μ)(y−μ).x=h(y)=h(\mu)+h'(\mu)(y-\mu)+R\approx h(\mu)+h'(\mu)(y-\mu).

忽略余项 R 后,

E(x)≈h(μ),V(x)≈E{h′(μ)(y−μ)}2=σ2[h′(μ)]2=f(μ)[h′(μ)]2.E(x)\approx h(\mu),\qquad V(x)\approx E\{h'(\mu)(y-\mu)\}^2=\sigma^2[h'(\mu)]^2=f(\mu)[h'(\mu)]^2.

令方差为 c2c^2,便有

h′(μ)=cf(μ),h(μ)=c∫dtf(t)=cG(μ)+k,h'(\mu)=\frac c{\sqrt{f(\mu)}},\qquad h(\mu)=c\int\frac{dt}{\sqrt{f(t)}}=cG(\mu)+k,

其中 k 是积分常数。若均值等于方差,如 Poisson 分布,则 f(t)=tf(t)=t,于是

h(μ)=c∫t−1/2 dt=2cμ+k.h(\mu)=c\int t^{-1/2}\,dt=2c\sqrt\mu+k.

因此,平方根变换可近似稳定 Poisson 数据或均值与方差接近的计数数据的方差,与正文建议一致。

再设标准差约与均值成正比,即 σ2=μ2\sigma^2=\mu^2,则 f(t)=t2f(t)=t^2,有

h(μ)=c∫dtt=cln⁡μ+k,μ>0.h(\mu)=c\int\frac{dt}{t}=c\ln\mu+k,\qquad\mu>0.

因此,对这类正响应,对数变换是适当的方差稳定化变换。[1]

S15.2 在 Box–Cox 方法中选择 λ

正文第 15.1.1 节指出 Box–Cox 方法以极大似然为依据。对归一化的变换响应,略去与 λ 无关的常数后,剖面对数似然为

ℓ(λ)=−n2ln⁡SSE(λ).\ell(\lambda)=-\frac n2\ln SS_E(\lambda).

最大化它等价于最小化误差平方和。近似 100(1−α)%100(1-\alpha)\% 置信区间由满足下式的 λ 组成:

ℓ(λ^)−ℓ(λ)≤12χα,12.\ell(\hat\lambda)-\ell(\lambda)\le\frac12\chi_{\alpha,1}^2.

n 为样本量,χα,12\chi_{\alpha,1}^2 为自由度 1 的卡方分布上侧 α 分位数。在对数似然图中,于 ℓ(λ^)−χα,12/2\ell(\hat\lambda)-\chi_{\alpha,1}^2/2 画水平线,与曲线两个交点确定区间端点。若绘制误差平方和图,对应高度为

SS∗=SSE(λ^)exp⁡(χα,12/n).SS^*=SS_E(\hat\lambda)\exp(\chi_{\alpha,1}^2/n).

正文式(15.2)改用 1+tα/2,ν2/ν1+t_{\alpha/2,\nu}^2/\nu,其中 ν 为误差自由度。有的作者使用 1+zα/22/ν1+z_{\alpha/2}^2/\nu,或将分母与 t 自由度换成 n。这些近似基于 ex≈1+xe^x\approx1+x,以及 χ12\chi_1^2 与标准正态平方的关系、自由度较大时 t 与正态分布接近。n 与 ν 的选择有时会影响区间,通常差异较小。[2]

S15.3 广义线性模型

正文第 15.1.2 节讨论了正态性和恒定方差不成立时,替代响应变换的 GLM 方法;例 15.2~15.4 展示了它在设计试验中的应用。

GLM 将非正态响应和均值与线性预测子的非线性关系统一起来。响应分布属于指数族,包括正态、Poisson、二项、指数和 gamma 分布;正态理论线性模型是其特例。

先讨论 Logistic 回归,其响应只有两个可能结果,通常称为成功与失败,以 1、0 表示,名称本身是任意的。再考虑计数响应,例如例 15.3 的产品缺陷数,或一年中登陆美国的大西洋飓风数等较少发生事件的计数,最后说明 GLM 如何统一这些情形。

S15.3.1 二元响应变量模型

响应只有 0、1 两个值,可以来自定性结果。例如,半导体器件功能电测中,成功表示正常工作,失败可能由短路、断路或其他问题造成。

先尝试模型

yi=xi′β+ϵi,xi′=[1,xi1,…,xik],β′=[β0,…,βk].y_i=\boldsymbol x_i'\boldsymbol\beta+\epsilon_i, \qquad\boldsymbol x_i'=[1,x_{i1},\ldots,x_{ik}],\quad \boldsymbol\beta'=[\beta_0,\ldots,\beta_k].

xi′β\boldsymbol x_i'\boldsymbol\beta 为线性预测子。假定 yiy_i 为 Bernoulli 变量,P(yi=1)=πiP(y_i=1)=\pi_i,P(yi=0)=1−πiP(y_i=0)=1-\pi_i。若 E(ϵi)=0E(\epsilon_i)=0,则

E(yi)=1πi+0(1−πi)=πi=xi′β.E(y_i)=1\pi_i+0(1-\pi_i)=\pi_i=\boldsymbol x_i'\boldsymbol\beta.

这意味着响应函数就是成功概率,但该模型有实质问题。首先,误差只能取

ϵi={1−xi′β,yi=1,−xi′β,yi=0,\epsilon_i=\begin{cases}1-\boldsymbol x_i'\boldsymbol\beta,&y_i=1,\\-\boldsymbol x_i'\boldsymbol\beta,&y_i=0,\end{cases}

因此不可能正态。其次,方差不恒定:

V(yi)=(1−πi)2πi+πi2(1−πi)=πi(1−πi)=E(yi)[1−E(yi)].V(y_i)=(1-\pi_i)^2\pi_i+\pi_i^2(1-\pi_i)=\pi_i(1-\pi_i)=E(y_i)[1-E(y_i)].

误差方差与响应方差相同,均为均值的函数。最后,必须满足 0≤E(yi)=πi≤10\le E(y_i)=\pi_i\le1,而线性响应函数不能一般地保证这一限制。

二元响应通常采用单调的 S 形或反 S 形函数,即 Logistic 响应函数:

E(y)=π=exp⁡(x′β)1+exp⁡(x′β)=11+exp⁡(−x′β).E(y)=\pi=\frac{\exp(\boldsymbol x'\boldsymbol\beta)}{1+\exp(\boldsymbol x'\boldsymbol\beta)} =\frac1{1+\exp(-\boldsymbol x'\boldsymbol\beta)}.

令

η=ln⁡(π1−π),\eta=\ln\left(\frac\pi{1-\pi}\right),

即可把成功概率的函数表示为线性预测子。

因此 η=x′β\eta=\boldsymbol x'\boldsymbol\beta。这称为概率的 logit 变换;π/(1−π)\pi/(1-\pi) 称为优势,其对数称为对数优势。其他类似形状的函数也可采用。例如,probit 链接使用标准正态分布函数的逆函数 Φ−1(π)\Phi^{-1}(\pi);互补双对数链接为 ln⁡[−ln⁡(1−π)]\ln[-\ln(1-\pi)],对应响应函数不关于 π=0.5\pi=0.5 对称。probit 同样可以包含多个预测变量。[3]

S15.3.2 Logistic 回归模型的参数估计

模型的一般形式为 yi=E(yi)+ϵiy_i=E(y_i)+\epsilon_i,其中各观测为独立 Bernoulli 变量,

E(yi)=πi=exi′β1+exi′β.E(y_i)=\pi_i=\frac{e^{\boldsymbol x_i'\boldsymbol\beta}}{1+e^{\boldsymbol x_i'\boldsymbol\beta}}.

用极大似然估计线性预测子的参数。各观测的概率函数、似然及对数似然为

fi(yi)=πiyi(1−πi)1−yi,yi=0,1,L(β)=∏i=1nfi(yi),ℓ(β)=∑iyiln⁡πi1−πi+∑iln⁡(1−πi)=∑iyixi′β−∑iln⁡[1+exi′β].\begin{aligned} f_i(y_i)&=\pi_i^{y_i}(1-\pi_i)^{1-y_i},\qquad y_i=0,1,\\ L(\boldsymbol\beta)&=\prod_{i=1}^nf_i(y_i),\\ \ell(\boldsymbol\beta)&=\sum_i y_i\ln\frac{\pi_i}{1-\pi_i}+\sum_i\ln(1-\pi_i)\\ &=\sum_i y_i\boldsymbol x_i'\boldsymbol\beta-\sum_i\ln[1+e^{\boldsymbol x_i'\boldsymbol\beta}]. \end{aligned}

设计试验中,各 x 水平下常有重复试验。令 yiy_i 为第 i 组成功数,nin_i 为该组试验数,则忽略与参数无关的二项系数后,

ℓ(β)=∑i[yiln⁡πi+(ni−yi)ln⁡(1−πi)]=∑i[yixi′β−niln⁡(1+exi′β)].\ell(\boldsymbol\beta)=\sum_i[y_i\ln\pi_i+(n_i-y_i)\ln(1-\pi_i)] =\sum_i[y_i\boldsymbol x_i'\boldsymbol\beta-n_i\ln(1+e^{\boldsymbol x_i'\boldsymbol\beta})].

可用数值搜索求极大似然估计,也可使用迭代重加权最小二乘(IRLS)。极大似然估计满足得分方程 ∂ℓ/∂β=0\partial\ell/\partial\boldsymbol\beta=0。由于

∂ℓ∂πi=yiπi−ni−yi1−πi,∂πi∂β=πi(1−πi)xi,\frac{\partial\ell}{\partial\pi_i}=\frac{y_i}{\pi_i}-\frac{n_i-y_i}{1-\pi_i},\qquad \frac{\partial\pi_i}{\partial\boldsymbol\beta}=\pi_i(1-\pi_i)\boldsymbol x_i,

由链式法则得到

∂ℓ∂β=∑i(yi−niπi)xi=X′(y−μ)=0,μ′=[n1π1,…,nnπn].\frac{\partial\ell}{\partial\boldsymbol\beta}=\sum_i(y_i-n_i\pi_i)\boldsymbol x_i=\boldsymbol X'(\boldsymbol y-\boldsymbol\mu)=0, \quad\boldsymbol\mu'=[n_1\pi_1,\ldots,n_n\pi_n].

它与普通最小二乘的正规方程形式相似:线性回归中 μ=Xβ\boldsymbol\mu=\boldsymbol X\boldsymbol\beta,X′Xβ^=X′y\boldsymbol X'\boldsymbol X\hat{\boldsymbol\beta}=\boldsymbol X'\boldsymbol y,也可写成 X′(y−μ)=0\boldsymbol X'(\boldsymbol y-\boldsymbol\mu)=0。

Newton–Raphson 方法用局部一阶 Taylor 展开求解。令 pi=yi/nip_i=y_i/n_i,ηi=xi′β\eta_i=\boldsymbol x_i'\boldsymbol\beta,在当前值附近近似为

pi−πi≈∂πi∂ηi(ηi∗−ηi),∂ηi∂β=xi,∂πi∂ηi=πi(1−πi).p_i-\pi_i\approx\frac{\partial\pi_i}{\partial\eta_i}(\eta_i^*-\eta_i), \qquad\frac{\partial\eta_i}{\partial\boldsymbol\beta}=\boldsymbol x_i, \qquad\frac{\partial\pi_i}{\partial\eta_i}=\pi_i(1-\pi_i).

于是

yi−niπi=ni(pi−πi)≈niπi(1−πi)(ηi∗−ηi).y_i-n_i\pi_i=n_i(p_i-\pi_i)\approx n_i\pi_i(1-\pi_i)(\eta_i^*-\eta_i).

由比例响应的方差及一阶近似,工作响应在 η 尺度的方差为 1/[niπi(1−πi)]1/[n_i\pi_i(1-\pi_i)]。将其组成对角矩阵 V\boldsymbol V,则线性化得分方程为

X′V−1(η∗−Xβ)=0,\boldsymbol X'\boldsymbol V^{-1}(\boldsymbol\eta^*-\boldsymbol X\boldsymbol\beta)=0,

形式上的解为 (X′V−1X)−1X′V−1η∗(\boldsymbol X'\boldsymbol V^{-1}\boldsymbol X)^{-1}\boldsymbol X'\boldsymbol V^{-1}\boldsymbol\eta^*。但 η∗\boldsymbol\eta^* 未知,故用线性化工作响应

zi=ηi+(pi−πi)∂ηi∂πi=ηi+pi−πiπi(1−πi)z_i=\eta_i+(p_i-\pi_i)\frac{\partial\eta_i}{\partial\pi_i} =\eta_i+\frac{p_i-\pi_i}{\pi_i(1-\pi_i)}

替代。它的随机部分方差为

πi(1−πi)ni[1πi(1−πi)]2=1niπi(1−πi).\frac{\pi_i(1-\pi_i)}{n_i}\left[\frac1{\pi_i(1-\pi_i)}\right]^2 =\frac1{n_i\pi_i(1-\pi_i)}.

因此更新公式为

β^new=(X′V−1X)−1X′V−1z.\hat{\boldsymbol\beta}_{\mathrm{new}}=(\boldsymbol X'\boldsymbol V^{-1}\boldsymbol X)^{-1}\boldsymbol X'\boldsymbol V^{-1}\boldsymbol z.

IRLS 的步骤为:

  1. 取得初始估计 β^0\hat{\boldsymbol\beta}_0,原材料建议用普通最小二乘初始化。

  2. 根据当前估计求 π\boldsymbol\pi 和 V\boldsymbol V。

  3. 求 η=Xβ^\boldsymbol\eta=\boldsymbol X\hat{\boldsymbol\beta}。

  4. 根据当前 η、π 构造工作响应 z。

  5. 加权最小二乘更新 β,重复直至满足收敛条件。

在模型正确且通常正则条件成立时,最终估计渐近满足

E(β^)≈β,V(β^)≈(X′V−1X)−1.E(\hat{\boldsymbol\beta})\approx\boldsymbol\beta,\qquad V(\hat{\boldsymbol\beta})\approx(\boldsymbol X'\boldsymbol V^{-1}\boldsymbol X)^{-1}.

拟合概率为

π^i=exi′β^1+exi′β^=11+e−xi′β^.\hat\pi_i=\frac{e^{\boldsymbol x_i'\hat{\boldsymbol\beta}}}{1+e^{\boldsymbol x_i'\hat{\boldsymbol\beta}}} =\frac1{1+e^{-\boldsymbol x_i'\hat{\boldsymbol\beta}}}.

S15.3.3 Logistic 回归模型的参数解释

先考虑一个预测变量:η^(xi)=β^0+β^1xi\hat\eta(x_i)=\hat\beta_0+\hat\beta_1x_i。在 xi+1x_i+1 处,η^(xi+1)=β^0+β^1(xi+1)\hat\eta(x_i+1)=\hat\beta_0+\hat\beta_1(x_i+1),两者之差为 β^1\hat\beta_1,即

ln⁡odds⁡xi+1odds⁡xi=β^1,OR^=odds⁡xi+1odds⁡xi=eβ^1.\ln\frac{\operatorname{odds}_{x_i+1}}{\operatorname{odds}_{x_i}}=\hat\beta_1, \qquad\widehat{OR}=\frac{\operatorname{odds}_{x_i+1}}{\operatorname{odds}_{x_i}}=e^{\hat\beta_1}.

它表示预测变量增加一个单位时成功优势的乘法变化,不是成功概率增加的倍数。变化 d 个单位时,优势比为 edβ^1e^{d\hat\beta_1}。多元 Logistic 回归中的解释相同:其他变量固定且不涉及随之变化的交互作用项时,eβ^je^{\hat\beta_j} 是 xjx_j 增加一个单位的优势比。[4]

S15.3.4 模型参数的假设检验

GLM 检验常基于似然比,是依赖渐近理论的大样本方法,产生称为离差的统计量。

模型离差。 比较拟合模型与饱和模型的对数似然。饱和模型有足够参数完全拟合各观测组。对未分组二元数据,令 π^i=yi\hat\pi_i=y_i 可使饱和似然达到 1,对数似然为零。拟合模型参数较少,其对数似然不能超过饱和模型。定义

D(β)=2[ℓ(饱和模型)−ℓ(β^)].D(\boldsymbol\beta)=2[\ell(\text{饱和模型})-\ell(\hat{\boldsymbol\beta})].

在适当的大样本条件下,如分组二项数据的各组有足够信息,离差近似服从自由度 n−p 的卡方分布。大离差表明模型不适合,小离差表明拟合接近饱和模型;超过 χα,n−p2\chi_{\alpha,n-p}^2 时判为不适合。对每组只有一个 Bernoulli 观测的数据,不能仅凭总样本量大就直接采用这一拟合优度近似。[5] 正态线性回归的离差是残差平方和除以 σ2\sigma^2。

参数子集检验。 将线性预测子分为

η=Xβ=X1β1+X2β2,\boldsymbol\eta=\boldsymbol X\boldsymbol\beta=\boldsymbol X_1\boldsymbol\beta_1+\boldsymbol X_2\boldsymbol\beta_2,

完整模型有 p 个参数,β2\boldsymbol\beta_2 有 r 个。检验 H0:β2=0H_0:\boldsymbol\beta_2=0 时,简化模型为 η=X1β1\boldsymbol\eta=\boldsymbol X_1\boldsymbol\beta_1。简化模型离差不小于完整模型;若增加不多,不能拒绝原假设,若增量大,则至少一个被删参数可能非零。部分离差为

D(β2∣β1)=D(β1)−D(β)=2[ℓ(β^)−ℓ(β^1)].D(\boldsymbol\beta_2\mid\boldsymbol\beta_1)=D(\boldsymbol\beta_1)-D(\boldsymbol\beta) =2[\ell(\hat{\boldsymbol\beta})-\ell(\hat{\boldsymbol\beta}_1)].

自由度差为 n−(p−r)−(n−p)=rn-(p-r)-(n-p)=r。在原假设及正则条件下,大样本近似为 χr2\chi_r^2;达到或超过 χα,r2\chi_{\alpha,r}^2 时拒绝原假设。它就是似然比统计量

−2ln⁡L(β^1)L(β^),-2\ln\frac{L(\hat{\boldsymbol\beta}_1)}{L(\hat{\boldsymbol\beta})},

因为相减时饱和模型对数似然抵消。

单个系数检验。 检验 H0:βj=0H_0:\beta_j=0、H1:βj≠0H_1:\beta_j\ne0,可用上述离差差,也可采用 Wald 推断。极大似然估计在大样本下近似正态且偏差较小,其协方差可由对数似然二阶偏导求得。令 Hessian 矩阵

Gij=∂2ℓ(β)∂βi∂βj,i,j=0,…,k.G_{ij}=\frac{\partial^2\ell(\boldsymbol\beta)}{\partial\beta_i\partial\beta_j},\qquad i,j=0,\ldots,k.

在估计处计算,有

Σ^=V(β^)≈−G(β^)−1.\hat{\boldsymbol\Sigma}=V(\hat{\boldsymbol\beta})\approx-\boldsymbol G(\hat{\boldsymbol\beta})^{-1}.

对角元素平方根为标准误,统计量为

Z0=β^jse⁡(β^j).Z_0=\frac{\hat\beta_j}{\operatorname{se}(\hat\beta_j)}.

参考分布为标准正态。有些软件将其平方,与自由度 1 的卡方分布比较。也可构造 β^j±zα/2se⁡(β^j)\hat\beta_j\pm z_{\alpha/2}\operatorname{se}(\hat\beta_j) 的 Wald 置信区间。

S15.3.5 Poisson 回归

另一种非正态响应是较少发生事件的计数,如产品缺陷、软件错误或环境粒子数。希望建立计数与预测变量的关系,例如产品缺陷数与生产条件的关系。响应取 0,1,…0,1,\ldots,常采用 Poisson 概率模型

f(y)=e−μμyy!,y=0,1,…,μ>0,f(y)=\frac{e^{-\mu}\mu^y}{y!},\qquad y=0,1,\ldots,\quad\mu>0,

其均值与方差均为 μ。Poisson 回归写为 yi=E(yi)+ϵiy_i=E(y_i)+\epsilon_i。

设 E(yi)=μiE(y_i)=\mu_i,链接函数满足

g(μi)=β0+β1xi1+⋯+βkxik=xi′β,μi=g−1(xi′β).g(\mu_i)=\beta_0+\beta_1x_{i1}+\cdots+\beta_kx_{ik}=\boldsymbol x_i'\boldsymbol\beta, \qquad\mu_i=g^{-1}(\boldsymbol x_i'\boldsymbol\beta).

常用的恒等链接为 g(μi)=μig(\mu_i)=\mu_i,此时均值就是线性预测子。对数链接为 g(μi)=ln⁡μig(\mu_i)=\ln\mu_i,此时 μi=exp⁡(xi′β)\mu_i=\exp(\boldsymbol x_i'\boldsymbol\beta),它保证预测均值为正,特别适用于 Poisson 回归。

独立观测的似然和对数似然为

L(β)=∏ie−μiμiyiyi!=∏iμiyiexp⁡(−∑iμi)∏iyi!,L(\boldsymbol\beta)=\prod_i\frac{e^{-\mu_i}\mu_i^{y_i}}{y_i!} =\frac{\prod_i\mu_i^{y_i}\exp(-\sum_i\mu_i)}{\prod_iy_i!},
ℓ(β)=∑iyiln⁡μi−∑iμi−∑iln⁡(yi!).\ell(\boldsymbol\beta)=\sum_i y_i\ln\mu_i-\sum_i\mu_i-\sum_i\ln(y_i!).

指定链接后,可像 Logistic 回归那样用 IRLS 求极大似然估计。拟合值为 y^i=g−1(xi′β^)\hat y_i=g^{-1}(\boldsymbol x_i'\hat{\boldsymbol\beta});恒等链接给出 xi′β^\boldsymbol x_i'\hat{\boldsymbol\beta},对数链接给出其指数。推断方法也类似:离差用于总体拟合评价,离差差用于参数子集的似然比检验,Wald 方法用于单个参数的检验与置信区间。

S15.3.6 广义线性模型

前述模型都属于 GLM 家族,将通常的正态线性回归与 Logistic、Poisson 等模型统一起来。关键假定是响应分布属于指数族,包括正态、二项、Poisson、逆高斯、指数和 gamma 分布。其一般形式为

f(yi;θi,ϕ)=exp⁡{yiθi−b(θi)a(ϕ)+h(yi,ϕ)}.f(y_i;\theta_i,\phi)=\exp\left\{\frac{y_i\theta_i-b(\theta_i)}{a(\phi)}+h(y_i,\phi)\right\}.

φ 是尺度参数,θi\theta_i 是自然参数。指数族满足

μi=E(yi)=b′(θi),V(yi)=b′′(θi)a(ϕ)=dμidθia(ϕ).\mu_i=E(y_i)=b'(\theta_i),\qquad V(y_i)=b''(\theta_i)a(\phi)=\frac{d\mu_i}{d\theta_i}a(\phi).

令方差函数 v(μi)=V(yi)/a(ϕ)=dμi/dθiv(\mu_i)=V(y_i)/a(\phi)=d\mu_i/d\theta_i,则 dθi/dμi=1/v(μi)d\theta_i/d\mu_i=1/v(\mu_i)。

正态分布。 将密度重写为

f(y)=12πσ2exp⁡[−(y−μ)22σ2]=exp⁡[yμ−μ2/2σ2−y22σ2−12ln⁡(2πσ2)].\begin{aligned} f(y)&=\frac1{\sqrt{2\pi\sigma^2}}\exp\left[-\frac{(y-\mu)^2}{2\sigma^2}\right]\\ &=\exp\left[\frac{y\mu-\mu^2/2}{\sigma^2}-\frac{y^2}{2\sigma^2}-\frac12\ln(2\pi\sigma^2)\right]. \end{aligned}

因此 θ=μ\theta=\mu、b(θ)=θ2/2b(\theta)=\theta^2/2、a(ϕ)=σ2a(\phi)=\sigma^2、h(y,ϕ)=−y2/(2σ2)−ln⁡(2πσ2)/2h(y,\phi)=-y^2/(2\sigma^2)-\ln(2\pi\sigma^2)/2,由导数得到 E(y)=μE(y)=\mu、V(y)=σ2V(y)=\sigma^2。

二项分布。 对 y∼Bin⁡(m,π)y\sim\operatorname{Bin}(m,\pi),

f(y)=(my)πy(1−π)m−y=exp⁡[yln⁡π1−π+mln⁡(1−π)+ln⁡(my)].\begin{aligned} f(y)&=\binom my\pi^y(1-\pi)^{m-y}\\ &=\exp\left[y\ln\frac\pi{1-\pi}+m\ln(1-\pi)+\ln\binom my\right]. \end{aligned}

于是 θ=ln⁡[π/(1−π)]\theta=\ln[\pi/(1-\pi)]、π=eθ/(1+eθ)\pi=e^\theta/(1+e^\theta)、b(θ)=mln⁡(1+eθ)=−mln⁡(1−π)b(\theta)=m\ln(1+e^\theta)=-m\ln(1-\pi)、a(ϕ)=1a(\phi)=1、h(y,ϕ)=ln⁡(my)h(y,\phi)=\ln\binom my。利用 dπ/dθ=π(1−π)d\pi/d\theta=\pi(1-\pi),得 E(y)=mπE(y)=m\pi 和 V(y)=mπ(1−π)V(y)=m\pi(1-\pi)。

Poisson 分布。

f(y)=λye−λy!=exp⁡[yln⁡λ−λ−ln⁡(y!)].f(y)=\frac{\lambda^ye^{-\lambda}}{y!}=\exp[y\ln\lambda-\lambda-\ln(y!)].

所以 θ=ln⁡λ\theta=\ln\lambda、b(θ)=eθ=λb(\theta)=e^\theta=\lambda、a(ϕ)=1a(\phi)=1、h(y,ϕ)=−ln⁡(y!)h(y,\phi)=-\ln(y!)。因 dλ/dθ=λd\lambda/d\theta=\lambda,均值与方差均为 λ。

S15.3.7 链接函数与线性预测子

GLM 为平均响应的适当函数建立线性模型:

ηi=g[E(yi)]=g(μi)=xi′β,E(yi)=g−1(ηi).\eta_i=g[E(y_i)]=g(\mu_i)=\boldsymbol x_i'\boldsymbol\beta, \qquad E(y_i)=g^{-1}(\eta_i).

若选择 ηi=θi\eta_i=\theta_i,称为典则链接。常见链接见表 S15.1。

表 S15.1 广义线性模型的典则链接

分布链接
正态ηi=μi\eta_i=\mu_i,恒等链接
二项ηi=ln⁡[πi/(1−πi)]\eta_i=\ln[\pi_i/(1-\pi_i)],logit 链接
Poissonηi=ln⁡μi\eta_i=\ln\mu_i,对数链接
指数ηi=−1/μi\eta_i=-1/\mu_i,负倒数链接
gammaηi=−1/μi\eta_i=-1/\mu_i,负倒数链接(采用相应尺度参数化)

原材料的倒数链接写为正号。常用软件也可能采用 1/μ1/\mu 的符号约定;但若严格要求此处自然参数等于 η,应使用与密度参数化一致的负号。[6]

其他选择包括 probit 链接 ηi=Φ−1[E(yi)]\eta_i=\Phi^{-1}[E(y_i)](用于概率响应)、互补双对数链接 ηi=ln⁡{−ln⁡[1−E(yi)]}\eta_i=\ln\{-\ln[1-E(y_i)]\},以及幂链接

ηi={[E(yi)]λ,λ≠0,ln⁡[E(yi)],λ=0.\eta_i=\begin{cases}[E(y_i)]^\lambda,&\lambda\ne0,\\\ln[E(y_i)],&\lambda=0.\end{cases}

GLM 有两个基本组成部分:响应分布与链接函数。选择链接类似于选择变换,但链接作用于均值,并利用响应的自然分布,而不是直接变换观测值。不合适的链接也会造成明显拟合问题。

S15.3.8 广义线性模型的参数估计

理论依据是极大似然,实际通常通过 IRLS 实现。先考虑典则链接,对数似然为

ℓ(β)=∑i[yiθi−b(θi)a(ϕ)+h(yi,ϕ)].\ell(\boldsymbol\beta)=\sum_i\left[\frac{y_i\theta_i-b(\theta_i)}{a(\phi)}+h(y_i,\phi)\right].

因 θi=ηi=xi′β\theta_i=\eta_i=\boldsymbol x_i'\boldsymbol\beta,

∂ℓ∂β=1a(ϕ)∑i[yi−b′(θi)]xi=1a(ϕ)X′(y−μ).\frac{\partial\ell}{\partial\boldsymbol\beta} =\frac1{a(\phi)}\sum_i[y_i-b'(\theta_i)]\boldsymbol x_i =\frac1{a(\phi)}\boldsymbol X'(\boldsymbol y-\boldsymbol\mu).

这给出 p=k+1 个得分方程 X′(y−μ)=0\boldsymbol X'(\boldsymbol y-\boldsymbol\mu)=0,其中 μ 有 n 个元素。Logistic 情形中的元素为 niπin_i\pi_i。

一阶 Taylor 近似为

yi−μi≈dμidηi(ηi∗−ηi)=v(μi)(ηi∗−ηi).y_i-\mu_i\approx\frac{d\mu_i}{d\eta_i}(\eta_i^*-\eta_i) =v(\mu_i)(\eta_i^*-\eta_i).

线性化工作响应的方差近似为

(dηidμi)2V(yi)=a(ϕ)v(μi).\left(\frac{d\eta_i}{d\mu_i}\right)^2V(y_i) =\frac{a(\phi)}{v(\mu_i)}.

令 V 的对角元素为 1/v(μi)1/v(\mu_i)(暂不含共同尺度 a(ϕ)a(\phi)),则 y−μ≈V−1(η∗−η)\boldsymbol y-\boldsymbol\mu\approx\boldsymbol V^{-1}(\boldsymbol\eta^*-\boldsymbol\eta),得分方程变成

X′V−1(η∗−Xβ)=0.\boldsymbol X'\boldsymbol V^{-1}(\boldsymbol\eta^*-\boldsymbol X\boldsymbol\beta)=0.

未知 η* 用工作响应替代:

zi=η^i+(yi−μ^i)dηidμi,β^new=(X′V−1X)−1X′V−1z.z_i=\hat\eta_i+(y_i-\hat\mu_i)\frac{d\eta_i}{d\mu_i},\qquad \hat{\boldsymbol\beta}_{\mathrm{new}}=(\boldsymbol X'\boldsymbol V^{-1}\boldsymbol X)^{-1}\boldsymbol X'\boldsymbol V^{-1}\boldsymbol z.

例如,对二项比例,dηi/dπi=1/[πi(1−πi)]d\eta_i/d\pi_i=1/[\pi_i(1-\pi_i)],V(pi)=πi(1−πi)/niV(p_i)=\pi_i(1-\pi_i)/n_i,因此工作响应方差为 1/[niπi(1−πi)]1/[n_i\pi_i(1-\pi_i)],与前面结果相同。

迭代步骤仍是初始化 β、估计 V 和 μ、计算 η、构造 z、更新 β,直至收敛。大样本下,

E(β^)≈β,V(β^)≈a(ϕ)(X′V−1X)−1.E(\hat{\boldsymbol\beta})\approx\boldsymbol\beta,\qquad V(\hat{\boldsymbol\beta})\approx a(\phi)(\boldsymbol X'\boldsymbol V^{-1}\boldsymbol X)^{-1}.

若不用典则链接,按链式法则求导:

∂ℓ∂β=∑iyi−μia(ϕ)v(μi)dμidηixi,\frac{\partial\ell}{\partial\boldsymbol\beta} =\sum_i\frac{y_i-\mu_i}{a(\phi)v(\mu_i)}\frac{d\mu_i}{d\eta_i}\boldsymbol x_i,

其中用了 ∂ℓ/∂θi=(yi−μi)/a(ϕ)\partial\ell/\partial\theta_i=(y_i-\mu_i)/a(\phi)、dθi/dμi=1/v(μi)d\theta_i/d\mu_i=1/v(\mu_i)、∂ηi/∂β=xi\partial\eta_i/\partial\boldsymbol\beta=\boldsymbol x_i。仍使用相同的工作响应,但 V 的对角元素一般为

Vii=v(μi)(dηidμi)2.V_{ii}=v(\mu_i)\left(\frac{d\eta_i}{d\mu_i}\right)^2.

线性化得分方程和加权最小二乘更新形式不变。非典则链接的一般 IRLS 对应 Fisher 得分迭代,不能一般地与使用观测 Hessian 的 Newton–Raphson 完全等同。[7]

关于 GLM,有以下几点:

  1. 通常的变换分析在变换尺度使用普通最小二乘。

  2. GLM 明确承认响应方差不恒定,以加权最小二乘作为参数估计的计算基础。

  3. 若变换后仍有方差不齐,合适的 GLM 可能优于标准变换分析。

  4. Logistic 回归中的离差、似然比及 Wald 推断也适用于一般 GLM,但应满足相应近似条件。

S15.3.9 广义线性模型的预测与估计

在关注点 x0\boldsymbol x_0,平均响应估计为

y^0=μ^0=g−1(x0′β^).\hat y_0=\hat\mu_0=g^{-1}(\boldsymbol x_0'\hat{\boldsymbol\beta}).

若模型含交互作用等项,x0\boldsymbol x_0 应展开为相应模型向量。线性预测子的估计方差为 x0′Σ^x0\boldsymbol x_0'\hat{\boldsymbol\Sigma}\boldsymbol x_0,其中 Σ̂ 为参数协方差估计。先构造 η 尺度区间

ηL=x0′β^−zα/2x0′Σ^x0,ηU=x0′β^+zα/2x0′Σ^x0.\eta_L=\boldsymbol x_0'\hat{\boldsymbol\beta}-z_{\alpha/2}\sqrt{\boldsymbol x_0'\hat{\boldsymbol\Sigma}\boldsymbol x_0},\qquad \eta_U=\boldsymbol x_0'\hat{\boldsymbol\beta}+z_{\alpha/2}\sqrt{\boldsymbol x_0'\hat{\boldsymbol\Sigma}\boldsymbol x_0}.

再用逆链接变回响应尺度。逆链接递增时,L=g−1(ηL)L=g^{-1}(\eta_L)、U=g−1(ηU)U=g^{-1}(\eta_U);递减时交换两端,始终以较小者为下限。原材料直接给出的端点顺序只适用于递增逆链接。

SAS PROC GENMOD 用这一方式报告平均响应区间。极大似然估计具有不变性,其函数仍是相应函数的极大似然估计。也可直接用响应尺度上的 Wald 近似,详见 Myers 和 Montgomery(1997)。

S15.3.10 广义线性模型的残差分析

残差分析用于评价模型、检查假定及链接是否适当。原始残差为 ei=yi−y^i=yi−μ^ie_i=y_i-\hat y_i=y_i-\hat\mu_i。通常推荐离差残差:

rDi=sign⁡(yi−μ^i)di,r_{Di}=\operatorname{sign}(y_i-\hat\mu_i)\sqrt{d_i},

其中 did_i 是第 i 个观测对总离差的贡献。二项 Logistic 模型中,

di=2[yiln⁡yiniπ^i+(ni−yi)ln⁡1−yi/ni1−π^i],π^i=11+e−xi′β^.d_i=2\left[y_i\ln\frac{y_i}{n_i\hat\pi_i}+(n_i-y_i)\ln\frac{1-y_i/n_i}{1-\hat\pi_i}\right], \qquad\hat\pi_i=\frac1{1+e^{-\boldsymbol x_i'\hat{\boldsymbol\beta}}}.

Poisson 对数链接模型中,

di=2[yiln⁡yiμ^i−(yi−μ^i)],μ^i=exi′β^.d_i=2\left[y_i\ln\frac{y_i}{\hat\mu_i}-(y_i-\hat\mu_i)\right], \qquad\hat\mu_i=e^{\boldsymbol x_i'\hat{\boldsymbol\beta}}.

规定 0ln⁡0=00\ln0=0。拟合值接近观测时,离差残差接近零。原补充材料的两条贡献公式缺少与离差定义一致的因子 2,已补全。[8]

可绘制离差残差的概率图及残差对拟合值图。离差残差不一定正态,尤其是稀疏或二元数据,图形应结合响应分布判断。为使拟合值处于恒定信息尺度,原材料建议:正态用 y^i\hat y_i;二项用 2arcsin⁡π^i2\arcsin\sqrt{\hat\pi_i};Poisson 用 2y^i2\sqrt{\hat y_i};gamma 用 2ln⁡y^i2\ln\hat y_i。

S15.4 析因设计中的不平衡数据

正文讨论了几种近似分析法,但也有精确方法,通常利用方差分析与回归的关系。可回顾第 3、5 章及其补充材料。

用例 5.1 的电池寿命试验的修改数据说明。A 为三种材料,B 为三种温度,响应为寿命。表 S15.2 从原数据删除了材料 1 在三个温度下各自最小的观测,又从另外两个单元各随机删除一个观测。

S15.4.1 回归模型方法

将方差分析模型写成回归模型,采用一般回归显著性检验或额外平方和法。当各单元至少有一个观测时,这一方法较容易应用。

表 S15.2 例 5.1 的修改数据

材料15°C70°C125°C
1130,155,18040,80,7570,82,58
2150,188,159,126136,122,106,11525,70,45
3138,110,168,160120,150,13996,104,82,60

以指示变量编码:材料 1、2、3 分别为 (x1,x2)=(0,0),(1,0),(0,1)(x_1,x_2)=(0,0),(1,0),(0,1);温度 15、70、125 分别为 (x3,x4)=(0,0),(1,0),(0,1)(x_3,x_4)=(0,0),(1,0),(0,1)。回归模型为

yijk=β0+β1x1+β2x2+β3x3+β4x4+β5x1x3+β6x1x4+β7x2x3+β8x2x4+ϵijk.\begin{aligned} y_{ijk}={}&\beta_0+\beta_1x_1+\beta_2x_2+\beta_3x_3+\beta_4x_4\\ &+\beta_5x_1x_3+\beta_6x_1x_4+\beta_7x_2x_3+\beta_8x_2x_4+\epsilon_{ijk}. \end{aligned}

i,j=1,2,3i,j=1,2,3,k=1,…,nijk=1,\ldots,n_{ij}。五个单元 (1,1),(1,2),(1,3),(2,3),(3,2)(1,1),(1,2),(1,3),(2,3),(3,2) 有三次观测,其余有四次,共 31 次。材料和温度主效应各有两个系数、两个自由度,交互作用有四个系数、四个自由度。令 x5=x1x3,x6=x1x4,x7=x2x3,x8=x2x4x_5=x_1x_3,x_6=x_1x_4,x_7=x_2x_3,x_8=x_2x_4,表 S15.3 给出回归形式的数据。

表 S15.3 回归模型形式的数据

yx1x2x3x4x5x6x7x8
13000000000
15010000000
13610101000
2510010100
13801000000
9601010001
15500000000
4000100000
7000010000
18810000000
12210101000
7010010100
11001000000
12001100010
10401010001
8000100000
8200010000
15910000000
10610101000
5800010000
16801000000
15001100010
8201010001
18000000000
7500100000
12610000000
11510101000
4510010100
16001000000
13901100010
6001010001

将含全部八个预测项的模型称为完整模型。其 Minitab 拟合方程为

y^=155+0.75x1−11x2−90x3−85x4+54x5−24.08x6+82.33x7+26.50x8.\hat y=155+0.75x_1-11x_2-90x_3-85x_4+54x_5-24.08x_6+82.33x_7+26.50x_8.
参数系数标准误tP 值
截距155.0012.0312.88<0.001
X10.7515.920.050.963
X2-11.0015.92-0.690.497
X3-90.0017.01-5.29<0.001
X4-85.0017.01-5.00<0.001
X554.0022.512.400.025
X6-24.0823.30-1.030.313
X782.3323.303.530.002
X826.5022.511.180.252

残差标准差 S=20.84,R2=83.1%R^2=83.1\%,调整 R2=76.9%R^2=76.9\%。

来源自由度平方和均方FP 值
回归846814.05851.813.48<0.001
残差误差229553.8434.3
总计3056367.9

先检验交互作用:H0:β5=β6=β7=β8=0H_0:\beta_5=\beta_6=\beta_7=\beta_8=0,备择为至少一个不为零。简化模型只含截距及 x1,x2,x3,x4x_1,x_2,x_3,x_4。拟合为

y^=138.02+12.53x1+23.92x2−41.91x3−82.14x4.\hat y=138.02+12.53x_1+23.92x_2-41.91x_3-82.14x_4.
参数系数标准误tP 值
截距138.0211.0212.53<0.001
X112.5311.891.050.302
X223.9211.892.010.055
X3-41.9111.56-3.620.001
X4-82.1411.56-7.10<0.001

S=26.43,R2=67.8%R^2=67.8\%,调整 R2=62.8%R^2=62.8\%。

来源自由度平方和均方FP 值
回归438212.59553.113.68<0.001
残差误差2618155.3698.3
总计3056367.9

交互作用的额外平方和为 46814.0−38212.5=8601.546814.0-38212.5=8601.5,四个自由度,故

F0=8601.5/4434.3=4.95.F_0=\frac{8601.5/4}{434.3}=4.95.

P 值约为 0.0045,有交互作用证据。

再检验指示变量参数中的 H0:β1=β2=0H_0:\beta_1=\beta_2=0。简化模型删除 x1,x2x_1,x_2,保留温度和四个交互作用项,拟合为

y^=151.273−86.27x3−81.27x4+54.75x5−23.33x6+71.33x7+15.50x8.\hat y=151.273-86.27x_3-81.27x_4+54.75x_5-23.33x_6+71.33x_7+15.50x_8.
参数系数标准误tP 值
截距151.2736.12024.72<0.001
X3-86.2713.22-6.53<0.001
X4-81.2713.22-6.15<0.001
X554.7515.503.530.002
X6-23.3316.57-1.410.172
X771.3316.574.30<0.001
X815.5015.501.000.327

S=20.30,R2=82.5%R^2=82.5\%,调整 R2=78.1%R^2=78.1\%。

来源自由度平方和均方FP 值
回归646480.67746.818.80<0.001
残差误差249887.3412.0
总计3056367.9

额外平方和为 46814.0−46480.6=333.446814.0-46480.6=333.4,F0=(333.4/2)/434.3=0.38F_0=(333.4/2)/434.3=0.38,不显著。注意,这一假设比较的是基准温度下材料效应,并不等于下一节的第 III 类平均主效应检验。[9]

对 H0:β3=β4=0H_0:\beta_3=\beta_4=0,删除温度的两个指示变量主项,保留材料与交互作用,得到

y^=96.67+59.08x1+47.33x2−36x5−109.08x6−7.67x7−58.50x8.\hat y=96.67+59.08x_1+47.33x_2-36x_5-109.08x_6-7.67x_7-58.50x_8.
参数系数标准误tP 值
截距96.6710.749.00<0.001
X159.0819.363.050.005
X247.3319.362.450.022
X5-36.0022.78-1.580.127
X6-109.0824.60-4.43<0.001
X7-7.6724.60-0.310.758
X8-58.5022.78-2.570.017

S=32.21,R2=55.8%R^2=55.8\%,调整 R2=44.8%R^2=44.8\%。

来源自由度平方和均方FP 值
回归63146452445.050.002
残差误差24249041038
总计3056368

额外平方和为 46814.0−31464.0=15350.046814.0-31464.0=15350.0,F0=(15350.0/2)/434.3=17.67F_0=(15350.0/2)/434.3=17.67,P<0.0001。因此,在基准材料下温度效应显著,加上显著交互作用,总体上仍会得到与原平衡数据类似的实际结论。

S15.4.2 第 III 类分析

另一方法是直接使用第 III 类平方和,即调整平方和。许多软件能完成,例如 Minitab 一般线性模型程序。下面采用每个单元都有观测的情形,材料和温度均为固定因子。

来源自由度顺序平方和调整平方和调整均方FP 值
材料22910.43202.41601.23.690.042
温度235302.136588.718294.342.13<0.001
材料 × 温度48601.58601.52150.44.950.005
误差229553.89553.8434.3
总计3056367.9

调整平方和是第 III 类平方和,用于 F 检验分子。所检验的等权边际均值假设与平衡情形相对应。误差与交互作用平方和与前述回归分析相同,但主效应平方和不同,因为假设不同。

在各单元均有观测的不平衡设计中,第 III 类分析是常用方法,尤其在研究问题要求各水平等权比较时。参见 Freund、Littell 和 Spector(1988)及 SAS/STAT 手册。方法选择仍应依据所关注假设,而不是只依据平方和名称。

S15.4.3 第 I、II、III、IV 类平方和

许多软件报告第 I 和第 III 类平方和,SAS 还报告第 II 和第 IV 类。详见 Driscoll 和 Borror(1999)。

第 I 类是按模型项进入次序作顺序分解。交互作用应在相应主效应之后加入,嵌套因子按嵌套层次进入。

第 II 类衡量某效应在调整其他不包含它的效应后的贡献;例如 AB 包含 A、B,检验 A 时不先调整 AB。不平衡数据下,检验可能依赖单元观测数,未必等于平衡设计的等权假设。对不存在方差分析式过参数化的普通回归模型,第 II 类平方和常是适当的,SAS PROC REG 等报告第 I、II 类。

第 III、IV 类常称为偏平方和。平衡设计中四类相同,不平衡时可能不同。对两因子固定效应模型:

S15.4.4 用均值模型分析不平衡数据

有时放弃通常的效应模型

yijk=μ+τi+βj+(τβ)ij+ϵijky_{ijk}=\mu+\tau_i+\beta_j+(\tau\beta)_{ij}+\epsilon_{ijk}

而采用均值模型 yijk=μij+ϵijky_{ijk}=\mu_{ij}+\epsilon_{ijk} 更方便,其中 μij=μ+τi+βj+(τβ)ij\mu_{ij}=\mu+\tau_i+\beta_j+(\tau\beta)_{ij},k=1,…,nijk=1,\ldots,n_{ij}。有空单元时尤其有用。设空单元数为 m,可将其看作含 ab−m 个处理的单因子模型,每个“处理”对应原析因设计的一个已观测组合。

例如,在表 S15.2 的基础上再删除 (3,3)(3,3) 单元,形成表 S15.4。材料 3 从未在最高温度下试验,因此没有该组合的信息。

表 S15.4 含一个空单元的电池寿命数据

材料15°C70°C125°C
1130,155,18040,80,7570,82,58
2150,188,159,126136,122,106,11525,70,45
3138,110,168,160120,150,139无观测

以八个单元作为处理的 Minitab 单因素方差分析为

来源自由度平方和均方FP 值
单元743843626314.10<0.001
误差198439444
总计2652282

合并标准差为 21.07。各单元统计量为

单元n均值标准差
m113155.0025.00
m12365.0021.79
m13370.0012.00
m214155.7525.62
m224119.7512.66
m23346.6722.55
m314144.0025.97
m323136.3315.18

原输出还给出基于合并标准差的各均值置信区间,以及 Fisher 成对比较。单次比较错误率 0.05,报告的族错误率 0.453,临界 t 值 2.093。下面完整保留其成对均值差置信区间(前者减后者)。

比较下限上限
m11−m1253.98126.02
m11−m1348.98121.02
m12−m13−41.0231.02
m11−m21−34.4432.94
m12−m21−124.44−57.06
m13−m21−119.44−52.06
m11−m221.5668.94
m12−m22−88.44−21.06
m13−m22−83.44−16.06
m21−m224.8167.19
m11−m2372.32144.35
m12−m23−17.6854.35
m13−m23−12.6859.35
m21−m2375.39142.77
m22−m2339.39106.77
m11−m31−22.6944.69
m12−m31−112.69−45.31
m13−m31−107.69−40.31
m21−m31−19.4442.94
m22−m31−55.446.94
m23−m31−131.02−63.64
m11−m32−17.3554.68
m12−m32−107.35−35.32
m13−m32−102.35−30.32
m21−m32−14.2753.11
m22−m32−50.2717.11
m23−m32−125.68−53.65
m31−m32−26.0241.36

F=14.10 且 P 很小,说明处理均值有显著差异。原材料列举了七对显著差异:μ11≠μ12,μ11≠μ13,μ11≠μ22,μ11≠μ23,μ21≠μ22,μ21≠μ23,μ22≠μ23\mu_{11}\ne\mu_{12},\mu_{11}\ne\mu_{13},\mu_{11}\ne\mu_{22},\mu_{11}\ne\mu_{23},\mu_{21}\ne\mu_{22},\mu_{21}\ne\mu_{23},\mu_{22}\ne\mu_{23};完整输出还显示其他显著比较。较长寿命主要来自低温下三种材料,以及中温下材料 2、3。

下一步可构造所关注的单元均值对比。完整九单元设计有四个交互作用自由度,缺一个单元后只剩三个。可选择三个线性独立对比:

C1=μ11−μ13−μ21+μ23,C2=μ21−μ22−μ31+μ32,C3=μ11−μ12−μ31+μ32.\begin{aligned} C_1&=\mu_{11}-\mu_{13}-\mu_{21}+\mu_{23},\\ C_2&=\mu_{21}-\mu_{22}-\mu_{31}+\mu_{32},\\ C_3&=\mu_{11}-\mu_{12}-\mu_{31}+\mu_{32}. \end{aligned}

可联合检验三个对比为零,但需更多线性模型知识;这里分别作 t 检验。以样本均值替代 μ,

C^1=155−70−155.75+46.67=−24.08,\hat C_1=155-70-155.75+46.67=-24.08,
V(C^1)=σ2(1n11+1n13+1n21+1n23)=54σ2.V(\hat C_1)=\sigma^2\left(\frac1{n_{11}}+\frac1{n_{13}}+\frac1{n_{21}}+\frac1{n_{23}}\right) =\frac54\sigma^2.

用 MSE=444MS_E=444,

t1=−24.08444(5/4)=−1.02,t2=28.33444(13/12)=1.29,t3=82.33444(5/4)=3.49.t_1=\frac{-24.08}{\sqrt{444(5/4)}}=-1.02,\qquad t_2=\frac{28.33}{\sqrt{444(13/12)}}=1.29,\qquad t_3=\frac{82.33}{\sqrt{444(5/4)}}=3.49.

只有 C3C_3 显著,双侧 P 约为 0.0024,表明有材料与温度交互作用的证据。[10]

结论与第 5 章平衡数据类似:低温下材料差异小,中温下材料 2、3 接近,而材料 1 寿命明显较低;交互作用说明各材料随温度变化的表现不同。原试验能比较高温下三种材料,这里缺少材料 3 的信息。只能说高温下材料 1、2 没有显著差异,不能推断未观测的材料 3。对于温度变化,应按各材料实际已观测均值和相应对比解释。

补充参考文献

Driscoll, M. F. and Borror, C. M.(1999),Sums of Squares and Expected Mean Squares in SAS,Technical Report,Department of Industrial Engineering,Arizona State University,Tempe,AZ。

Freund, R. J., Littell, R. C., and Spector, P. C.(1988),The SAS System for Linear Models,SAS Institute,Cary,NC。

Footnotes
  1. 译者注:原补充材料第二个例子的文字写为 μ1/2=σ2\mu^{1/2}=\sigma^2,与后面的 f(t)=t2f(t)=t^2 和对数变换推导矛盾。对数稳定化要求标准差与均值成正比,即方差与均值平方成正比,现按推导修正。

  2. 译者注:原材料的对数似然差界线多印了除以 n;若对数似然定义为 −nln⁡SSE/2-n\ln SS_E/2,界线应为 χα,12/2\chi_{\alpha,1}^2/2。这里采用与后续指数界线一致的形式,并将旧版式号对应到正文式(15.2)。

  3. 译者注:原材料称 probit 不易包含多个预测变量,这不是该模型的限制;probit 可像 Logistic 一样采用多元线性预测子。

  4. 译者注:原材料把优势比解释为成功概率增加量。优势比是优势 π/(1−π)\pi/(1-\pi) 的比值,与概率比不同。

  5. 译者注:离差的卡方拟合优度近似依赖观测组的信息量;未分组 Bernoulli 数据不满足仅靠总样本量增大即可取得这一近似的条件。参数子集似然比检验有其自身的大样本正则条件。

  6. 译者注:补充材料的互补双对数链接遗漏内部负号;指数和 gamma 的倒数链接符号也需与自然参数约定一致。这里均按所列指数族表达式修正。

  7. 译者注:非典则链接的一般 IRLS 使用期望信息矩阵,对应 Fisher 得分法;它不一定等于 Newton–Raphson。原材料还将若干工作响应方差近似称为估计线性预测子的方差,这里区分工作响应方差与参数拟合后的预测子方差。

  8. 译者注:原材料的二项和 Poisson 观测离差贡献缺少因子 2;为与 D=2(ℓsat−ℓfit)D=2(\ell_{\mathrm{sat}}-\ell_{\mathrm{fit}}) 一致,已补全。

  9. 译者注:含交互作用并采用 0/1 基准编码时,直接删除某主效应系数检验的是基准水平下的简单效应。第 III 类检验的是相应等权边际均值假设,不能把两者当作同一个主效应检验。

  10. 译者注:原材料将 C1C_1 的末项下标误写为 32,实际应为 23;其计算使用的是 46.67,亦即单元 23。t=3.49t=3.49、19 个自由度的双侧 P 约为 0.0024,原文 0.0012 为单侧值。另外,材料 1 的高温均值 70 大于中温均值 65,原文“两个材料高温寿命均低于中、低温”不成立,结论已据数据调整。