UA MATH571B 試驗設計VI 隨機效應與混合效應

• 兩個factor的隨機效應模型

現在回到試驗設計III 單因素試驗設計1中介紹的模型，$$\begin{gathered} y_{ij}=\mu +{\tau }_i+{?}_{ij},{?}_{ij}{～}_{iid}N(0,{\sigma }^2) \\ i=1,2,?,a;j=1,2,?,n \end{gathered}$$

其中$\mu$是總體均值（grand mean），${\tau }_i$是第$i$種factor level的treatment effect，${\mu }_i=\mu +{\tau }_i$，這個模型叫效應模型（effect model）。我們想研究的是單個treatment factor的不同level對response的影響。用最小二乘法估計這個模型的時候，我們得到的方程是
$$\begin{gathered} an\hat{\mu }+\sum _{i=1}^a{\hat{\tau }}_i=y_{..} \\ n\hat{\mu }+n{\hat{\tau }}_i=y_{i.},i=1,?,a \end{gathered}$$

線性獨立的方程只有$a$個，但要估計的系數有$a+1$個，因此我們為了估計系數引入了一個假設：
$$\sum _{i=1}^a{\hat{\tau }}_i=0$$

并稱滿足這個方程的factor為fixed factor。引入這個假設意味著我們認為treatment factor的level是人為設計，并且包含了treatment factor的絕大多數可能性，這樣的因素模型我們稱之為固定效應模型。固定效應模型中缺一個方程的原因是總體均值與treatment effec的線性相關性，除了增加額外的約束外，還可以考慮增加模型的隨機性。固定模型要求窮盡treatment factor所有取值是可能實現的，那么當treatment factor有非常多的可能的值時，樣本中的treatment factor level其實是對level的population的抽樣，treatment effect也就不會是固定的，而是與treatment factor level一樣是隨機的。稱factor level和factor effect是隨機變量的factor為random factor，只含有random factor的模型為隨機效應模型；同時含有random factor與fixed factor的模型為混合效應模型。

兩個factor的隨機效應模型

假設我們關注A和B兩個factor的effects，它們都是random factors，模型設定為：
$$\begin{gathered} y_{ijk}=\mu +{\tau }_i+{\beta }_j+(\tau \beta {)}_{ij}+{?}_{ijk} \\ {?}_{ijk}{～}_{iid}N(0,{\sigma }^2);i=1,?,a;j=1,?,b;k=1,?,n \\ {\tau }_i{～}_{iid}N(0,{\sigma }_{\tau }^2),{\beta }_j{～}_{iid}N(0,{\sigma }_{\beta }^2),(\tau \beta {)}_{ij}{～}_{iid}N(0,{\sigma }_{\tau \beta }^2) \end{gathered}$$

從而方差分解為：
$$Var(y_{ijk})={\sigma }_{\tau }^2+{\sigma }_{\beta }^2+{\sigma }_{\tau \beta }^2+{\sigma }^2$$

因素模型中我們討論的最基本的問題永遠是某個因素對試驗結果是否存在顯著的效應，具體表現為在總體均值以外，因素的不同水平是否會造成試驗結果的顯著區別。在固定效應模型中，我們比較的方式是用ANOVA做多組level的effect均值的檢驗，比較他們是否同時顯著為0；在隨機效應模型中，不同level的effect相同則意味著factor effect的方差為0，因此隨機效應模型中我們需要做的檢驗是：
$$\begin{gathered} H_0:{\sigma }_{\tau }^2=0 \\ {H}_0:{\sigma }_{\beta }^2=0 \\ {H}_0:{\sigma }_{\tau \beta }^2=0 \end{gathered}$$

接下來，我們要試圖修正之前一直在用的ANOVA分析框架使之能夠用在隨機效應模型中。先定義幾個符號：
$$\begin{gathered} y_{i..}=\sum _{j=1}^b\sum _{k=1}^n{y}_{ijk},{\bar{y}}_{i..}=\frac{y_{i..}}{an} \\ {y}_{.j.}=\sum _{i=1}^a\sum _{k=1}^n{y}_{ijk},{\bar{y}}_{.j.}=\frac{y_{.j.}}{bn} \\ {y}_{ij.}=\sum _{k=1}^n{y}_{ijk},{\bar{y}}_{ij.}=\frac{y_{ij.}}{n} \\ {y}_{...}=\sum _{i=1}^a{y}_{i..}=\sum _{j=1}^b{y}_{.j.},{\bar{y}}_{...}=\frac{y_{...}}{N},N=abn \end{gathered}$$

考慮平方和分解，總平方和為：
$$SST=\sum _{i=1}^a\sum _{j=1}^b\sum _{k=1}^n(y_{ijk}?{\bar{y}}_{...}{)}^2$$

做一個替換
$$y_{ijk}?{\bar{y}}_{...}=({\bar{y}}_{i..}?{\bar{y}}_{...})+({\bar{y}}_{.j.}?{\bar{y}}_{...})+({\bar{y}}_{ij.}?{\bar{y}}_{i..}?{\bar{y}}_{.j.}+{\bar{y}}_{...})+(y_{ijk}?{\bar{y}}_{ij.})$$

可以自行驗證下面的結果：
$$SST=bn\sum _{i=1}^n({\bar{y}}_{i..}?{\bar{y}}_{...}{)}^2+an\sum _{j=1}^b({\bar{y}}_{.j.}?{\bar{y}}_{...}{)}^2+n\sum _{i=1}^a\sum _{j=1}^b({\bar{y}}_{ij.}?{\bar{y}}_{i..}?{\bar{y}}_{.j.}+{\bar{y}}_{...}{)}^2+\sum _{i=1}^a\sum _{j=1}^b\sum _{k=1}^n(y_{ijk}?{\bar{y}}_{ij.}{)}^2$$

定義等式右邊的平方和為$S{S}_A,S{S}_B,S{S}_{AB},SSE$，則平方和分解為
$$SST=S{S}_A+S{S}_B+S{S}_{AB}+SSE$$

總平方和的自由度為$d{f}_T=N?1$，$S{S}_A$的自由度為$d{f}_A=a?1$，$S{S}_B$的自由度為$d{f}_B=b?1$，$S{S}_{AB}$的表達式中包含的約束為
$$\sum _{j=1}^b{\bar{y}}_{ij.}=b{\bar{y}}_{i..},i=1,?,a;\sum _{i=1}^a{\bar{y}}_{ij.}=a{\bar{y}}_{.j.},j=1,?,b;n{\bar{y}}_{...}=\sum _{i=1}^a{y}_{i..}=\sum _{j=1}^b{y}_{.j.}$$

自由方程數目為$a+b?1$，因此
$$\begin{gathered} d{f}_{AB}=ab?a?b+1=(a?1)(b?1) \\ d{f}_{Model}=d{f}_A+d{f}_B+d{f}_{AB}=ab?1 \end{gathered}$$

所以殘差的自由度為
$$d{f}_E=d{f}_T?d{f}_{Model}=abn?ab=ab(n?1)$$

根據平方和與自由度可以定義均方和，下面是一些常用結果，可以自行驗證：

以上是ANOVA方法在隨機效應模型上的修正，ANOVA方法中主要用的估計量是最小二乘估計（其實也是矩估計）；另一種估計方差的方法是最大似然估計，在隨機效應與混合效應模型中使用的最大似然估計稱為residual maximum likelihood (REML)模型，與ANOVA不同的是，ANOVA直接得到的是平方和的分解，而REML直接得到的是方差的估計，因此REML在計算方差的置信區間、做方差的假設檢驗等方面更便捷。

總結

以上是生活随笔為你收集整理的UA MATH571B 试验设计VI 随机效应与混合效应1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。