UA MATH566 統計理論7: Multiple Test

• Bonferroni調整
• • Benjamini-Hochberg方法
• Fisher方法
• False Discovery Rate

Multiple test就是同時做多個假設檢驗，回歸和試驗設計都有涉及到，那兩個系列用的是Bonferroni方法和WHS方法。這里也介紹一下Bonferroni方法，另外再介紹一個Fisher方法。

Bonferroni調整

假設要同時做$m$個假設檢驗，第$i$個的p值為$p_i,i=1,?,m$，第$i$個檢驗出現type I error的事件為$A_i$。定義Family-wise error rate (FWER)表示至少有一個檢驗出現type I error的概率，${\alpha }_B$表示單個檢驗的顯著性水平。假設$\alpha$為這$m$個聯合檢驗的顯著性水平，根據Bonferroni不等式
$$\alpha =P(\underset{i=1}{\overset{m}{?}}{A}_i)\le \sum _{i=1}^{m}P(A_i)=m{\alpha }_B$$
因此拒絕第$i$個檢驗的原假設的條件可以寫為
$$p_i\le \frac{\alpha }{m}\le {\alpha }_B$$
這說明要同時做$m$個假設檢驗的話，如果要求的顯著性水平為$\alpha$，那么對單個檢驗做判斷時顯著性水平應該用$\alpha /m$。

注意到Bonferroni不等式在所有的$A_i$都獨立時取等，此時
$$\begin{gathered} \alpha =P(\underset{i=1}{\overset{m}{?}}{A}_i)=1?P(\underset{i=1}{\overset{m}{?}}{A}_i^C) \\ =1?\prod _{i=1}^{m}P(A_i^C)=1?(1?{\alpha }_B{)}^m \end{gathered}$$

Benjamini-Hochberg方法

當$m$比較大之后，要拒絕原假設的條件會變得非常苛刻，甚至到幾乎不可能的程度。為了得到更合理的推斷，Benjamini-Hochberg方法用了比Bonferroni調整更寬松的條件：
假設$p_{(i)}$是這$m$個p值的次序統計量，search
$$k=\underset{i=1,2,?,m,p_{(i)}\le k\frac{\alpha }{m}}{\mathrm{argmax}}i$$
拒絕這$k$個$p_{(1)},?,p_{(k)}$對應的原假設。

Fisher方法

Fisher方法比較有意思，第五講提到了原假設下p值服從均勻分布$U[0,1]$：
$$p_1,?,p_m{～}_{iid}U[0,1]$$
根據概率論推導過的結論，它等價于
$$?2\ln p_1,?,?2\ln p_m{～}_{iid}exp(1/2)$$
因為$m$個指數分布$exp(1/2)$的和是gamma分布$\Gamma (\frac{1}{2},m)$，它其實就是卡方分布${\chi }^2(2m)$。因此上面的結果可以寫成
$$?2\ln p_1???2\ln p_m～{\chi }^2(2m)$$
因此$m$個聯合檢驗的原假設下，可以用$?2\ln p_1???2\ln p_m$作為檢驗的統計量構造一個卡方檢驗。

False Discovery Rate

這里引入false discovery rate的概念，它是p值的一個替代品之一。這里就直接用我老師的ppt截圖了

簡單解釋一下這張表，首先一共要同時做$m$個檢驗，其中有$m{\pi }_0$個檢驗的原假設是真命題，$m(1?{\pi }_0)$個檢驗的備擇假設是真命題。我們拒絕了$R$個原假設，接受了$m?R$個原假設。每個檢驗有四種可能的結果：原假設為真、拒絕原假設；原假設為假，拒絕原假設；原假設為真，接受原假設；原假設為假，接受原假設，符合這四個結果的檢驗數目分別為$V,S,U,T$。其中$V,T$分別是type I error的數目和type II error的數目。

先討論一下false discovery rate (FDR)，ppt里面那個定義的意思就是FDR就是在拒絕原假設的條件下，原假設為真的概率。根據Hierarchical Model，p值服從混合分布
$$F_{pvalue}(x)={\pi }_{0}x+(1?{\pi }_0)ROC(x)$$
如果選擇$\alpha$作為p值的上限，則
$$\begin{gathered} FDR=P[H_{0}istrue|reject{H}_0] \\ =\frac{P[reject{H}_0|H_{0}true]P[H_{0}true]}{P[reject{H}_0]}=\frac{\alpha {\pi }_0}{F_{pvalue}(\alpha )} \end{gathered}$$
也就是說
$$FDR=\frac{{\pi }_0\alpha }{{\pi }_0\alpha +(1?{\pi }_0)(1?\beta )}$$

總結

以上是生活随笔為你收集整理的UA MATH566 统计理论7: Multiple Test的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。