生物信息學習的正確姿勢

NGS系列文章包括NGS基礎、在線繪圖、轉錄組分析?（Nature重磅綜述|關于RNA-seq你想知道的全在這）、ChIP-seq分析?（ChIP-seq基本分析流程）、單細胞測序分析?(重磅綜述：三萬字長文讀懂單細胞RNA測序分析的最佳實踐教程)、DNA甲基化分析、重測序分析、GEO數據挖掘（典型醫學設計實驗GEO數據分析 (step-by-step)）、批次效應處理等內容。

單次檢驗的I類錯誤

假設檢驗是用于檢驗統計假設的一種方法，其基本思想是“小概率事件”原理，即小概率事件在一次試驗中基本上不會發生。

假設檢驗的基本方法是提出一個空假設（null hypothesis），也叫做原假設或無效假設，符號是H0。一次檢驗有四種可能的結果，用下面的表格表示：

• Type I error，I類錯誤，也叫做α錯誤，假陽性。

• Type II error，II類錯誤，也叫做β錯誤，假陰性。

可以通過下面這張圖形象的看到差異。

多次檢驗使得犯I類錯誤概率增大

在傳統的假設檢驗中，單個檢驗的顯著性水平或I型錯誤率 (錯誤拒絕原假設的概率)為計算出的P-value。但隨著檢驗次數的增加，錯誤拒絕原假設的概率即I型錯誤率大大增加。

例如：如果我們進行了m次假設檢驗，至少有1個假陽性的概率是多少？

錯誤拒絕原假設的概率 P(Reject H0|H0=True) = α

決策正確的概率 P(No Reject H0|H0=True) = 1-α

P(在m次檢驗全部決策正確)=(1-α)^m

P(在m次檢驗中至少一次決策錯誤) = 1-(1-α)^m

隨著檢驗次數的增多，出現至少一次決策錯誤的概率快速提高。當說起“根據假設檢驗的次數校正p值”時，意思是控制整體的I型錯誤率。

例如：當做差異基因檢測時，每個基因分別進行檢測生成一個p值。如果p值設置為0.05，每個差異基因識別出錯的概率為5%。如果同時分析100個基因，按照p<0.05篩選的差異基因中有5個可能是差異不顯著的。如果對一組10000個基因進行檢測，按照p<0.05篩選的差異基因中有500個可能是差異不顯著的。因此，同時進行多次統計檢驗時，校正每個基因的p值是很重要的。多重檢驗校正調整每個基因的p值，以使總體錯誤率小于或等于用戶指定的p-cutoff value。

如何進行多重假設檢驗校正？

Family Wise Error Rate校正法控制假陽性率為0

Family Wise Error Rate是控制全部比較中至少出現一次Type I error的概率，也就是控制假陽性率為0。這是很嚴格的方式。

通常有兩種計算方法：

Bonferroni correction方法

如果要維持整個檢測 (做了m次檢測)的Type I error rate < 0.05，則需要設定p-value為0.05/m作為篩選標準。反過來，如果我們做了10000次統計檢測，采用Bonferroni correction方法校正后的p值就是原始P-value * 10000。

當然，我們也只是借這個方法理解校正的計算方式，實際卻不用這個方法。

這對其中任何一個檢測是否差異統計顯著是不公平的，因為它取決于檢測的總數目。一個檢測放在有100次檢測的操作集合中可能統計顯著，而放在有1000次檢測的操作集合中可能統計就不顯著了，這是不合適的。

Bonferroni adjustments are, at best, unnecessary and, at worst, deleterious to sound statistical inference.

Perneger (1998)

Holm 校正方法

Holm 校正方法相對沒有那么嚴苛。假設針對10000個基因進行了統計檢驗，對所有的原始P-value進行由小到大的排序分別為p1, p2, ..., p10000，校正后的p為：p1*10000, p2*9999, ..., p10000*1。

FDR校正法：允許一定的假陽性率

在實際應用中，我們希望減少Type I Error出現的可能，但也可以容許一定的假陽性率的存在。

Benjamini and Hochberg FDR (BH)

這是我們最常用的校正P-value控制假陽性率的方式。假設針對10000個基因進行了統計檢驗，對所有的原始P-value進行由小到大的排序分別為p1, p2, ..., p10000，校正后的FDR為：p1*10000/1, p2*10000/2, ..., p10000*10000/10000。與Bonferroni correction一致的地方是都乘以了檢測總數，不一致的地方是BH算法在此基礎上除去了各個原始p-value的排序值。

具體計算方式見下表（總檢測次數為10次；控制FDR小于0.1）

RankP-valueFDRFDR_formulaReject H0Reject_formula

1	0.0008	0.008	=B2*10/A2	TRUE	=C2<0.1
2	0.009	0.045	=B3*10/A3	TRUE	=C3<0.1
3	0.165	0.55	=B4*10/A4	FALSE	=C4<0.1
4	0.205	0.5125	=B5*10/A5	FALSE	=C5<0.1
5	0.396	0.792	=B6*10/A6	FALSE	=C6<0.1
6	0.45	0.75	=B7*10/A7	FALSE	=C7<0.1
7	0.641	0.915714286	=B8*10/A8	FALSE	=C8<0.1
8	0.781	0.97625	=B9*10/A9	FALSE	=C9<0.1
9	0.9	1	=B10*10/A10	FALSE	=C10<0.1
10	0.993	0.993	=B11*10/A11	FALSE	=C11<0.1

BH法有時也稱fdr法，是我們最常用的多重假設檢驗校正方法，可以很好的控制假陽性率和維持統計檢出力。R函數p.adjust可用來計算一組p-value校正后的fdr值。(DESeq2中返回的padj也是用BH方法控制的FDR)

q-value是什么？

q-value是Storey和Tibshirani提出的基于p-value分布的FDR計量方法，具體見什么，你算出的P-value看上去像齊天大圣變的廟？。

如何盡量減少統計檢驗次數

我們看到上面的校正方法多于統計檢測次數有關，統計檢測次數越多，校正也會越強烈。有沒有合適的辦法來規避一些無意義的統計檢驗呢？

• WGCNA方法通過把基因聚類為模塊再進行統計分析，大大降低了統計檢驗次數，具體見WGCNA分析，簡單全面的最新教程

• GSEA、GO等富集分析時合并相似的GO/KEGG通路再進行富集分析，如一文掌握GSEA，超詳細教程中提到的合并共有基因數目超過70%的通路。

• 差異基因分析時過濾掉極低表達的基因 (低表達基因通常生物意義小或檢測噪聲大，即便有差異也難分清是生物差異還是技術差異)，如高通量數據中批次效應的鑒定和處理 - 系列總結和更新提到的方法。

  DESeq2中還額外進行了independent filtering進行進一步過濾提高統計檢出率。

  沒有通過過濾標準的基因校正后的padj賦值為NA (這也是之前總被問起的DESeq2結果中NA的來源)。

如何獲得更小更穩定的檢測P-value

• 增加生物重復使得統計結果檢驗更穩定，見如果不是沒有錢誰想只測3個重復。

• 選擇合適的統計方法屏蔽個體差異，見上面提到的批次校正和limma配對檢驗。

References

http://www.nonlinear.com/support/progenesis/comet/faq/v2.0/pq-values.aspx

https://www.statisticssolutions.com/to-err-is-human-what-are-type-i-and-ii-errors/

https://www.nature.com/articles/nbt1209-1135

https://en.wikipedia.org/wiki/Multiple_comparisons_problem

https://www.stat.berkeley.edu/~mgoldman/Section0402.pdf

http://www.biostathandbook.com/multiplecomparisons.html

http://nebc.nerc.ac.uk/courses/GeneSpring/GS_Mar2006/Multiple%20testing%20corrections.pdf

https://www.gs.washington.edu/academics/courses/akey/56008/lecture/lecture10.pdf

http://www.stat.columbia.edu/~gelman/research/published/multiple2f.pdf

往期精品(點擊圖片直達文字對應教程)

后臺回復“生信寶典福利第一波”或點擊閱讀原文獲取教程合集

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的总被审稿人提起的多重假设检验校正是什么？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。