前幾天，Nature上一篇comment再度引發關于p-value如何使用和解釋的文章：Scientists rise up against statistical significance，800多名科學家聯合聲明拒絕使用基于p-value或置信區間或貝葉斯因子等的二分法將研究結果分為統計顯著和統計不顯著兩個部分，而是應該把置信區間改為兼容性區間, 描述區間所有值的實際含義，尤其是其所代表的的效果 (point estimate)或極值在哪。給定了統計假設，任何極值內的值與研究數據都是兼容的。基于此，作者可以更好的強調數據分析帶來的期望值和不確定性，不再對結果過于自信或悲觀。

不過一來統計界以后會怎么實施未知，二來簽名也未發對p-value的正確使用。那么怎么理解P-value的含義？怎么算是正確使用P-value呢？怎么評估算出的P-value是否正常呢？ 就是我們下面要說的。基于傳統，后面還是會繼續使用顯著性這一說法。

統計分析檢驗獲取p-value是我們經常要做的一個工作，比如獲得差異基因或富集分析等。通常計算后會得到數百、數千或數萬個p-value。考慮到多重假設檢驗的問題，你可能會想著先做一個校正。

然而，你最先需要做的卻是繪制一個直方圖。怎么繪制？簡單強大的在線繪圖-第3版。

在做任何的多重假設檢驗校正、假陽性率控制或結果解釋之前，先繪制這么一個p-value分布直方圖，它可以告訴你在所有假設的p值分布，并幫您發現潛在的問題。

p-value分布直方圖可能有下面6種可能，我們一一看來。

Anti-conservative p-value

如果p-value分布直方圖如上圖所示，左側0值附近有個峰，右側為近乎均勻分布，那么恭喜你，這是一個很好的分布。

0-1之間均勻分布的p-value代表原假設H0 (null hypothesis)的P值。為什么它們是均勻分布的呢？這是根據p-value的定義來的。在原假設下，p-value有5%的可能低于0.05, 10%的可能低于0.1，以此類推，就是一個均勻分布。

在p-value接近于0值的峰代表的是備擇假設H1 (alternative hypothesis) (也包含部分假陽性)。如果把原假設和備擇假設分開，p-value的分布應該入下圖所示：

首先可以看到在低p-value處也有一些原假設 (H0)，因此不可以簡單的說所有p-value<0.05的都是顯著的，否則就會獲得一些假陽性結果。而且一些備擇假設 (H1)的p-value也比較高，這些就是不能通過本次統計檢驗方法獲得的陽性結果，也稱為假陰性結果。

多重假設檢驗校正就是確定顯著性的合理閾值。

那么怎么判斷多少假設是原假設，多少是可以拒絕原假設采用備擇假設呢？可以從下面幾張圖有個直觀認識，左側Peak越高，越多的假設p-value趨近于0, 也就是顯著的結果。右側的柱子越高，更多原假設不能被拒絕。如果想獲得定量的評估，可以使用qvalue包。

library(qvalue) data(hedenfalk) pvalues <- hedenfalk$p qobj <- qvalue(p=pvalues) summary(qobj)

輸出不同p-value假設的累計數目

Call: qvalue(p = pvalues)pi0: 0.669926 Cumulative number of significant calls:<1e-04 <0.001 <0.01 <0.025 <0.05 <0.1 <1 p-value 15 76 265 424 605 868 3170 q-value 0 0 1 73 162 319 3170 local FDR 0 0 3 30 85 167 2241

估計原假設 (H0 null hypothesis)的整體比例 (π0)，q-value與p-value的關系, qvalue即是定義某一個檢驗統計顯著需要承受的最小假陽性率值。lfdr指在給定的p-value條件下，原假設 (H0)為真的后驗概率值。

hist(obj)

均勻分布 Uniform p-value

假如，你的p-value是如下圖所示，平平的均勻分布，怎么辦呢？

看上去所有的假設都符合原假設，是不是意味著就沒有辦法拒絕原假設了？其實也不是：

• 起碼有一小部分的假設是備擇假設，可以用過FDR校正方法如Benjamini-Hochber等鑒定出來。
• 直接應用p-value<0.05是不合適的，假陽性率會很高。

雙峰 Bimodal p-values

如前面所示在p-value=0處有一個峰，但在p-value=1處也有一個？怎么解釋。

首先不要對這些p-value應用假陽性率控制。為什么呢？因為一部分FDR控制算法是基于P-value在1附近是均勻分布的。如果不符合這個前提，計算出的顯著性會很少。

下一步找出為什么p-value會有這個分布，針對性解決：

• 是否使用的是單端檢驗 (one-tailed test) (如檢驗藥物處理后基因表達上調)。如果是這樣，p-value接近1的正好是相反的變化 (如基因表達下調)。如果您同時關注上下調，則采用雙端檢驗 (two-sided test)。如果您不想包含另一種變化，則在檢驗前先過濾掉這些。(注：比如富集分析時只關注富集)
• 是否pvalue接近1的情況都是病態情況，如基因差異表達分析中，一些軟件會賦予在所有樣品中都不表達的基因檢驗pvalue為1，這樣的情況直接過濾掉就好。(注：一般分析時是提前過濾。)

Conservative p-values

看到這個分布，不要魯莽的下結論：沒有任何統計顯著的假設。如果真的沒有統計顯著性假設，p-value的分布應該是均勻的 Uniform, 這是因為p-value就是這么定義的：原假設下均勻分布。

如果p-value呈現這個分布，說明統計檢驗使用錯了。其原因可能是數據的分布不符合統計檢驗的假設，比如統計檢驗適用于連續數據，而提供的是離散數據，或者統計檢驗適用于正態分布數據，而提供的數據嚴重不符合等。最好的解決辦法是找一個友好的統計學家朋友幫助您。

我們一直強調可視化的是原始p-value的分布，如果使用的工具不小心提供的是校正后的p-value，比如使用Bonferroni correction，那么校正后的p-value可能是這個分布。

稀疏分布 Sparse p-values

如圖所示，獲得的p-value的值比較單一，假如做了10,000次統計檢驗，只獲得很少的不同的檢驗p-value，可以使用下面的代碼獲取總共有多少不同的p-value。

length(unique(mypvalues))

為什么會獲得這樣的p-value呢？

• 自展或置換檢驗 (bootstrap or permutation test)的迭代次數太少。
• 數據集小的時候運行了非參數檢驗 (如Wilcoxon rank-sum test或Spearman correlation)，嘗試擴大樣本量或數據轉換為可以進行參數檢驗。

不要做假陽性率控制，因為p-value的分布不是連續的。

悟空廟宇P-value (“What the…?!?”)

像不像孫悟空變的一座廟，尾巴做旗桿？中間的P-value有個凸起，在1附近有個峰。

最好的方式是求助于統計學家，當然在這之前，看下數據的分布，了解下所用的統計方法，先有個直觀認識。

所以p-value不是算出來就可以用了，觀察其分布，可以幫助我們判斷數據分布是否合適，選用的統計檢驗方法是否合適，后期如何進行處理，對結果解釋增強可信度。

參考

http://varianceexplained.org/statistics/interpreting-pvalue-histogram/

http://www.bioconductor.org/packages/release/bioc/vignettes/qvalue/inst/doc/qvalue.pdf

https://www.nature.com/articles/d41586-019-00857-9

https://stats.stackexchange.com/questions/10613/why-are-p-values-uniformly-distributed-under-the-null-hypothesis#

教程合集

• 生信寶典-Linux教程.pdf (微信公眾號后臺回復 生信寶典福利第一波)
• 生信寶典Py3_course.pdf
• 生信寶典-R學習教程.pdf

加拿大生信課程

• 國外生信教程免費領 加拿大生信開源學習資源Bioinformatics.ca
• Bioinformatics_for_Cancer_Genomics
• Informatics_on_High-Throughput_Sequencing_Data
• Informatics_for_RNA-Seq_Analysis
• Analysis_of_Metagenomic_Data
• Informatics_and_Statistics_for_Metabolomics
• Bioinformatics_of_Genomic_Medicine
• Epigenomic_Data_Analysis
• Pathway_and_Network_Analysis_of_omics_Data
• Infectious_Disease_Genomic_Epidemiology

Illumina測序應用手冊

• Illumina測序儀比較和各種測序應用模式圖，助力了解高通量測序
• RNA層面
• DNA層面
• 單細胞層面

系列教程

• 生物信息之程序學習
• 關于編程學習的一些思考
• 該如何自學入門生物信息學
• 生信寶典視頻教程
• 轉錄組分析的正確姿勢
• 收藏 你想要的生信學習系列教程-寶典在手，生信無憂
• 生信的系列書籍
• 文章用圖的修改和排版 (1)
• 文章用圖的修改和排版 (2)
• 簡單強大的在線繪圖
• 簡單強大的在線繪圖-升級版
• 簡單強大的在線繪圖-第3版
• 論文圖表基本規范
• 學術圖表的基本配色方法
• 數據可視化基本套路總結
• 英語寫作常見錯誤總結和學習視頻
• 教育部推出首批490門"國家精品在線開放課程"
• 你該知道的雜志分區和影響因子及最新表格下載
• 你和PPT高手之間，就只差一個iSlide
• 推薦 3 個超贊的 EXCEL 插件，讓你 5 分鐘從小白變大神
• 史上最全的圖表色彩運用原理
• 生信寶典一周年福利第一波 - 電子書贈送
• 測序發展史：150年的風雨歷程
• 生信老司機以中心法則為主線講解組學技術的應用和生信分析心得
• 別再讓投稿信耽誤你發稿啦！（附cover letter模板）
• 生物信息學數據庫分類概覽 (第一版)
• 跟Cell editor學做scientific presentation (25個判斷標準，18個不能做，8個建議)

總結

以上是生活随笔為你收集整理的废弃P-value，还是学学如何评估统计检验结果？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。