值得思考，机器学习模型做出的决策是你想要的吗？
分享一篇理論知識，對我們理解和應用模型會有幫助！
區分預測模型和分類模型是很重要的一個事情。在很多決策應用中，分類模型代表著一個“不成熟”的決定，它組合了預測模型和決策制定，但剝奪了決策者對錯誤決定帶來的損失的控制權 (如隨機森林中的服從大多數原則，51棵樹預測結果為患病49棵樹預測結果為正常與91棵樹預測結果為患病``9棵樹預測結果為正常返回的結果都是患病)。如果采樣標準或損失/收益規 (在預測疾病時，更看重敏感性而非假陽性)則發生改變，分類模型也需要相應的改變。而預測模型是與決策分開的，可用于任何決策制定。
分類模型適用于頻繁發生的非隨機性(或者說確定性)的結果，而不適用于兩個個體有同樣的輸入而輸出卻不同的情況。對于后者，模型的趨勢（比如概率）則是關鍵因素。
分類模型的適用條件：
分類結果很不同
分類變量有很強的分類能力，可以在接近概率為1的情況下預測出其中一個分類結果
機器學習這一領域在某種程度上獨立于統計學領域。因此，機器學習專家往往不強調概率思維。概率思維和理解不確定性和波動性 (variation)是統計學的重要特征。順便說一下，關于概率思維最好的書之一是Nate Silver的The Signal and The Noise: Why So Many Predictions Fail But Some Don’t。在醫學領域，David Spiegelhalter的《患者管理和臨床試驗中的概率預測》(Probability Prediction In Patient Management and Clinical Trials)是一篇經典論文。
摒除概率思維后，機器學習提倡頻繁使用分類器，而不是使用風險預測模型。情況已經變得有些極端:許多機器學習專家實際上把邏輯回歸 (logistic regression)列為一種分類方法(其實不是)。我們現在需要認真思考：分類真正意味著什么。分類實際上是一種決策。最佳決策需要充分利用現有數據來進行預測，并通過最小化損失函數/最大化效用函數來做出決策。不同的終端用戶有不同的損失函數/效用函數 (在預測疾病時，如更看重敏感性，還是假陽性)，進而有不同的決策風險閾值。分類模型則假設每個用戶都有相同的效用函數，就是分類系統所用的效用函數。
分類通常是一種被迫的選擇。比如在市場營銷中，廣告預算是固定的，分析師通常還沒有笨到直接使用模型把潛在客戶歸類為需要忽略的人或需要花費資源進行投放的人。相反，他們對概率進行建模，根據潛在客戶購買產品的估計概率對其進行排序繪制一個Lift曲線。為了獲得“最大的效果”，營銷人員會選擇n個可能性最高的客戶作為目標進行廣告投放。這是合理的，而且不需要分類。
模型使用者(如醫生)經常提出的一個觀點是，最終他們需要做出二元決策 (binary decision)，因此需要進行二元分類。而事實并非如此。首先，通常情況下，當預測出患病的概率是中等時，最好的決定是不做決定;去收集更多數據。在許多其他情況下，決定是可撤銷的，例如，醫生開始給病人低劑量的藥物，然后決定是否改變劑量或更換藥物。在外科治療中，動手術的決定是不可改變的，但何時動手術取決于外科醫生和病人，并取決于疾病的嚴重程度和癥狀。無論如何，如果需要進行二元分類，必須在所有情況都考慮到時，而非在數據建模時。
什么時候強制做出選擇是合適的?我認為需要考慮這個問題是機械的 (確定性的)還是隨機/概率的。機器學習的提倡者經常想把為前者 (機械性問題)所做的方法應用到存在生物變異、抽樣變化和測量誤差的問題上。而實際上最好是將分類模型僅僅應用于高信噪比的情況下，比如有一個已知的黃金標準，可以重復實驗，每次得到幾乎相同的結果。模式識別就是一個例子:
視覺、聲音、化學成分等。
如果創建一個光學字符識別算法 (OCR),該算法可以被任意數量的樣品進行訓練并嘗試把圖像分類為字母A, B,……等。
這樣一個分類器的用戶可能沒有時間來考慮每個分類是否足夠可信。
但這種分類器信噪比是極高的。
此外，每個字母都有一個“正確”答案。
這種情況主要是機械性或非隨機性的結果。
而預測死亡或疾病時，兩個癥狀相同的患者卻很容易有不同的疾病發展方向。
當預測概率居中時，或者當結果有固有的隨機性時，就需要進行概率估計。概率的一個優點是，它們是自己的錯誤的度量。如果預測疾病發生的概率是0.1，而當前的決定是不進行治療；這個決定犯錯的概率也是0.1。而如果發病概率是0.4，這會促使醫生進行另一次實驗檢測或或采用活檢等其它檢測方式。當信噪比較小時，分類模型通常不是一個好的應用方式; 而是需要對趨勢也就是概率進行建模。
美國氣象局一直用概率來預測降雨。我不想得到一個分類結論“今天要下雨”。而是想著是否帶傘應該由我來根據下雨的概率權衡后作出決定。
無論是從事信用風險評分、天氣預報、氣候預測、市場營銷、病人疾病的診斷，還是評估病人的預后，我都不想使用分類的方法。而是希望獲得帶有可信區間或置信區間的風險估計得分。我的觀點是，機器學習分類器最好用于機械的/確定性的高信噪比的數據或應用場景中，而概率模型應該用于大多數其他情況。
這與許多分析師忽略的一個微妙問題有關。復雜的機器學習算法可以通過進行高階交互等處理問題的復雜性，但在信噪比較低時需要大量的數據。基于可加性假設的回歸模型(當它們是正確的時，它們在絕大多數情況都是正確的)可以在沒有大量數據集的情況下產生準確的概率模型。當被預測的結果變量有兩個以上的水平時，一個回歸模型可以獲得各種感興趣的量，如預測均值、分位數、超標概率 (exceedance probabilities)、瞬時危險率 (instantaneous hazard rates)等。
分類模型的一個特殊問題也反映了這樣一個重要概念。使用機器學習分類模型的用戶都知道，一個高度不平衡的樣本訓練集會獲得一個奇怪的二元分類器。例如，如果訓練集中有1000名患者和100萬名非患者，那么最佳分類器可能將每個人都劃分為非患者;這樣獲得的正確率是0.999。出于這個原因，對數據進行子集抽樣的奇怪做法被用來平衡訓練集中樣本的頻率，從而產生看起來合理的分類器 (回歸模型的用戶永遠不會為了得到答案而排除好的數據)。然后，他們必須以某種不明確的方式構造分類器，以彌補訓練集中樣本組成的偏差。很簡單，一個基于發病率為1/2的情況訓練的模型將不能應用于發病率為1/1000的新數據的預測。分類器必須在新的樣本上重新訓練，檢測到的模式可能會發生很大的變化。另一方面，Logistic回歸巧妙地處理了這種情況，要么(1)將導致患病率如此之低的變量作為預測變量，要么(2)只需要重新校準另一個發病率高的數據集的截距。分類器對發病率的極端依賴可能足以使一些研究人員總是使用概率估計，如logistic回歸進行代替。人們甚至可以說，當結果變量的變化很小時，根本不應該使用分類器，而應該只對概率建模。
選擇一種方法的關鍵因素之一是它應該具有正確統計屬性的敏感的準確性評分規則。機器分類的專家很少有了解這一極其重要問題的背景，選擇一個不正確的準確性得分，如正確分類的比例，將導致一個虛假的模型。這里對此進行了詳細討論。
References
https://www.fharrell.com/post/classification/
機器學習系列教程
從隨機森林開始，一步步理解決策樹、隨機森林、ROC/AUC、數據集、交叉驗證的概念和實踐。
文字能說清的用文字、圖片能展示的用、描述不清的用公式、公式還不清楚的寫個簡單代碼，一步步理清各個環節和概念。
再到成熟代碼應用、模型調參、模型比較、模型評估，學習整個機器學習需要用到的知識和技能。
一圖感受各種機器學習算法
機器學習算法 - 隨機森林之決策樹初探（1）
機器學習算法-隨機森林之決策樹R 代碼從頭暴力實現（2）
機器學習算法-隨機森林之決策樹R 代碼從頭暴力實現（3）
機器學習算法-隨機森林之理論概述
機器學習算法-隨機森林初探（1）
機器學習 - 隨機森林手動10 折交叉驗證
機器學習 模型評估指標 - ROC曲線和AUC值
機器學習 - 訓練集、驗證集、測試集
一個函數統一238個機器學習R包，這也太贊了吧
基于Caret和RandomForest包進行隨機森林分析的一般步驟 （1）
Caret模型訓練和調參更多參數解讀(2)
基于Caret進行隨機森林隨機調參的4種方式
機器學習第17篇 - 特征變量篩選（1）
機器學習第18篇 - Boruta特征變量篩選（2）
機器學習第19篇 - 機器學習系列補充：數據集準備和更正YSX包
機器學習第20篇 - 基于Boruta選擇的特征變量構建隨機森林
機器學習第21篇 - 特征遞歸消除RFE算法 理論
機器學習第22篇 - RFE篩選出的特征變量竟然是Boruta的4倍之多
機器學習第23篇 - 更多特征變量卻未能帶來隨機森林分類效果的提升
機器學習相關書籍分享
UCI機器學習數據集
送你一個在線機器學習網站，真香！
多套用于機器學習的多種癌癥表達數據集
這個統一了238個機器學習模型R包的參考手冊推薦給你
莫煩Python機器學習
機器學習與人工智能、深度學習有什么關系？終于有人講明白了
一套完整的基于隨機森林的機器學習流程（特征選擇、交叉驗證、模型評估））
隨機森林預測發現這幾個指標對公眾號文章吸粉最重要
樣本分布不平衡，機器學習準確率高又有什么用？
總結
以上是生活随笔為你收集整理的值得思考，机器学习模型做出的决策是你想要的吗？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： RNA-seq最强综述名词解释思维导图|
- 下一篇： 结束十年科学争论，张辰宇团队阐明食物mi