独家 | 机器学习解释模型：黑盒VS白盒（附资料链接）
作者：Lars?Hulstaert
翻譯：吳金笛
校對：Nicola
本文約2000字，建議閱讀9分鐘。
本文將討論一些可用于解釋機器學習模型的不同技術。?
?
大多數機器學習系統需要能夠為利益相關者解釋為何做出這樣特定的預測。?在選擇合適的機器學習模型時，我們通常會在準確性與可解釋性之間權衡：
準確與“黑盒”：
諸如神經網絡，梯度增強模型或復雜集合之類的黑盒模型通常提供很高的準確性。?這些模型的內部工作難以理解，并且它們不能估計每個特征對模型預測的重要性，也不容易理解不同特征之間如何相互作用。
較弱的“白盒”：
另一方面，諸如線性回歸和決策樹之類的簡單模型具備較弱的預測能力，并且不總能對數據集的固有復雜性建模（即，特征交互）。?但是這些卻是很容易被理解和解釋的。
?
圖片來自Applied.AI
?
準確性與可解釋性的權衡取決于一個重要的假設，即“可解釋性是模型的固有屬性”。
“可解釋性是模型的固有屬性”
然而，我堅信通過合適的“可解釋性技術”，任何機器學習模型都可以更具解釋性，盡管對于某些模型而言其復雜性和成本比其他模型更高。
?
在這篇博文中，我將討論一些可用于解釋機器學習模型的不同技術。?此博客文章的結構和內容主要基于H20.ai機器學習可解釋性小冊子。?如果您想了解更多信息，我強烈建議閱讀這個H20.ai小冊子或Patrick?Hall撰寫的的其他材料！
H20.ai機器學習可解釋性小冊子
Patrick Hall
http://docs.h2o.ai/driverless-ai/latest-stable/docs/booklets/MLIBooklet.pdf模型屬性
模型的可解釋程度通常與響應函數的兩個屬性相關聯。?模型的響應函數f（x）定義模型的輸入（特征x）和輸出（目標f（x））之間的輸入?-?輸出關系。?根據機器學習模型，此函數具有以下特征：
線性：在線性響應函數中，特征與目標之間的關聯表現為線性。?如果一個特征線性變化，我們也期望目標以相似的速率線性變化。
單調性：在單調響應函數中，特征與目標之間的關系始終在特征上的一個方向（增大或減小）。?更重要的是，這種關系貫穿于整個特征域，并且與其他特征變量無關。
簡單線性和單調響應函數的示例（1個輸入變量x，1個響應變量y）
?
線性回歸模型是線性單調函數的例子，而隨機森林和神經網絡是表現出高度非線性和非單調響應函數的模型的例子。
?
Patrick?Hall的以下幻燈片說明了為什么在需要清晰簡單的模型解釋時，通常首選白盒模型（具有線性和單調函數）。?最上面的圖表顯示，隨著年齡的增長，購買數量會增加。?在全局范圍內響應函數具有線性和單調關系，這容易被所有利益相關者理解。
?
然而，由于白盒模型的線性和單調約束，趨勢的一個重要部分被忽略了。?通過探索更復雜的機器學習模型，雖然響應函數在局部范圍內僅是線性和單調的，但是可以更好地擬合觀測數據。?為了解釋模型行為，有必要在局部范圍內研究該模型。
?
在全局范圍或局部范圍內，模型可解釋性的范圍本質上與模型的復雜性相關。線性模型在整個特征空間中表現出相同的行為（如上圖所示），因此它們是全局可解釋的。?輸入和輸出之間的關系通常受到復雜性和局部解釋的限制（即，為什么模型在某個數據點做出了某種預測？），而局部解釋默認為全局解釋。
?
對于更復雜的模型，模型的全局行為更難定義，并且需要響應函數的小區域的局部解釋。?這些小區域更可能表現出線性和單調，從而實現更準確的解釋。
?
ML庫（例如sk-learn）允許在不同分類器之間進行快速比較。?當數據集的大小和維度受限時，可以解釋結果。?在大多數現實問題中情況將不再如此。
?
在本博文的其余部分中，我將重點介紹兩種提供全局和局部解釋的模型無關（model-agnostic）技術。?這些技術可以應用于任何機器學習算法，并且通過分析機器學習模型的響應函數來實現可解釋性。
?
可解釋性技術
?
1. 代理模型
代理模型是用于解釋更復雜模型的模型。?通常使用線性模型和決策樹模型，由于它們的簡單解讀。?創建代理模型以表示復雜模型（響應函數）的決策過程，并且是使用輸入和模型預測訓練的模型，而不是在輸入和目標上訓練的模型。
?
代理模型在非線性和非單調模型之上提供了一個全局可解釋性的層，但它們不應該被完全依賴。?代理模型不能完美地表示底層響應函數，也不能捕獲復雜的特征關系。?它們主要用作模型的“全局總結”。?以下步驟說明了如何為任一黑盒模型構建代理模型：
?
訓練黑盒模型。
在數據集上評估黑盒模型。
選擇一個可解釋的代理模型（通常是線性模型或決策樹）。
在數據集上訓練可解釋模型和其預測。
確定代理模型的錯誤度量并解釋代理模型。
?
2. LIME
LIME背后的一般思想與代理模型相同。?然而，LIME并不構建代表整個數據集的全局代理模型，而只構建在局部區域內解釋預測的局部代理模型（線性模型）。?有關LIME的更深入解釋，請參閱LIME上的博客文章。
LIME提供了一種直觀的方法來解釋給定數據點的模型預測。
?
以下步驟說明了如何為任一黑盒模型構建LIME模型：
?
訓練黑盒模型。
局部感興趣區域的樣本點。樣本點可以從數據集中檢索，或生成人工點。
通過接近感興趣區域對新樣本進行加權。在有差異的數據集上擬合加權的，可解釋的（代理）模型。
解釋局部代理模型。
?
結論
?
你可以使用這里的幾種不同技術來提高你的機器學習模型的可解釋性。盡管隨著該領域的進步，這些技術越來越強大，但是一直比較不同的技術是很重要的。我沒有討論的一個技術是Shapley值。要了解更多有關該技術的知識請看Christoph?Molnar的書《可解釋的機器學習》（Interpretable?Machine?Learning）。
Interpretable Machine Learning
Christoph Molnar
https://christophm.github.io/interpretable-ml-book/原文標題?:?
Black-box vs. white-box models
原文鏈接：
https://towardsdatascience.com/machine-learning-interpretability-techniques-662c723454f3
譯者簡介
吳金笛，雪城大學計算機科學碩士一年級在讀。迎難而上是我最舒服的狀態，動心忍性，曾益我所不能。我的目標是做個早睡早起的Cool?Girl。
翻譯組招募信息
工作內容：需要一顆細致的心，將選取好的外文文章翻譯成流暢的中文。如果你是數據科學/統計學/計算機類的留學生，或在海外從事相關工作，或對自己外語水平有信心的朋友歡迎加入翻譯小組。
你能得到：定期的翻譯培訓提高志愿者的翻譯水平，提高對于數據科學前沿的認知，海外的朋友可以和國內技術應用發展保持聯系，數據派THU產學研的背景為志愿者帶來好的發展機遇。
其他福利：來自于名企的數據科學工作者，北大清華以及海外等名校學生他們都將成為你在翻譯小組的伙伴。
點擊文末“閱讀原文”加入數據派團隊~
點擊“閱讀原文”擁抱組織
總結
以上是生活随笔為你收集整理的独家 | 机器学习解释模型：黑盒VS白盒（附资料链接）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： voip 音频采集时间_树莓派3 音频配
- 下一篇： 原生js+css3实现点击图片正方体旋转