如果你想很好地理解某些內容，請嘗試簡單地給別人解釋出來。 ——費曼

XGBoost是一個很優美的算法，它的過程不乏啟發性。這些通常簡單而美麗的概念在數學術語中消失了。我在理解數學的過程中也遇到過同樣的挑戰，所以我寫這篇文章的目的是鞏固我的理解，同時幫助其他人完成類似的過程。

為了解XGBoost是什么，我們首先要了解什么是梯度提升機Gradient Boosting，以及梯度提升機背后的數學概念。請注意，這篇文章假設你對梯度提升機非常熟悉，并試圖觸及梯度提升機和XGBoost背后的直覺和數學。現在我們開始吧。

理解梯度提升機

第一步 - 初始函數

與往常一樣，讓我們從粗略的初始函數

開始，類似于回歸時所有值的平均值。 它將為我們提供一些輸出，無論效果如何。

第二步 - 損失函數

下面我們計算損失函數

那么什么是損失函數？它是一種度量預測值與真實值之間差異的算式，這里有幾個例子：

從下表可以理解為什么對異常值的魯棒性很重要：

其思想是，損失函數的值越低，我們的預測就越準確，所以獲取最佳的預測值等價為損失函數的最小化問題。

第三步 - 新的目標

到目前為止，我們已經建立了我們的初始模型，并進行了預測。接下來，我們應該在損失函數給出的殘差上擬合一個新模型，但有一個微妙的轉折：我們將擬合損失函數的負梯度，下面給出我們為什么這樣做以及為什么它們相似的直覺：

梯度可以解釋為函數的“最快增加的方向和速率”，因此負梯度告訴我們函數最小值的方向，在這種情況下為損失函數的最小值。

我們將遵循梯度下降法，逐步逼近損失函數的極小值，算法的學習速率將給出每一次更新的步長。在損失函數最小的情況下，我們的錯誤率也最低。

因此，我們將在損失函數的

梯度處建立新模型

第四步 - 累加

在

梯度上迭代擬合模型的過程將繼續進行，直到我們達到給定的弱學習器數量的最小值或極限T為止，這稱為累加。

回想一下，在Adaboost中，模型的“缺點”是由高權重數據點確定的。在梯度提升機中，“缺點”是通過梯度來識別的。

簡單來說，這就是梯度提升機的工作機制。在回歸和分類任務中，唯一不同的是所使用的損失函數。

XGBoost

XGBoost和梯度提升機都遵循梯度提升決策樹的原理，但是XGBoost使用更加正則化的模型公式來控制擬合，這使它具有更好的性能，這就是為什么它也被稱為“正則提升”技術。

牛頓法

那么什么是牛頓法呢？在隨機梯度下降中，我們用更少的數據點來計算梯度更新的方向，耗時也相對更少，但如果我們想要加速更新，就需要更多的數據點。而在牛頓法中，我們用來計算梯度更新的方向的耗時更多，但是需要的計算點也更少。

需要注意的重要一點是，即使梯度提升機在解決回歸問題時使用梯度下降法進行優化，在解決分類問題仍然使用牛頓方法來解決優化問題。 而XGBoost在分類和回歸的情況下都使用此方法。

牛頓法試圖通過構造一個序列

來解決最小化問題，該序列從隨機起點

開始，通過

的二階泰勒展開序列收斂到

的最小值

在

附近的二階泰勒展開式是

二階導數對于加快梯度下降非常重要，因為在一個損失函數的山谷里，如果算法的修正方向是鋸齒狀的下降，那么您在沿著山谷的實際梯度上的進展就非常緩慢， 通過二階導數調整方向將使您的下降方向朝山谷的實際梯度方向傾斜，從而將緩慢的下降轉換為更快的下降。

損失函數

我們已經看到了平方損失函數在梯度提升機中的行為，讓我們快速看一下XGBoost中平方損失函數的作用：

均方誤差損失函數的形式是非常友好的，有一個一次項(通常稱為剩余項)和一個二次項。對于其他值得注意的損失函數(例如logistic損失)，要得到這樣一個好的形式并不容易。所以在一般情況下，我們把損失函數的泰勒展開式推廣到二階

這就成了我們對新樹的優化目標。該定義的一個重要優點是，目標函數的值僅依賴于

和

。這就是XGBoost支持自定義損失的方式。我們可以使用完全相同的以

和

作為輸入的求解器來優化每個損失函數，包括邏輯回歸和成對排序

正則化

接下來，我們將處理正則化項，但在此之前，我們需要了解如何以數學方式定義決策樹。 直觀來說，決策樹主要是葉節點、數據點和將數據點分配給這些葉節點的函數的組合。 數學上它寫為：

其中JT是葉數。此定義將樹上的預測過程描述為：

1. 將數據點

給一片葉子

2. 將相應分數

配給第

數據點

在XGBoost中，復雜度定義為：

XGBoost中的超參數描述如下：

當然，定義復雜度的方法不止一種，但這一種方法在實踐中效果很好。正則化是大多數基于樹的方法處理得不太仔細或忽略掉的一部分。這是因為傳統的樹學習方法只強調提升純度，而復雜度的控制則只能基于試探。通過正式定義它，我們可以更好地了解我們的模型正在學習的內容，并獲得泛化能力良好的模型

最后一個方程衡量的是樹的結構的優劣。

如果聽起來有些復雜，讓我們看一下圖片，看看如何計算分數。

基本上，對于給定的樹結構，我們將統計信息

和

推入它們所屬的葉節點，將統計信息求和，然后使用這一公式計算樹的質量。 該分數類似于決策樹中的純度度量，不同之處在于它還考慮了模型的復雜性

學習樹的結構

現在，我們有了一種方法來衡量一棵樹的質量。理想情況下，我們將枚舉所有可能的樹并選擇最佳的樹，但實際上這是非常棘手的，因此我們將嘗試一次優化一個樹的部分。 具體來說，我們嘗試將一片葉子分成兩片葉子，其得分為

該公式可分解為: 1)新左葉上的分數；2)新右葉上的分數；3)原始葉上的分數；4)附加葉上的正則化。 我們在這里可以看到一個重要的事實：如果增益小于

，我們最好不要添加該分支，這正是基于樹的模型中的修剪技術！ 通過使用監督學習的原理，我們自然可以得出這些技術起作用的原因

很好，現在希望我們對XGBoost有一個初步的了解，以及為什么它會這樣工作。下次見！

作者：Dip Ranjan Chatterjee

deephub翻譯組：Alexander Zhao

總結

以上是生活随笔為你收集整理的xgboost 正则项_XGBoos算法背后的数学：尽可能简单地解释XGBoost算法背后的机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。