簡介

通常來說，我們可以從兩個方面來提高一個預測模型的準確性：完善特征工程（feature engineering）或是直接使用Boosting算法。通過大量數據科學競賽的試煉，我們可以發現人們更鐘愛于Boosting算法，這是因為和其他方法相比，它在產生類似的結果時往往更加節約時間。

Boosting算法有很多種，比如梯度推進（Gradient Boosting）、XGBoost、AdaBoost、Gentle Boost等等。每一種算法都有自己不同的理論基礎，通過對它們進行運用，算法之間細微的差別也能夠被我們所察覺。如果你是一個新手，那么太好了，從現在開始，你可以用大約一周的時間來了解和學習這些知識。

在本文中，筆者將會向你介紹梯度推進算法的基本概念及其復雜性，此外，文中還分享了一個關于如何在R語言中對該算法進行實現的例子。

快問快答

每當談及Boosting算法，下列兩個概念便會頻繁的出現：Bagging和Boosting。那么，這兩個概念是什么，它們之間究竟有什么區別呢？讓我們快速簡要地在這里解釋一下：

Bagging：對數據進行隨機抽樣、建立學習算法并且通過簡單平均來得到最終概率結論的一種方法。

Boosting：與Bagging類似，但在樣本選擇方面顯得更為聰明一些——在算法進行過程中，對難以進行分類的觀測值賦予了越來越大的權重。

我們知道你可能會在這方面產生疑問：什么叫做越來越大？我怎么知道我應該給一個被錯分的觀測值額外增加多少的權重呢？請保持冷靜，我們將在接下來的章節里為你解答。

從一個簡單的例子出發

假設你有一個初始的預測模型M需要進行準確度的提高，你知道這個模型目前的準確度為80%（通過任何形式度量），那么接下來你應該怎么做呢？

有一個方法是，我們可以通過一組新的輸入變量來構建一個全新的模型，然后對它們進行集成學習。但是，筆者在此要提出一個更簡單的建議，如下所示：

Y?= M(x) + error

或許，你會發現模型的準確率提高到了一個更高的數字，比如84%。那么下一步讓我們對error2進行回歸。

error2 = H(x) + error3

然后我們將上述式子組合起來：

Y = M(x) + G(x) + H(x) + error3

這樣的結果可能會讓模型的準確度更進一步，超過84%。如果我們能像這樣為三個學習算法找到一個最佳權重分配，

Y = alpha * M(x) + beta * G(x) + gamma * H(x) + error4

那么，我們可能就構建了一個更好的模型。

上面所述的便是Boosting算法的一個基本原則，當我初次接觸到這一理論時，我的腦海中很快地冒出了這兩個小問題：

1.我們如何判斷回歸／分類方程中的誤差項是不是白噪聲？如果無法判斷，我們怎么能用這種算法呢？

2.如果這種算法真的這么強大，我們是不是可以做到接近100％的模型準確度？

接下來，我們將會對這些問題進行解答，但是需要明確的是，Boosting算法的目標對象通常都是一些弱算法，而這些弱算法都不具備只保留白噪聲的能力；其次，Boosting有可能導致過度擬合，所以我們必須在合適的點上停止這個算法。

試著想象一個分類問題

請看下圖：

從最左側的圖開始看，那條垂直的線表示我們運用算法所構建的分類器，可以發現在這幅圖中有3/10的觀測值的分類情況是錯誤的。接著，我們給予那三個被誤分的“＋”型的觀測值更高的權重，使得它們在構建分類器時的地位非常重要。這樣一來，垂直線就直接移動到了接近圖形右邊界的位置。反復這樣的過程之后，我們在通過合適的權重組合將所有的模型進行合并。

算法的理論基礎

我們該如何分配觀測值的權重呢？

通常來說，我們從一個均勻分布假設出發，我們把它稱為D1，在這里，n個觀測值分別被分配了1/n的權重。

步驟1：假設一個α（t）；

步驟2：得到弱分類器h（t）；

步驟3：更新總體分布，

其中，

步驟4：再次運用新的總體分布去得到下一個分類器；

覺得步驟3中的數學很可怕嗎？讓我們來一起擊破這種恐懼。首先，我們簡單看一下指數里的參數，α表示一種學習率，y是實際的回應值（＋1或－1），而h（x）則是分類器所預測的類別。簡單來說，如果分類器預測錯了，這個指數的冪就變成了1 *α， 反之則是－1*α。也就是說，如果某觀測值在上一次預測中被預測錯誤，那么它對應的權重可能會增加。那么，接下來該做什么呢？

步驟5：不斷重復步驟1-步驟4，直到無法發現任何可以改進的地方；

步驟6：對所有在上面步驟中出現過的分類器或是學習算法進行加權平均，權重如下所示：

案例練習

library(caret) rm(list=ls()) setwd("C:\\Users\\ts93856\\Desktop\\AV") library(Metrics) complete <- read.csv("complete_data.csv", stringsAsFactors = TRUE) train <- complete[complete$Train == 1,] score <- complete[complete$Train != 1,] set.seed(999) ind <- sample(2, nrow(train), replace=T, prob=c(0.60,0.40)) trainData<-train[ind==1,] testData <- train[ind==2,] set.seed(999) ind1 <- sample(2, nrow(testData), replace=T, prob=c(0.50,0.50)) trainData_ens1<-testData[ind1==1,] testData_ens1 <- testData[ind1==2,] table(testData_ens1$Disbursed)[2]/nrow(testData_ens1) #Response Rate of 9.052%接下來，就是構建一個梯度推進模型（Gradient Boosting Model）所要做的： fitControl <- trainControl(method = "repeatedcv", number = 4, repeats = 4) trainData$outcome1 <- ifelse(trainData$Disbursed == 1, "Yes","No") set.seed(33) gbmFit1 <- train(as.factor(outcome1) ~ ., data = trainData[,-26], method = "gbm", trControl = fitControl,verbose = FALSE) gbm_dev <- predict(gbmFit1, trainData,type= "prob")[,2] gbm_ITV1 <- predict(gbmFit1, trainData_ens1,type= "prob")[,2] gbm_ITV2 <- predict(gbmFit1, testData_ens1,type= "prob")[,2] auc(trainData$Disbursed,gbm_dev) auc(trainData_ens1$Disbursed,gbm_ITV1) auc(testData_ens1$Disbursed,gbm_ITV2)在上述案例中，運行代碼后所看到的所有AUC值將會非常接近0.84。我們隨時歡迎你對這段代碼進行進一步的完善。在這個領域，梯度推進模型（GBM）是最為廣泛運用的方法，在未來的文章里，我們可能會對GXBoost等一些更加快捷的Boosting算法進行介紹。

原文作者：TAVISH SRIVASTAVA?

翻譯：SDCry！！！
原文鏈接：http://www.analyticsvidhya.com/blog/2015/09/complete-guide-boosting-methods/

總結

以上是生活随笔為你收集整理的基于R语言的梯度推进算法介绍的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。