之前一直對(duì)stacking一知半解，找到的資料也介紹的很模糊。所以有多看了幾篇文章，然后來(lái)此寫(xiě)篇博客，加深一下印象，順便給各位朋友分享一下。

?

stacking的過(guò)程有一張圖非常經(jīng)典，如下：

?

雖然他很直觀(guān)，但是沒(méi)有語(yǔ)言描述確實(shí)很難搞懂。

?

上半部分是用一個(gè)基礎(chǔ)模型進(jìn)行5折交叉驗(yàn)證，如：用XGBoost作為基礎(chǔ)模型Model1，5折交叉驗(yàn)證就是先拿出四折作為training data，另外一折作為testing data。注意：在stacking中此部分?jǐn)?shù)據(jù)會(huì)用到整個(gè)traing set。如：假設(shè)我們整個(gè)training set包含10000行數(shù)據(jù)，testing set包含2500行數(shù)據(jù)，那么每一次交叉驗(yàn)證其實(shí)就是對(duì)training set進(jìn)行劃分，在每一次的交叉驗(yàn)證中training data將會(huì)是8000行，testing data是2000行。

?

每一次的交叉驗(yàn)證包含兩個(gè)過(guò)程，1. 基于training data訓(xùn)練模型；2. 基于training data訓(xùn)練生成的模型對(duì)testing data進(jìn)行預(yù)測(cè)。在整個(gè)第一次的交叉驗(yàn)證完成之后我們將會(huì)得到關(guān)于當(dāng)前testing data的預(yù)測(cè)值，這將會(huì)是一個(gè)一維2000行的數(shù)據(jù)，記為a1。注意！在這部分操作完成后，我們還要對(duì)數(shù)據(jù)集原來(lái)的整個(gè)testing set進(jìn)行預(yù)測(cè)，這個(gè)過(guò)程會(huì)生成2500個(gè)預(yù)測(cè)值，這部分預(yù)測(cè)值將會(huì)作為下一層模型testing data的一部分，記為b1。因?yàn)槲覀冞M(jìn)行的是5折交叉驗(yàn)證，所以以上提及的過(guò)程將會(huì)進(jìn)行五次，最終會(huì)生成針對(duì)testing set數(shù)據(jù)預(yù)測(cè)的5列2000行的數(shù)據(jù)a1,a2,a3,a4,a5，對(duì)testing set的預(yù)測(cè)會(huì)是5列2500行數(shù)據(jù)b1,b2,b3,b4,b5。

?

在完成對(duì)Model1的整個(gè)步驟之后，我們可以發(fā)現(xiàn)a1,a2,a3,a4,a5其實(shí)就是對(duì)原來(lái)整個(gè)training set的預(yù)測(cè)值，將他們拼湊起來(lái)，會(huì)形成一個(gè)10000行一列的矩陣，記為A1。而對(duì)于b1,b2,b3,b4,b5這部分?jǐn)?shù)據(jù)，我們將各部分相加取平均值，得到一個(gè)2500行一列的矩陣，記為B1。

?

以上就是stacking中一個(gè)模型的完整流程，stacking中同一層通常包含多個(gè)模型，假設(shè)還有Model2: LR，Model3：RF，Model4: GBDT，Model5：SVM，對(duì)于這四個(gè)模型，我們可以重復(fù)以上的步驟，在整個(gè)流程結(jié)束之后，我們可以得到新的A2,A3,A4,A5,B2,B3,B4,B5矩陣。

?

在此之后，我們把A1,A2,A3,A4,A5并列合并得到一個(gè)10000行五列的矩陣作為training data，B1,B2,B3,B4,B5并列合并得到一個(gè)2500行五列的矩陣作為testing data。讓下一層的模型，基于他們進(jìn)一步訓(xùn)練。

?

以上即為stacking的完整步驟！

總結(jié)

以上是生活随笔為你收集整理的模型融合之stacking方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。