機器學習就是樣本中有大量的x（特征量）和y（目標變量）然后求這個function。（了解更多可以看： https://zhuanlan.zhihu.com/p/21340974?refer=mlearn ）

求函數(shù)的方法，基于理論上來說，大部分函數(shù)都能找到一個近似的泰勒展開式。而機器學習，就是用數(shù)據(jù)去擬合這個所謂的“近似的泰勒展開式”。

---

實際面試時很看重和考察你的理論基礎，所以一定一定要重視各個算法推導過程中的細節(jié)問題。這里主要介紹：logistic回歸，隨機森林，GBDT和Adaboost

1.邏輯回歸

邏輯回歸從統(tǒng)計學的角度看屬于非線性回歸中的一種，它實際上是一種分類方法，主要用于兩分類問題

Regression問題的常規(guī)步驟為：
尋找h函數(shù)（即假設估計的函數(shù)）；
構造J函數(shù)（損失函數(shù)）；
想辦法使得J函數(shù)最小并求得回歸參數(shù)（θ）；
數(shù)據(jù)擬合問題

1）利用了Logistic函數(shù)（或稱為Sigmoid函數(shù)），函數(shù)形式為最常見的

1.png

2）代價函數(shù)J
下面的代價函數(shù)J之所有前面加上1/m是為了后面”梯度下降求參數(shù)θ時更方便“，也即這里不加1/m也可以。

2.png

3.png

4.png

5.png

3）使得J函數(shù)最小并求得回歸參數(shù)（θ） 如何調(diào)整θ以使得J(θ)取得最小值有很多方法，比如最小二乘法，梯度下降也是一種，這里介紹一下梯度下降。

梯度下降是最基礎的一個優(yōu)化算法，學習因子就是梯度下降里的學習率，一個參數(shù)。

梯度方向表示了函數(shù)增長速度最快的方向，那么和它相反的方向就是函數(shù)減少速度最快的方向了。對于機器學習模型優(yōu)化的問題，當我們需要求解最小值的時候，朝著梯度下降的方向走，就能找到最優(yōu)值了。

學習因子即步長α的選擇對梯度下降算法來說很重要，α過小會導致收斂太慢；若α太大，可能跳過最優(yōu)，從而找不到最優(yōu)解。

1）當梯度下降到一定數(shù)值后，每次迭代的變化很小，這時可以設定一個閾值，只要變化小于該閾值，就停止迭代，而得到的結果也近似于最優(yōu)解。
2）若損失函數(shù)的值不斷變大，則有可能是步長速率a太大，導致算法不收斂，這時可適當調(diào)整a值

對于樣本數(shù)量額非常之多的情況，普通的批量梯度下降算法（Batch gradient descent ）會非常耗時，靠近極小值時收斂速度減慢，因為每次迭代都要便利所有樣本，這時可以選擇隨機梯度下降算法（Stochastic gradient descent）梯度下降需要把m個樣本全部帶入計算，迭代一次計算量為m\*n^2；隨機梯度下降每次只使用一個樣本，迭代一次計算量為n^2，當m很大的時候，隨機梯度下降迭代一次的速度要遠高于梯度下降，雖然不是每次迭代得到的損失函數(shù)都向著全局最優(yōu)方向， 但是大的整體的方向是向全局最優(yōu)解的，最終的結果往往是在全局最優(yōu)解附近。

6.png

4）數(shù)據(jù)的擬合問題
第一種是欠擬合，通常是因為特征量選少了。
第二種是我們想要的。
第三個是過擬合，通常是因為特征量選多了。

欠擬合的解決方法是增加特征量。
過擬合的解決方法是減少特征量或者正則化。

但是一般情況下我們又不能確定哪些特征量該去掉，所以我們就選擇正則化的方式解決過擬合。

7.png

2.決策樹

決策樹這種算法有著很多良好的特性，比如說訓練時間復雜度較低，預測的過程比較快速，模型容易展示。單決策樹又有一些不好的地方，比如說容易over-fitting

這里首先介紹如何構造決策樹：
（1）如何分割某一結點，方法有很多，分別針對二元屬性、序數(shù)屬性、連續(xù)屬性等進行劃分。
（2）在有多個特征時，如何確定最佳的分割特征。
這里就涉及到純度的概念，若分割后的子結點都更偏向于一個類，那么純度越高。

但實際中我們通常對不純度進行度量，即不純度越小，則認為該特征的區(qū)分度越高。
不純度的度量方式有三種：

8.png

具體的計算方法如下：

9.png

10.png

上圖10中得到多個子結點M1，M2的GINI或者熵后，一般通過加權平均的方法求M12;

那么增益就可以用M0-M12來表示

在決策樹算法中，通過比較劃分前后的不純度值，來確定如何分裂。ID3使用信息增益作為不純度，C4.5使用信息增益比作為不純度，CART使用基尼指數(shù)作為不純度。

• 信息增益為：父結點與所有子結點不純程度的差值，差越大，則增益越大，表示特征的效果越好。
• 有時候并不是分割的越多越好，如果某個特征產(chǎn)生了大量的劃分，它的劃分信息將會很大，此時采用信息增益率 以ID3為例，使用訓練樣本建立決策樹時，在每一個內(nèi)部節(jié)點依據(jù)信息論來評估選擇哪一個屬性作為分割 的依據(jù)。對于過擬合的問題，一般要對決策樹進行剪枝，剪枝有兩種方法：先剪枝，后剪枝。 先剪枝說白了就是提前結束決策樹的增長，跟上述決策樹停止生長的方法一樣。 后剪枝是指在決策樹生長完成之后再進行剪枝的過程。

（3）何時停止劃分。

11.png

3.隨機森林

隨機森林是一個包含多個決策樹的分類器，構建過程如下： 1）決策樹相當于一個大師，通過自己在數(shù)據(jù)集中學到的知識對于新的數(shù)據(jù)進行分類。但是俗話說得好，一個諸葛亮，玩不過三個臭皮匠。隨機森林就是希望構建多個臭皮匠，希望最終的分類效果能夠超過單個大師的一種算法。

2）那隨機森林具體如何構建呢？有兩個方面：數(shù)據(jù)的隨機性選取，以及待選特征的隨機選取。

• 數(shù)據(jù)的隨機選取： 第一，從原始的數(shù)據(jù)集中采取有放回的抽樣，構造子數(shù)據(jù)集，子數(shù)據(jù)集的數(shù)據(jù)量是和原始數(shù)據(jù)集相同的。不同子數(shù)據(jù)集的元素可以重復，同一個子數(shù)據(jù)集中的元素也可以重復。 第二，利用子數(shù)據(jù)集來構建子決策樹，將這個數(shù)據(jù)放到每個子決策樹中，每個子決策樹輸出一個結果。最后，如果有了新的數(shù)據(jù)需要通過隨機森林得到分類結果，就可以通過對子決策樹的判斷結果的投票，得到隨機森林的輸出結果了。如下圖，假設隨機森林中有3棵子決策樹，2棵子樹的分類結果是A類，1棵子樹的分類結果是B類，那么隨機森林的分類結果就是A類。

12.png

• 待選特征的隨機選取： 與數(shù)據(jù)集的隨機選取類似，隨機森林中的子樹的每一個分裂過程并未用到所有的待選特征，而是從所有的待選特征中隨機選取一定的特征，之后再在隨機選取的特征中選取最優(yōu)的特征。這樣能夠使得隨機森林中的決策樹都能夠彼此不同，提升系統(tǒng)的多樣性，從而提升分類性能。

---

此外，以決策樹為基函數(shù)的提升方法稱為提升樹（boosting tree)，包括GBDT,xgboost,adaboost，這里只主要介紹GBDT和xgboost。

先說說bootstrap, bagging，boosting 的含義。 Bootstrap是一種有放回的抽樣方法思想。

該思想的應用有兩方面：bagging和boosting 雖然都是有放回的抽樣，但二者的區(qū)別在于：Bagging采用有放回的均勻取樣，而Boosting根據(jù)錯誤率來取樣（Boosting初始化時對每一個訓練例賦相等的權重1／n，然后用該學算法對訓練集訓練t輪，每次訓練后，對訓練失敗的訓練例賦以較大的權重），因此Boosting的分類精度要優(yōu)于Bagging。Bagging的訓練集的選擇是隨機的，各輪訓練集之間相互獨立，而Boostlng的各輪訓練集的選擇與前面各輪的學習結果有關。

4.GBDT(Gradient Boost Decision Tree 梯度提升決策樹)

GBDT是以決策樹（CART）為基學習器的GB算法，是迭代樹，而不是分類樹。 Boost是"提升"的意思，一般Boosting算法都是一個迭代的過程，每一次新的訓練都是為了改進上一次的結果。

GBDT的核心就在于：每一棵樹學的是之前所有樹結論和的殘差，這個殘差就是一個加預測值后能得真實值的累加量。比如A的真實年齡是18歲，但第一棵樹的預測年齡是12歲，差了6歲，即殘差為6歲。那么在第二棵樹里我們把A的年齡設為6歲去學習，如果第二棵樹真的能把A分到6歲的葉子節(jié)點，那累加兩棵樹的結論就是A的真實年齡；如果第二棵樹的結論是5歲，則A仍然存在1歲的殘差，第三棵樹里A的年齡就變成1歲，繼續(xù)學習。

13.png

14.png

5.xgboost

xgboos也是以（CART）為基學習器的GB算法**，但是擴展和改進了GDBT。相比GBDT的優(yōu)點有：

（1）xgboost在代價函數(shù)里自帶加入了正則項，用于控制模型的復雜度。

（2）xgboost在進行節(jié)點的分裂時，支持各個特征多線程進行增益計算，因此算法更快，準確率也相對高一些。

原文發(fā)布于微信公眾號 - 大數(shù)據(jù)挖掘DT數(shù)據(jù)分析（datadw）

原文發(fā)表時間：2017-03-18

本文參與騰訊云自媒體分享計劃，歡迎正在閱讀的你也加入，一起分享。

發(fā)表于 2018-03-142018-03-14 17:53:05大數(shù)據(jù)挖掘DT機器學習821篇文章187人訂閱訂閱專欄

• 用XGBoost做時間序列預測—forecastxgb包
• GBDT迭代決策樹入門教程
• 欺詐預測機器學習模型設計：準確率和召回率
• 50多條實用mysql數(shù)據(jù)庫優(yōu)化建議
• 用python抓取摩拜單車API數(shù)據(jù)并做可視化分析(源碼>

總結

以上是生活随笔為你收集整理的数据挖掘算法（logistic回归，随机森林，GBDT和xgboost）-腾讯云社区的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。