本篇不是介紹RF的，關于RF網(wǎng)上有很多通俗易懂的解釋
西瓜書與統(tǒng)計學習方法等很多教材中的解釋也都足夠
本篇僅針對如何使用sklearn中的RandomForestClassifier作記錄

一、代碼怎么寫

[python]?view plaincopy print?

class?sklearn.ensemble.RandomForestClassifier(n_estimators=10,?crite-rion=’gini’,?max_depth=None,????

min_samples_split=2,?min_samples_leaf=1,????

min_weight_fraction_leaf=0.0,????

max_features=’auto’,????

max_leaf_nodes=None,?bootstrap=True,????

oob_score=False,?n_jobs=1,?ran-dom_state=None,?verbose=0,????

warm_start=False,?class_weight=None)????

二、關于參數(shù)

其中關于決策樹的參數(shù)：

criterion: ”gini” or “entropy”(default=”gini”)是計算屬性的gini(基尼不純度)還是entropy(信息增益)，來選擇最合適的節(jié)點。

splitter: ”best” or “random”(default=”best”)隨機選擇屬性還是選擇不純度最大的屬性，建議用默認。

max_features: 選擇最適屬性時劃分的特征不能超過此值。

當為整數(shù)時，即最大特征數(shù)；當為小數(shù)時，訓練集特征數(shù)*小數(shù)；

if “auto”, then max_features=sqrt(n_features).

If “sqrt”, thenmax_features=sqrt(n_features).

If “l(fā)og2”, thenmax_features=log2(n_features).

If None, then max_features=n_features.

max_depth: (default=None)設置樹的最大深度，默認為None，這樣建樹時，會使每一個葉節(jié)點只有一個類別，或是達到min_samples_split。

min_samples_split:根據(jù)屬性劃分節(jié)點時，每個劃分最少的樣本數(shù)。

min_samples_leaf:葉子節(jié)點最少的樣本數(shù)。

max_leaf_nodes: (default=None)葉子樹的最大樣本數(shù)。

min_weight_fraction_leaf: (default=0) 葉子節(jié)點所需要的最小權值

verbose:(default=0) 是否顯示任務進程

關于隨機森林特有的參數(shù)：

n_estimators=10：決策樹的個數(shù)，越多越好，但是性能就會越差，至少100左右（具體數(shù)字忘記從哪里來的了）可以達到可接受的性能和誤差率。?

bootstrap=True：是否有放回的采樣。 ?

oob_score=False：oob（out of band，帶外）數(shù)據(jù)，即：在某次決策樹訓練中沒有被bootstrap選中的數(shù)據(jù)。多單個模型的參數(shù)訓練，我們知道可以用cross validation（cv）來進行，但是特別消耗時間，而且對于隨機森林這種情況也沒有大的必要，所以就用這個數(shù)據(jù)對決策樹模型進行驗證，算是一個簡單的交叉驗證。性能消耗小，但是效果不錯。 ?

n_jobs=1：并行job個數(shù)。這個在ensemble算法中非常重要，尤其是bagging（而非boosting，因為boosting的每次迭代之間有影響，所以很難進行并行化），因為可以并行從而提高性能。1=不并行；n：n個并行；-1：CPU有多少core，就啟動多少job

warm_start=False：熱啟動，決定是否使用上次調用該類的結果然后增加新的。 ?

class_weight=None：各個label的權重。 ?

進行預測可以有幾種形式：

predict_proba(x)：給出帶有概率值的結果。每個點在所有l(wèi)abel的概率和為1. ?

predict(x)：直接給出預測結果。內部還是調用的predict_proba()，根據(jù)概率的結果看哪個類型的預測值最高就是哪個類型。 ?

predict_log_proba(x)：和predict_proba基本上一樣，只是把結果給做了log()處理。 ?

總結

以上是生活随笔為你收集整理的Random Forest算法中的参数详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。