原論文：

http://learningsys.org/nips17/assets/papers/paper_11.pdf

catboost****原理：

One-hot編碼可以在預處理階段或在訓練期間完成。后者對于訓練時間而言能更有效地執(zhí)行，并在Catboost中執(zhí)行。

類別特征：

為了減少過擬合以及使用整個數(shù)據(jù)集進行訓練，Catboost使用更有效的策略。

1、對輸入的觀察值的集合進行隨機排列，生成多個隨機排列；

2、給定一個序列，對于每個例子，對于相同類別的例子我們計算平均樣本值；

3、使用如下公式將所有的分類特征值轉(zhuǎn)換為數(shù)值：

讓，那么可以代替為

在這里，我們還增加了先驗值P和參數(shù)a>0，即為先驗的權重。添加先驗是一種常見的做法，它有助于減少從低頻類別獲得的噪聲。

特征組合：

在數(shù)據(jù)集中，組合的數(shù)量隨類別特征個數(shù)成指數(shù)型增長，在算法中不太可能考慮所有。在當前樹考慮新的拆分時，Catboost以貪婪的方式考慮組合。

1、 第一次分裂不考慮任何組合在樹上；

2、 對于下一次分類，在有所有類別特征的數(shù)據(jù)集的當前樹，Catboost包含了所有的組合和分類特征。組合值即被轉(zhuǎn)換為數(shù)字；

3、 Catboost還以以下方式生成數(shù)值和類別特征的組合:在樹中選擇的所有分裂視為具有兩個值的類別，并在組合中也類似使用。

python****代碼：

import catboostmodel = CatBoostClassifier(iterations=17000,\# depth = 6,learning_rate = 0.03,custom_loss='AUC',eval_metric='AUC',bagging_temperature=0.83,od_type='Iter',rsm = 0.78,od_wait=150,metric_period = 400,l2_leaf_reg = 5,thread_count = 20,random_seed = 967)model.fit(tr_x, tr_y, eval_set=(te_x, te_y),use_best_model=True)pre= model.predict_proba(te_x)[:,1].reshape((te_x.shape[0],1))train[test_index]=pretest_pre[i, :]= model.predict_proba(test_x)[:,1].reshape((test_x.shape[0],1))print (roc_auc_score(te_y, pre))cv_scores.append(roc_auc_score(te_y, pre))

總結

以上是生活随笔為你收集整理的catboost原理以及Python代码的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。