本場 Chat 和《NLP 中文短文本分類項目實踐（上）》可以看做姊妹篇，在上一篇的基礎上，本篇主要講一下文本分類在集成學習和深度學習方面的應用，由于內容比較多，筆者不可能面面俱到。下面我們先從集成學習說起。

一、數據科學比賽大殺器 XGBoost 實戰文本分類

在說 XGBoost 之前，我們先簡單從樹模型說起，典型的決策樹模型。決策樹的學習過程主要包括：

• 特征選擇： 從訓練數據的特征中選擇一個特征作為當前節點的分裂標準（特征選擇的標準不同產生了不同的特征決策樹算法，如根據信息增益、信息增益率和gini等）。

• 決策樹生成： 根據所選特征評估標準，從上至下遞歸地生成子節點，直到數據集不可分則停止決策樹生長。

• 剪枝： 決策樹容易過擬合，需通過剪枝來預防過擬合（包括預剪枝和后剪枝）。

常見的決策樹算法有 ID3、C4.5、CART 等。

在 sklearn 中決策樹分類模型如下，可以看到默認通過 gini 計算實現。

sklearn.tree.DecisionTreeClassifier(criterion=’gini’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.

總結

以上是生活随笔為你收集整理的NLP 中文短文本分类项目实践（下）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。