1.7特征選擇

特征選擇對機器學習至關重要，個人認為在大部分機器學習任務中特征就決定了效果的上限，模型的選擇與組合只是無限逼近于這個上限。

特征選擇的主要作用包括：減少特征數量會防止維度災難，減少訓練時間；增強模型泛化能力，減少過擬合；增強對特征和特征值的理解。

常見的特征選擇方法如下：

去除取值變化小的特征：如果絕大部分實例的某個特征取值一樣，那這個特征起到的作用可能就比較有限，極端情況下如果所有實例的某特征取值都一樣，那該特征基本就不起作用。

單變量特征選擇法：能夠對每一個特征進行測試，衡量該特征和響應變量之間的關系，根據得分扔掉不好的特征。常見方法包括卡法檢驗、互信息、皮爾森相關系數、距離相關系數、基于學習模型的特征排序(Model based ranking)等。

正則化：L1正則化、L2正則化。

隨機森林特征選擇：這類方法主要包括平均不純度減少(mean decrease impurity)和平均精確率減少(Mean decrease accuracy)兩種方法。

頂層特征選擇法：這類方法主要包括穩定性選擇(Stability selection)和遞歸特征消除(Recursive feature elimination)兩種方法。

https://zhuanlan.zhihu.com/p/46320419

總結

以上是生活随笔為你收集整理的特征选择对于机器学习重要性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。