【特征工程】（未完成）特征選擇

特征選擇
特征選擇是特征工程中的重要問題（另一個重要的問題是特征提取），坊間常說：數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限而已。由此可見，特征工程尤其是特征選擇在機器學習中占有相當重要的地位。通常而言，特征選擇是指選擇獲得相應模型和算法最好性能的特征集，工程上常用的方法有以下：

計算每一個特征與響應變量的相關性：工程上常用的手段有計算皮爾遜系數和互信息系數，皮爾遜系數只能衡量線性相關性而互信息系數能夠很好地度量各種相關性，但是計算相對復雜一些，好在很多toolkit里邊都包含了這個工具（如sklearn的MINE），得到相關性之后就可以排序選擇特征了；

構建單個特征的模型，通過模型的準確性為特征排序，借此來選擇特征，另外，記得JMLR’03上有一篇論文介紹了一種基于決策樹的特征選擇方法，本質上是等價的。當選擇到了目標特征之后，再用來訓練最終的模型；

通過L1正則項來選擇特征：L1正則方法具有稀疏解的特性，因此天然具備特征選擇的特性，但是要注意，L1沒有選到的特征不代表不重要，原因是兩個具有高相關性的特征可能只保留了一個，如果要確定哪個特征重要應再通過L2正則方法交叉檢驗

訓練能夠對特征打分的預選模型：RandomForest和Logistic Regression等都能對模型的特征打分，通過打分獲得相關性后再訓練最終模型；

通過特征組合后再來選擇特征：如對用戶id和用戶特征最組合來獲得較大的特征集再來選擇特征，這種做法在推薦系統和廣告系統中比較常見，這也是所謂億級甚至十億級特征的主要來源，原因是用戶數據比較稀疏，組合特征能夠同時兼顧全局模型和個性化模型，這個問題有機會可以展開講。
6.通過深度學習來進行特征選擇：目前這種手段正在隨著深度學習的流行而成為一種手段，尤其是在計算機視覺領域，原因是深度學習具有自動學習特征的能力，這也是深度學習又叫unsupervised feature learning的原因。從深度學習模型中選擇某一神經層的特征后就可以用來進行最終目標模型的訓練了。

【參考】
作者：北冥有小魚 原文：https://blog.csdn.net/qq_26598445/article/details/80998760

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的【特征工程】（未完成）特征选择的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。