特征選擇方法不少，這里介紹CFS（特征相關(guān)的特征選擇）

一、相關(guān)性特征選擇CFS

????????CFS是能確定所選子集特征個數(shù)的特征選擇方法，該法估計特征子集、并對特征子集而不是單個特征進(jìn)行排秩。CFS的核心是采用啟發(fā)的方式評估特征子集的價值；啟發(fā)方式基于的假設(shè)：好的特征子集包含與分類高度相關(guān)的特征，但特征之間彼此不相關(guān)。

其中，S?是特征子集，包含 k個特征，????是平均的特征和類之間的相關(guān)性，?是平均的特征和特征之間的相關(guān)性。

CFS采用對稱不確定性SU計算上式中的相關(guān)性:

????????CFS首先從訓(xùn)練集中計算特征-類和特征-特征相關(guān)矩陣，然后用最佳優(yōu)先搜索（best first search）搜索特征子集空間。也可使用其他的搜索方法，包括前向選擇(forward selection)，后向消除(backward elimination)。前向選擇剛開始沒有特征，然后貪心地增加一個特征直到?jīng)]有合適的特征加入。后向消除開始有全部特征，然后每一次貪心地去除一個特征直到估計值不再降低。最佳優(yōu)先搜索和前兩種搜索方法差不多。可以開始于空集或全集，以空集S為例，開始時沒有特征選擇，并產(chǎn)生了所有可能的單個特征；計算特征的估計值（由merit值表示），并選擇merit值最大的一個特征進(jìn)入S，然后選擇第二個擁有最大的merit值的特征進(jìn)入S，如果這兩個特征的merit值小于原來的merit值，則去除這個第二個最大的merit值的特征，然后在進(jìn)行下一個，這樣依次遞進(jìn)，找出使merit最大的特征組合。

它的時間復(fù)雜度為??,m是子集中特征個數(shù)，n是全部特征個數(shù);

二、實現(xiàn)步驟和流程

?關(guān)于特征選擇還有其它方法，以后慢慢介紹。

參考文檔：

(1條消息) python特征選擇（一款非常棒的特征選擇工具：feature-selector）_youif的博客-CSDN博客_python特征選擇https://blog.csdn.net/youif/article/details/104830519A Feature Selection Tool for Machine Learning in Python | by Will Koehrsen | Towards Data Sciencehttps://towardsdatascience.com/a-feature-selection-tool-for-machine-learning-in-python-b64dd23710f0

總結(jié)

以上是生活随笔為你收集整理的机器学习：如何用相关性实现特征选择？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。