作者：杰少

Kaggle競(jìng)賽知識(shí)點(diǎn)--RFE！

簡(jiǎn) 介

Recursive Feature Elimination(RFE)算法是數(shù)據(jù)競(jìng)賽中最為流行的特征篩選方案之一，和我們平時(shí)在做try and error的思路相似：

• 每次我們從數(shù)據(jù)集中找到最不重要的特征，然后將其刪除，再基于新數(shù)據(jù)集重新訓(xùn)練，重新篩選......

因而非常多的數(shù)據(jù)科學(xué)家都會(huì)推薦大家使用其作為非常強(qiáng)的Baseline。

RFE是一種wrapper類(lèi)型的特征篩選算法，也就是說(shuō):

• 我們給定一個(gè)機(jī)器學(xué)習(xí)算法，該機(jī)器學(xué)習(xí)算法被RFE包裹，然后一起做特征選擇。

因?yàn)镽FE的使用需要同時(shí)輸入模型以及保留的特征數(shù)，但是保留多少的特征是一個(gè)未知的事情，較難控制，這個(gè)時(shí)候我們需要用到RFECV，一種結(jié)合了交叉驗(yàn)證以及RFE的方案，該方案能自動(dòng)篩選出保留的特征個(gè)數(shù)，在實(shí)踐中效果也非常的不錯(cuò)。

本文就重點(diǎn)介紹RFE以及REFCV特征篩選算法。

Recursive Feature Elimination

1. RFE

遞歸特征消除（RFE）方法的工作步驟為:

輸入用于特征篩選的模型以及需要保留的特征數(shù)；

對(duì)指定的模型使用所有的特征進(jìn)行訓(xùn)練；

依據(jù)模型給出的特征重要性，刪除最不重要的少數(shù)幾個(gè)特征；

• • 特征一般是按照模型輸出的特征重要性排序的；

將剩余的特征重新輸入指定模型進(jìn)行訓(xùn)練，刪除最不重要的少數(shù)幾個(gè)特征，依次類(lèi)推，直至最后我們的特征數(shù)目小于等于我們要保留的數(shù)目之后停止。

2.RFECV

RFE方法使用所有數(shù)據(jù)進(jìn)行訓(xùn)練，再依據(jù)模型給出特征重要性進(jìn)行特征的篩選，之后再依據(jù)篩選之后的數(shù)據(jù)重新訓(xùn)練模型，再篩選，直到剩下的特征數(shù)達(dá)到我們?cè)O(shè)定的閾值時(shí)就停止，這么做受到一個(gè)非常大的限制：

• 保留的特征數(shù)需要預(yù)先人為設(shè)定，但很多時(shí)候我們并不知道需要保留多少特征；

所以最終我們得到的結(jié)果往往是次優(yōu)的。為了緩解該問(wèn)題，我們將交叉策略與RFE進(jìn)行結(jié)合；我們通過(guò)計(jì)算在不同特征數(shù)時(shí)模型的交叉分?jǐn)?shù)，然后選擇交叉分?jǐn)?shù)最好的特征數(shù)進(jìn)行輸出。

代 碼

1. 基于RFC的特征選擇

#?!pip?install?yellowbrick from?yellowbrick.datasets?import?load_credit? import?numpy?as?np from?numpy?import?mean from?numpy?import?std? from?sklearn.model_selection?import?cross_val_score from?sklearn.model_selection?import?RepeatedStratifiedKFold from?sklearn.feature_selection?import?RFECV,RFE from?sklearn.pipeline?import?Pipeline from?sklearn.preprocessing?import?MinMaxScaler,StandardScaler from?sklearn.linear_model?import?LogisticRegression? from?sklearn.tree?import?DecisionTreeClassifier import?pandas?as?pd #?1.構(gòu)建數(shù)據(jù)集 X,?y?=?load_credit()? columns?=?X.columns X?=?X[:5000] X?=?StandardScaler().fit_transform(X) y?=?y[:5000]

• ?輸出每個(gè)特征的排名

#?2.輸入的模型;保留一個(gè)特征:這樣可以輸出每個(gè)特征的rankings lr?=?LogisticRegression()? rfe?=?RFE(lr,?n_features_to_select=1,?verbose?=-1?)?# rfe.fit(X,y)#?3.輸出每個(gè)特征的重要性,此處也可以直接觀察rankings來(lái)判定 ranks?=?{}? def?ranking(ranks,?names,?order=1):minmax?=?MinMaxScaler()ranks?=?minmax.fit_transform(order*np.array([ranks]).T).T[0]?#?1表示最重要ranks?=?map(lambda?x:?round(x,2),?ranks)return?dict(zip(names,?ranks)) fea_imp?=?ranking(list(map(float,?rfe.ranking_)),?columns,?order=-1) rfe.ranking_ '''array([20,?23,?14,??9,?13,??1,?16,??7,?19,?11,?12,??3,??8,??4,?22,?10,?21,5,??2,?18,??6,?17,?15]) '''

• 輸出保留的特征名

columns[rfe.support_]'''Index(['apr_delay'],?dtype='object') '''

2.基于REFCV的特征選擇

• 輸出我們每個(gè)特征的排名

#?使用RFECV訓(xùn)練 rfecv???=?RFECV(estimator=DecisionTreeClassifier(),?step=1,?cv=5)? rfecv.fit(X,?y)? rfecv.ranking_ '''array([?1,?12,??8,?10,??1,??1,?14,??7,?13,??9,?11,??1,??1,??5,??1,??1,??4,?2,??1,??3,??6,??1,??1]) ''' array([ 1, 12, 8, 10, 1, 1, 14, 7, 13, 9, 11, 1, 1, 5, 1, 1, 4,2, 1, 3, 6, 1, 1])

• 輸出保留的特征名

columns[rfecv.support_] '''Index(['limit',?'age',?'apr_delay',?'apr_bill',?'may_bill',?'jul_bill','aug_bill',?'may_pay',?'aug_pay',?'sep_pay'],dtype='object') '''?

適用問(wèn)題

Recursive Feature Elimination(RFE)算法是Wrapper類(lèi)型的特征篩選算法，我們只需要簡(jiǎn)單的改變輸入模型就可以得到篩選的特征，非常簡(jiǎn)單易懂，RFE幾乎是適用于目前見(jiàn)到的90%的問(wèn)題的，可以作為特征篩選的一個(gè)重要的Baseline。

因?yàn)镽FE算法需要每次都重新訓(xùn)練進(jìn)行特征篩選，當(dāng)數(shù)據(jù)集非常大的時(shí)候，時(shí)間成本非常大，如果使用RFECV則還需要進(jìn)行N折的交叉驗(yàn)證，帶來(lái)的時(shí)間成本會(huì)變?yōu)樵鹊膸妆?#xff0c;一般建議充分考慮計(jì)算資源以及數(shù)據(jù)大小再使用。

參考文獻(xiàn)

Recursive Feature Elimination (RFE) for Feature Selection in Python

Recursive Feature Elimination

Feature Ranking RFE, Random Forest, linear models

Recursive Feature Elimination (RFE) example

sklearn.feature_selection.RFECV

sklearn.feature_selection.RFE

往期精彩回顧適合初學(xué)者入門(mén)人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專(zhuān)輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專(zhuān)輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專(zhuān)輯溫州大學(xué)《機(jī)器學(xué)習(xí)課程》視頻 本站qq群851320808，加入微信群請(qǐng)掃碼：

總結(jié)

以上是生活随笔為你收集整理的【数据竞赛】懒人特征筛选算法！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。