作者：jliang

https://blog.csdn.net/jliang3

?

1.特征選擇介紹

1）特征分類

• 相關(guān)特征：對于學(xué)習(xí)任務(wù)（例如分類問題）有幫助，可以提升學(xué)習(xí)算法的效果；
• 無關(guān)特征：對于我們的算法沒有任何幫助，不會給算法的效果帶來任何提升；
• 冗余特征：不會對我們的算法帶來新的信息，或者這種特征的信息可以由其他的特征推斷出；

2）特征選擇的目的

對于一個(gè)特定的學(xué)習(xí)算法來說，哪一個(gè)特征是有效的是未知的。因此，需要從所有特征中選擇出對于學(xué)習(xí)算法有益的相關(guān)特征。而且在實(shí)際應(yīng)用中，經(jīng)常會出現(xiàn)維度災(zāi)難問題。如果只選擇所有特征中的部分特征構(gòu)建模型，那么可以大大減少學(xué)習(xí)算法的運(yùn)行時(shí)間，也可以增加模型的可解釋性。

• 減少特征數(shù)量、降維
• 降低學(xué)習(xí)任務(wù)的難度，提升模型的效率
• 使模型泛華能力更強(qiáng)，減少過擬合
• 增強(qiáng)對特征和特征值之間的理解

3）特征選擇的原則

獲取盡可能小的特征子集，不顯著降低分類精度、不影響分類分布以及特征子集應(yīng)具有穩(wěn)定、適應(yīng)性強(qiáng)等特點(diǎn)。

2.特征選擇的方法

1）Filter方法（過濾式）

（1）主要思想是：對每一維特征“打分”，即給每一維的特征賦予權(quán)重，這樣的權(quán)重就代表著該特征的重要性，然后依據(jù)權(quán)重排序。

（2）先進(jìn)行特征選擇，然后去訓(xùn)練學(xué)習(xí)器，所以特征選擇的過程與學(xué)習(xí)器無關(guān)。相當(dāng)于先對特征進(jìn)行過濾操作，然后用特征子集來訓(xùn)練分類器。

（3）主要方法

• Chi-squared test（卡方檢驗(yàn)）
• Information gain（信息增益）
• Correlation coefficient scores（相關(guān)系數(shù)）

2）Wrapper方法（包裹式）

（1）主要思想是：將子集的選擇看作是一個(gè)搜索尋優(yōu)問題，生成不同的組合，對組合進(jìn)行評價(jià)，再與其他的組合進(jìn)行比較。這樣就將子集的選擇看作是一個(gè)優(yōu)化問題，這里有很多的優(yōu)化算法可以解決，尤其是一些啟發(fā)式的優(yōu)化算法，如GA、PSO（如：優(yōu)化算法-粒子群算法）、DE、ABC（如：優(yōu)化算法-人工蜂群算法）等，

（2）直接把最后要使用的分類器作為特征選擇的評價(jià)函數(shù)，對于特定的分類器選擇最優(yōu)的特征子集。

（3）主要方法有：遞歸特征消除算法

3）Embedded方法（嵌入式）

（1）主要思想是：在模型既定的情況下學(xué)習(xí)出對提高模型準(zhǔn)確性最好的特征。也就是在確定模型的過程中，挑選出那些對模型的訓(xùn)練有重要意義的特征。

（2）簡單易學(xué)的機(jī)器學(xué)習(xí)算法--嶺回歸（Ridge Regression），就是線性回歸過程加入了L2正則項(xiàng)。

3.方法一：去掉取值變化小的特征（Removing features with low variance）

1）該方法一般用在特征選擇前作為一個(gè)預(yù)處理的工作，即先去掉取值變化小的特征，然后再使用其他特征選擇方法選擇特征。

2）考察某個(gè)特征下，樣本的方差值，可以認(rèn)為給定一個(gè)閾值，拋棄哪些小于某個(gè)閾值的特征。

3）例子

（1）離散型變量：假設(shè)某特征的特征值只有0和1，并且在所有輸入樣本中，95%的實(shí)例的該特征取值都是1，那就可以認(rèn)為這個(gè)特征作用不大。如果100%都是1，那這個(gè)特征就沒意義了。

（2）連續(xù)型變量：需要將連續(xù)變量離散化之后才能用。

（3）而且實(shí)際當(dāng)中，一般不太會有95%以上都取某個(gè)值的特征存在，所以這種方法雖然簡單但是不太好用。可以把它作為特征選擇的預(yù)處理，先去掉那些取值變化小的特征，然后再從接下來提到的的特征選擇方法中選擇合適的進(jìn)行進(jìn)一步的特征選擇。

4）實(shí)現(xiàn)例子

from sklearn.feature_selection import VarianceThreshold

X = [[0, 0, 1], [0, 1, 0], [1, 0, 0], [0, 1, 1], [0, 1, 0], [0, 1, 1]]

sel = VarianceThreshold(threshold=(.8 * (1 - .8)))

sel.fit_transform(X)

＃array([[0, 1],

?????? [1, 0],

?????? [0, 0],

?????? [1, 1],

?????? [1, 0],

?????? [1, 1]])

4. 方法二：單變量特征選擇（Univariate feature selection）

• 單變量特征選擇方法獨(dú)立的衡量每個(gè)特征與響應(yīng)變量之間的關(guān)系，單變量特征選擇能夠?qū)γ恳粋€(gè)特征進(jìn)行測試，衡量該特征和響應(yīng)變量之間的關(guān)系，根據(jù)得分扔掉不好的特征。對于回歸和分類問題可以采用卡方檢驗(yàn)等方式對特征進(jìn)行測試。
• 方法簡單，易于運(yùn)行，易于理解，通常對于理解數(shù)據(jù)有較好的效果（但對特征優(yōu)化、提高泛化能力來說不一定有效）；這種方法有許多改進(jìn)的版本、變種。

1）Pearson相關(guān)系數(shù)（Pearson Correlation）

皮爾森相關(guān)系數(shù)是一種最簡單的，能幫助理解特征和響應(yīng)變量之間關(guān)系的方法，該方法衡量的是變量之間的線性相關(guān)性，結(jié)果的取值區(qū)間為[-1，1]，-1表示完全的負(fù)相關(guān)(這個(gè)變量下降，那個(gè)就會上升)，+1表示完全的正相關(guān)，0表示沒有線性相關(guān)。

2）互信息和最大信息系數(shù)（Mutual information and maximal information coefficient）

以上就是經(jīng)典的互信息公式了。想把互信息直接用于特征選擇其實(shí)不是太方便：

（1）它不屬于度量方式，也沒有辦法歸一化，在不同數(shù)據(jù)及上的結(jié)果無法做比較；

（2）對于連續(xù)變量的計(jì)算不是很方便（X和Y都是集合，x，y都是離散的取值），通常變量需要先離散化，而互信息的結(jié)果對離散化的方式很敏感。

3）距離相關(guān)系數(shù)（Distance correlation）

（1）距離相關(guān)系數(shù)是為了克服Pearson相關(guān)系數(shù)的弱點(diǎn)而生的。

（2）Pearson相關(guān)系數(shù)是0，我們也不能斷定這兩個(gè)變量是獨(dú)立的（有可能是非線性相關(guān)）。

（3）但如果距離相關(guān)系數(shù)是0，那么我們就可以說這兩個(gè)變量是獨(dú)立的。

4）基于學(xué)習(xí)模型的特征排序（Model based ranking）

（1）這種方法的思路是直接使用你要用的機(jī)器學(xué)習(xí)算法，針對每個(gè)單獨(dú)的特征和響應(yīng)變量建立預(yù)測模型。

（2）其實(shí)Pearson相關(guān)系數(shù)等價(jià)于線性回歸里的標(biāo)準(zhǔn)化回歸系數(shù)。假如某個(gè)特征和響應(yīng)變量之間的關(guān)系是非線性的，可以用基于樹的方法（決策樹、隨機(jī)森林）、或者擴(kuò)展的線性模型等?；跇涞姆椒ū容^易于使用，因?yàn)樗麄儗Ψ蔷€性關(guān)系的建模比較好，并且不需要太多的調(diào)試。但要注意過擬合問題，因此樹的深度最好不要太大，再就是運(yùn)用交叉驗(yàn)證。

5）卡方檢驗(yàn)

（1）卡方檢驗(yàn)屬于簡單易計(jì)算的Feature weight algorithm

（2）卡方檢驗(yàn)是概率論和數(shù)理統(tǒng)計(jì)中常用的假設(shè)檢驗(yàn)的思想，通過觀察實(shí)際值和理論值的偏差來確定原假設(shè)是否成立。

• 假設(shè)兩個(gè)變量是獨(dú)立的（此為原假設(shè)）
• 然后觀察實(shí)際值和理論值之間的偏差程度，若偏差足夠小，則認(rèn)為偏差是自然的樣本誤差，接受假設(shè)。
• 若偏差大到一定程度，則否認(rèn)原假設(shè)，接受備擇假設(shè)。

6）程序?qū)崿F(xiàn)

（1）sklearn.feature_selection.SelectKBest：返回k個(gè)最佳特征

（2）sklearn.feature_selection.SelectPercentile：返回表現(xiàn)最佳的前r%個(gè)特征

（3）例子：使用卡方檢驗(yàn)選擇特征

#導(dǎo)入sklearn庫中的SelectKBest和chi2

from sklearn.feature_selection import SelectKBest ,chi2

#選擇相關(guān)性最高的前5個(gè)特征

X_chi2 = SelectKBest(chi2, k=5).fit_transform(X, y)

X_chi2.shape

輸出：(27, 5)

（4）其它可選的方法

• f_classif: ANOVA F-value between label/feature for classification tasks.
• mutual_info_classif: Mutual information for a discrete target.
• chi2: Chi-squared stats of non-negative features for classification tasks.
• f_regression: F-value between label/feature for regression tasks.
• mutual_info_regression: Mutual information for a continuous target.
• SelectPercentile: Select features based on percentile of the highest scores.
• SelectFpr: Select features based on a false positive rate test.
• SelectFdr: Select features based on an estimated false discovery rate.
• SelectFwe: Select features based on family-wise error rate.
• GenericUnivariateSelect: Univariate feature selector with configurable mode.

5. 方法三：線性模型和正則化

1）另一種主流的特征選擇方法是基于機(jī)器學(xué)習(xí)模型的方法

（1）有些機(jī)器學(xué)習(xí)方法本身就具有對特征進(jìn)行打分的機(jī)制，或者很容易將其運(yùn)用到特征選擇任務(wù)中，例如回歸模型，SVM，決策樹，隨機(jī)森林等等。

（2）正則化模型

• 正則化就是把額外的約束或者懲罰項(xiàng)加到已有模型（損失函數(shù)）上，以防止過擬合并提高泛化能力。
• 損失函數(shù)由原來的E(X,Y)變?yōu)镋(X,Y)+alpha||w||，w是模型系數(shù)組成的向量（有些地方也叫參數(shù)parameter，coefficients），||·||一般是L1或者L2范數(shù)，alpha是一個(gè)可調(diào)的參數(shù)，控制著正則化的強(qiáng)度。
• 當(dāng)用在線性模型上時(shí)，L1正則化和L2正則化也稱為Lasso和Ridge。

2）L1正則化/Lasso regression

（1）L1正則化將系數(shù)w的l1范數(shù)作為懲罰項(xiàng)加到損失函數(shù)上，由于正則項(xiàng)非零，這就迫使那些弱的特征所對應(yīng)的系數(shù)變成0。

（2）因此L1正則化往往會使學(xué)到的模型很稀疏（系數(shù)w經(jīng)常為0），這個(gè)特性使得L1正則化成為一種很好的特征選擇方法。

3）L2正則化/Ridge regression

（1）L2正則化將系數(shù)向量的L2范數(shù)添加到了損失函數(shù)中。

• ?由于L2懲罰項(xiàng)中系數(shù)是二次方的，這使得L2和L1有著諸多差異，最明顯的一點(diǎn)就是，L2正則化會讓系數(shù)的取值變得平均。
• 對于關(guān)聯(lián)特征，這意味著他們能夠獲得更相近的對應(yīng)系數(shù)。
  • 可以看出，系數(shù)之和為常數(shù)時(shí)，各系數(shù)相等時(shí)懲罰是最小的，所以才有了L2會讓各個(gè)系數(shù)趨于相同的特點(diǎn)。?
  • 但是對于L2來說，第一個(gè)模型的懲罰項(xiàng)是2alpha，但第二個(gè)模型的是4*alpha。
  • 如果用L1正則化，不論學(xué)到的模型是Y=X1+X2還是Y=2X1，懲罰都是一樣的，都是2alpha。
  • 以Y=X1+X2為例，假設(shè)X1和X2具有很強(qiáng)的關(guān)聯(lián)

（2）L2正則化對于特征選擇來說一種穩(wěn)定的模型，不像L1正則化那樣，系數(shù)會因?yàn)榧?xì)微的數(shù)據(jù)變化而波動。所以L2正則化和L1正則化提供的價(jià)值是不同的，L2正則化對于特征理解來說更加有用：表示能力強(qiáng)的特征對應(yīng)的系數(shù)是非零。

4）程序?qū)崿F(xiàn)

（1）多元線性回歸，具有n個(gè)特征值

• 預(yù)測公式如下y(i)=θ0+θ1x1(i)+θ2x2(i)+…++θnxni=Xb*θ
• 多元線性回歸方程演變成求θ
• sklearn中 中LinearRegression的fit()方法就是通過訓(xùn)練集求出θ，LinearRegression的兩個(gè)屬性intercept_和coef_分別對應(yīng)θ0和θ1-θn

（2）獲取模型參數(shù)代碼

if __name__ == '__main__':

??? #獲取boston數(shù)據(jù)

??? boston=datasets.load_boston()

??? x=boston.data

??? y=boston.target

??? #過濾掉異常值

??? x=x[y<50]

??? y=y[y<50]

??? reg=LinearRegression()

??? reg.fit(x,y)

??? #求排序后的coef

??? coefSort=reg.coef_.argsort()

??? #featureNameSort: 按對標(biāo)記值的影響，從小到大的各特征值名稱

??? #featureCoefSore：按對標(biāo)記值的影響，從小到大的coef_

??? featureNameSort=boston.feature_names[coefSort]

??? featureCoefSore=reg.coef_[coefSort]

??? print("featureNameSort:", featureNameSort)

??? print("featureCoefSore:",featureCoefSore)

? 運(yùn)行代碼，輸出結(jié)果為：

featureNameSort: ['NOX' 'DIS' 'PTRATIO' 'LSTAT' 'CRIM' 'INDUS' 'AGE' 'TAX' 'B' 'ZN' 'RAD' ?'CHAS' 'RM']

featureCoefSore: [-1.24268073e+01 -1.21088069e+00 -8.38888137e-01 -3.50952134e-01

?-1.05574295e-01 -4.35179251e-02 -2.36116881e-02 -1.37702943e-02 7.93577159e-03?

3.52748549e-02? 2.50740082e-01? 4.55405227e-01 3.75411229e+00]

? （3）從輸出結(jié)果可以看出

• ? 正相關(guān)影響系數(shù)最大的特征值是"RM"：房間的平均數(shù)量，系數(shù)值為3.75；
• ? 負(fù)相關(guān)影響系數(shù)最大的特征值是"NOX":一氧化氮濃度,系數(shù)值為-1.24；

6. 方法四：隨機(jī)森林

隨機(jī)森林具有準(zhǔn)確率高、魯棒性好、易于使用等優(yōu)點(diǎn)，這使得它成為了目前最流行的機(jī)器學(xué)習(xí)算法之一。隨機(jī)森林提供了兩種特征選擇的方法：mean decrease impurity和mean decrease accuracy。

1）平均不純度減少（Mean decrease impurity）

（1）隨機(jī)森林由多個(gè)決策樹構(gòu)成。決策樹中的每一個(gè)節(jié)點(diǎn)都是關(guān)于某個(gè)特征的條件，為的是將數(shù)據(jù)集按照不同的響應(yīng)變量一分為二。

（2）利用不純度可以確定節(jié)點(diǎn)（最優(yōu)條件），對于分類問題，通常采用基尼不純度或者信息增益，對于回歸問題，通常采用的是方差或者最小二乘擬合。

（3）當(dāng)訓(xùn)練決策樹的時(shí)候，可以計(jì)算出每個(gè)特征減少了多少樹的不純度。對于一個(gè)決策樹森林來說，可以算出每個(gè)特征平均減少了多少不純度，并把它平均減少的不純度作為特征選擇的值。

（4）程序?qū)崿F(xiàn)：直接使用sklearn訓(xùn)練RF模型，然后通過feature_importances_屬性可以得到每個(gè)特征的特征重要性，該特征重要性是根據(jù)不純度減少計(jì)算而來。

2）平均精確度減少（Mean decrease accuracy）

（1）另一種常用的特征選擇方法就是直接度量每個(gè)特征對模型精確率的影響。

（2）主要思路是打亂每個(gè)特征的特征值順序，并且度量順序變動對模型的精確率的影響。很明顯，對于不重要的變量來說，打亂順序?qū)δＰ偷木_率影響不會太大，但是對于重要的變量來說，打亂順序就會降低模型的精確率。

（3）程序?qū)崿F(xiàn)例子

from sklearn.cross_validation import ShuffleSplit

from sklearn.metrics import r2_score

from collections import defaultdict

X = boston["data"]

Y = boston["target"]

rf = RandomForestRegressor()

scores = defaultdict(list)

#crossvalidate the scores on a number of different random splits of the data

for train_idx, test_idx in ShuffleSplit(len(X), 100, .3):

??? X_train, X_test = X[train_idx], X[test_idx]

??? Y_train, Y_test = Y[train_idx], Y[test_idx]

??? r = rf.fit(X_train, Y_train)

acc = r2_score(Y_test, rf.predict(X_test))

# 遍歷特征的每一列

??? for i in range(X.shape[1]):

??????? X_t = X_test.copy()

?????? ?# 對這一列特征進(jìn)行混洗，交互了一列特征內(nèi)部的值的順序

??????? np.random.shuffle(X_t[:, i])

??????? shuff_acc = r2_score(Y_test, rf.predict(X_t))

??????? scores[names[i]].append((acc-shuff_acc)/acc)

print "Features sorted by their score:"

print sorted([(round(np.mean(score), 4), feat) for feat, score in scores.items()], reverse=True)

7. 方法五：頂層特征選擇算法

之所以叫做頂層，是因?yàn)樗麄兌际墙⒃诨谀Ｐ偷奶卣鬟x擇方法基礎(chǔ)之上的，例如回歸和SVM，在不同的子集上建立模型，然后匯總最終確定特征得分。

1）穩(wěn)定性選擇（Stability selection）

（1）穩(wěn)定性選擇是一種基于二次抽樣和選擇算法相結(jié)合較新的方法，選擇算法可以是回歸、SVM或其他類似的方法。

（2）它的主要思想是在不同的數(shù)據(jù)子集和特征子集上運(yùn)行特征選擇算法，不斷的重復(fù)，最終匯總特征選擇結(jié)果。

• 比如可以統(tǒng)計(jì)某個(gè)特征被認(rèn)為是重要特征的頻率（被選為重要特征的次數(shù)除以它所在的子集被測試的次數(shù)）。

（3）理想情況下，重要特征的得分會接近100%。稍微弱一點(diǎn)的特征得分會是非0的數(shù)，而最無用的特征得分將會接近于0。

（4）程序?qū)崿F(xiàn)例子

from sklearn.linear_model import RandomizedLasso

from sklearn.datasets import load_boston

boston = load_boston()

#using the Boston housing data.

#Data gets scaled automatically by sklearn's implementation

X = boston["data"]

Y = boston["target"]

names = boston["feature_names"]

rlasso = RandomizedLasso(alpha=0.025)

rlasso.fit(X, Y)

print("Features sorted by their score:")

print(sorted(zip(map(lambda x: round(x, 4), rlasso.scores_), names), reverse=True))

2）遞歸特征消除（Recursive feature elimination，RFE）

（1）遞歸特征消除的主要思想是反復(fù)的構(gòu)建模型（如SVM或者回歸模型）然后選出最好的（或者最差的）的特征（可以根據(jù)系數(shù)來選），把選出來的特征放到一遍，然后在剩余的特征上重復(fù)這個(gè)過程，直到所有特征都遍歷了。

（2）這個(gè)過程中特征被消除的次序就是特征的排序。因此，這是一種尋找最優(yōu)特征子集的貪心算法。

（3）RFE的穩(wěn)定性很大程度上取決于在迭代的時(shí)候底層用哪種模型。

• 例如，假如RFE采用的普通的回歸，沒有經(jīng)過正則化的回歸是不穩(wěn)定的，那么RFE就是不穩(wěn)定的；
• 假如采用的是Ridge，而用Ridge正則化的回歸是穩(wěn)定的，那么RFE就是穩(wěn)定的。

（4）程序?qū)崿F(xiàn)例子

from sklearn.feature_selection import RFE

from sklearn.linear_model import LinearRegression

boston = load_boston()

X = boston["data"]

Y = boston["target"]

names = boston["feature_names"]

#use linear regression as the model

lr = LinearRegression()

#rank all features, i.e continue the elimination until the last one

rfe = RFE(lr, n_features_to_select=1)

rfe.fit(X,Y)

print("Features sorted by their rank:")

print(sorted(zip(map(lambda x: round(x, 4), rfe.ranking_), names)))

結(jié)果輸出

Features sorted by their rank:

[(1, 'NOX'), (2, 'RM'), (3, 'CHAS'), (4, 'PTRATIO'), (5, 'DIS'), (6, 'LSTAT'), (7, 'RAD'), (8, 'CRIM'), (9, 'INDUS'), (10, 'ZN'), (11, 'TAX'), (12, 'B'), (13, 'AGE')]

參考文獻(xiàn)?

[1]. 機(jī)器學(xué)習(xí)之特征選擇. https://www.cnblogs.com/nolonely/p/6435083.html

[2]. 特征選擇--scikit-learn. https://blog.csdn.net/a1368783069/article/details/52048349

總結(jié)

以上是生活随笔為你收集整理的特征选择/筛选方法总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。