特征工程與sklearn

轉(zhuǎn)載 2017年05月08日 22:45:03

• 標(biāo)簽：

• 268
• 編輯
• 刪除

轉(zhuǎn)自：http://www.cnblogs.com/jasonfreak/p/5448385.html

目錄

1 特征工程是什么？
2 數(shù)據(jù)預(yù)處理
　　2.1 無量綱化
　　　　2.1.1 標(biāo)準(zhǔn)化
　　　　2.1.2 區(qū)間縮放法
　　　　2.1.3 標(biāo)準(zhǔn)化與歸一化的區(qū)別
　　2.2 對定量特征二值化
　　2.3 對定性特征啞編碼
　　2.4 缺失值計算
　　2.5 數(shù)據(jù)變換
　　2.6 回顧
3 特征選擇
　　3.1 Filter
　　　　3.1.1 方差選擇法
　　　　3.1.2 相關(guān)系數(shù)法
　　　　3.1.3 卡方檢驗(yàn)
　　　　3.1.4 互信息法
　　3.2 Wrapper
　　　　3.2.1 遞歸特征消除法
　　3.3 Embedded
　　　　3.3.1 基于懲罰項(xiàng)的特征選擇法
　　　　3.3.2 基于樹模型的特征選擇法
　　3.4 回顧
4 降維
　　4.1 主成分分析法（PCA）
　　4.2 線性判別分析法（LDA）
　　4.3 回顧
5 總結(jié)
6 參考資料

---

1 特征工程是什么？

　　有這么一句話在業(yè)界廣泛流傳：數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限，而模型和算法只是逼近這個上限而已。那特征工程到底是什么呢？顧名思義，其本質(zhì)是一項(xiàng)工程活動，目的是最大限度地從原始數(shù)據(jù)中提取特征以供算法和模型使用。通過總結(jié)和歸納，人們認(rèn)為特征工程包括以下方面：

　　特征處理是特征工程的核心部分，sklearn提供了較為完整的特征處理方法，包括數(shù)據(jù)預(yù)處理，特征選擇，降維等。首次接觸到sklearn，通常會被其豐富且方便的算法模型庫吸引，但是這里介紹的特征處理庫也十分強(qiáng)大！

　　本文中使用sklearn中的IRIS（鳶尾花）數(shù)據(jù)集來對特征處理功能進(jìn)行說明。IRIS數(shù)據(jù)集由Fisher在1936年整理，包含4個特征（Sepal.Length（花萼長度）、Sepal.Width（花萼寬度）、Petal.Length（花瓣長度）、Petal.Width（花瓣寬度）），特征值都為正浮點(diǎn)數(shù)，單位為厘米。目標(biāo)值為鳶尾花的分類（Iris Setosa（山鳶尾）、Iris Versicolour（雜色鳶尾），Iris Virginica（維吉尼亞鳶尾））。導(dǎo)入IRIS數(shù)據(jù)集的代碼如下：

1 from sklearn.datasets import load_iris 2 3 #導(dǎo)入IRIS數(shù)據(jù)集 4 iris = load_iris() 5 6 #特征矩陣 7 iris.data 8 9 #目標(biāo)向量 10 iris.target

---

2 數(shù)據(jù)預(yù)處理

　　通過特征提取，我們能得到未經(jīng)處理的特征，這時的特征可能有以下問題：

• 不屬于同一量綱：即特征的規(guī)格不一樣，不能夠放在一起比較。無量綱化可以解決這一問題。
• 信息冗余：對于某些定量特征，其包含的有效信息為區(qū)間劃分，例如學(xué)習(xí)成績，假若只關(guān)心“及格”或不“及格”，那么需要將定量的考分，轉(zhuǎn)換成“1”和“0”表示及格和未及格。二值化可以解決這一問題。
• 定性特征不能直接使用：某些機(jī)器學(xué)習(xí)算法和模型只能接受定量特征的輸入，那么需要將定性特征轉(zhuǎn)換為定量特征。最簡單的方式是為每一種定性值指定一個定量值，但是這種方式過于靈活，增加了調(diào)參的工作。通常使用啞編碼的方式將定性特征轉(zhuǎn)換為定量特征：假設(shè)有N種定性值，則將這一個特征擴(kuò)展為N種特征，當(dāng)原始特征值為第i種定性值時，第i個擴(kuò)展特征賦值為1，其他擴(kuò)展特征賦值為0。啞編碼的方式相比直接指定的方式，不用增加調(diào)參的工作，對于線性模型來說，使用啞編碼后的特征可達(dá)到非線性的效果。
• 存在缺失值：缺失值需要補(bǔ)充。
• 信息利用率低：不同的機(jī)器學(xué)習(xí)算法和模型對數(shù)據(jù)中信息的利用是不同的，之前提到在線性模型中，使用對定性特征啞編碼可以達(dá)到非線性的效果。類似地，對定量變量多項(xiàng)式化，或者進(jìn)行其他的轉(zhuǎn)換，都能達(dá)到非線性的效果。

　　我們使用sklearn中的preproccessing庫來進(jìn)行數(shù)據(jù)預(yù)處理，可以覆蓋以上問題的解決方案。

2.1 無量綱化

　　無量綱化使不同規(guī)格的數(shù)據(jù)轉(zhuǎn)換到同一規(guī)格。常見的無量綱化方法有標(biāo)準(zhǔn)化和區(qū)間縮放法。標(biāo)準(zhǔn)化的前提是特征值服從正態(tài)分布，標(biāo)準(zhǔn)化后，其轉(zhuǎn)換成標(biāo)準(zhǔn)正態(tài)分布。區(qū)間縮放法利用了邊界值信息，將特征的取值區(qū)間縮放到某個特點(diǎn)的范圍，例如[0, 1]等。

2.1.1 標(biāo)準(zhǔn)化

　　標(biāo)準(zhǔn)化需要計算特征的均值和標(biāo)準(zhǔn)差，公式表達(dá)為：

　　使用preproccessing庫的StandardScaler類對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化的代碼如下：

1 from sklearn.preprocessing import StandardScaler 2 3 #標(biāo)準(zhǔn)化，返回值為標(biāo)準(zhǔn)化后的數(shù)據(jù) 4 StandardScaler().fit_transform(iris.data)

2.1.2 區(qū)間縮放法

　　區(qū)間縮放法的思路有多種，常見的一種為利用兩個最值進(jìn)行縮放，公式表達(dá)為：

　　使用preproccessing庫的MinMaxScaler類對數(shù)據(jù)進(jìn)行區(qū)間縮放的代碼如下：

1 from sklearn.preprocessing import MinMaxScaler 2 3 #區(qū)間縮放，返回值為縮放到[0, 1]區(qū)間的數(shù)據(jù) 4 MinMaxScaler().fit_transform(iris.data)

2.1.3 標(biāo)準(zhǔn)化與歸一化的區(qū)別

　　簡單來說，標(biāo)準(zhǔn)化是依照特征矩陣的列處理數(shù)據(jù)，其通過求z-score的方法，將樣本的特征值轉(zhuǎn)換到同一量綱下。歸一化是依照特征矩陣的行處理數(shù)據(jù)，其目的在于樣本向量在點(diǎn)乘運(yùn)算或其他核函數(shù)計算相似性時，擁有統(tǒng)一的標(biāo)準(zhǔn)，也就是說都轉(zhuǎn)化為“單位向量”。規(guī)則為l2的歸一化公式如下：

　　使用preproccessing庫的Normalizer類對數(shù)據(jù)進(jìn)行歸一化的代碼如下：

1 from sklearn.preprocessing import Normalizer 2 3 #歸一化，返回值為歸一化后的數(shù)據(jù) 4 Normalizer().fit_transform(iris.data)

2.2 對定量特征二值化

　　定量特征二值化的核心在于設(shè)定一個閾值，大于閾值的賦值為1，小于等于閾值的賦值為0，公式表達(dá)如下：

　　使用preproccessing庫的Binarizer類對數(shù)據(jù)進(jìn)行二值化的代碼如下：

1 from sklearn.preprocessing import Binarizer 2 3 #二值化，閾值設(shè)置為3，返回值為二值化后的數(shù)據(jù) 4 Binarizer(threshold=3).fit_transform(iris.data)

2.3 對定性特征啞編碼

　　由于IRIS數(shù)據(jù)集的特征皆為定量特征，故使用其目標(biāo)值進(jìn)行啞編碼（實(shí)際上是不需要的）。使用preproccessing庫的OneHotEncoder類對數(shù)據(jù)進(jìn)行啞編碼的代碼如下：

1 from sklearn.preprocessing import OneHotEncoder 2 3 #啞編碼，對IRIS數(shù)據(jù)集的目標(biāo)值，返回值為啞編碼后的數(shù)據(jù) 4 OneHotEncoder().fit_transform(iris.target.reshape((-1,1)))

2.4 缺失值計算

　　由于IRIS數(shù)據(jù)集沒有缺失值，故對數(shù)據(jù)集新增一個樣本，4個特征均賦值為NaN，表示數(shù)據(jù)缺失。使用preproccessing庫的Imputer類對數(shù)據(jù)進(jìn)行缺失值計算的代碼如下：

1 from numpy import vstack, array, nan 2 from sklearn.preprocessing import Imputer 3 4 #缺失值計算，返回值為計算缺失值后的數(shù)據(jù) 5 #參數(shù)missing_value為缺失值的表示形式，默認(rèn)為NaN 6 #參數(shù)strategy為缺失值填充方式，默認(rèn)為mean（均值） 7 Imputer().fit_transform(vstack((array([nan, nan, nan, nan]), iris.data)))

2.5 數(shù)據(jù)變換

　　常見的數(shù)據(jù)變換有基于多項(xiàng)式的、基于指數(shù)函數(shù)的、基于對數(shù)函數(shù)的。4個特征，度為2的多項(xiàng)式轉(zhuǎn)換公式如下：

　　使用preproccessing庫的PolynomialFeatures類對數(shù)據(jù)進(jìn)行多項(xiàng)式轉(zhuǎn)換的代碼如下：

1 from sklearn.preprocessing import PolynomialFeatures 2 3 #多項(xiàng)式轉(zhuǎn)換 4 #參數(shù)degree為度，默認(rèn)值為2 5 PolynomialFeatures().fit_transform(iris.data)

　　基于單變元函數(shù)的數(shù)據(jù)變換可以使用一個統(tǒng)一的方式完成，使用preproccessing庫的FunctionTransformer對數(shù)據(jù)進(jìn)行對數(shù)函數(shù)轉(zhuǎn)換的代碼如下：

1 from numpy import log1p 2 from sklearn.preprocessing import FunctionTransformer 3 4 #自定義轉(zhuǎn)換函數(shù)為對數(shù)函數(shù)的數(shù)據(jù)變換 5 #第一個參數(shù)是單變元函數(shù) 6 FunctionTransformer(log1p).fit_transform(iris.data)

2.6 回顧

類	功能	說明
StandardScaler	無量綱化	標(biāo)準(zhǔn)化，基于特征矩陣的列，將特征值轉(zhuǎn)換至服從標(biāo)準(zhǔn)正態(tài)分布
MinMaxScaler	無量綱化	區(qū)間縮放，基于最大最小值，將特征值轉(zhuǎn)換到[0, 1]區(qū)間上
Normalizer	歸一化	基于特征矩陣的行，將樣本向量轉(zhuǎn)換為“單位向量”
Binarizer	二值化	基于給定閾值，將定量特征按閾值劃分
OneHotEncoder	啞編碼	將定性數(shù)據(jù)編碼為定量數(shù)據(jù)
Imputer	缺失值計算	計算缺失值，缺失值可填充為均值等
PolynomialFeatures	多項(xiàng)式數(shù)據(jù)轉(zhuǎn)換	多項(xiàng)式數(shù)據(jù)轉(zhuǎn)換
FunctionTransformer	自定義單元數(shù)據(jù)轉(zhuǎn)換	使用單變元的函數(shù)來轉(zhuǎn)換數(shù)據(jù)

?

---

?

3 特征選擇

　　當(dāng)數(shù)據(jù)預(yù)處理完成后，我們需要選擇有意義的特征輸入機(jī)器學(xué)習(xí)的算法和模型進(jìn)行訓(xùn)練。通常來說，從兩個方面考慮來選擇特征：

• 特征是否發(fā)散：如果一個特征不發(fā)散，例如方差接近于0，也就是說樣本在這個特征上基本上沒有差異，這個特征對于樣本的區(qū)分并沒有什么用。
• 特征與目標(biāo)的相關(guān)性：這點(diǎn)比較顯見，與目標(biāo)相關(guān)性高的特征，應(yīng)當(dāng)優(yōu)選選擇。除方差法外，本文介紹的其他方法均從相關(guān)性考慮。

　　根據(jù)特征選擇的形式又可以將特征選擇方法分為3種：

• Filter：過濾法，按照發(fā)散性或者相關(guān)性對各個特征進(jìn)行評分，設(shè)定閾值或者待選擇閾值的個數(shù)，選擇特征。
• Wrapper：包裝法，根據(jù)目標(biāo)函數(shù)（通常是預(yù)測效果評分），每次選擇若干特征，或者排除若干特征。
• Embedded：嵌入法，先使用某些機(jī)器學(xué)習(xí)的算法和模型進(jìn)行訓(xùn)練，得到各個特征的權(quán)值系數(shù)，根據(jù)系數(shù)從大到小選擇特征。類似于Filter方法，但是是通過訓(xùn)練來確定特征的優(yōu)劣。

　　我們使用sklearn中的feature_selection庫來進(jìn)行特征選擇。

3.1 Filter

3.1.1 方差選擇法

　　使用方差選擇法，先要計算各個特征的方差，然后根據(jù)閾值，選擇方差大于閾值的特征。使用feature_selection庫的VarianceThreshold類來選擇特征的代碼如下：

1 from sklearn.feature_selection import VarianceThreshold 2 3 #方差選擇法，返回值為特征選擇后的數(shù)據(jù) 4 #參數(shù)threshold為方差的閾值 5 VarianceThreshold(threshold=3).fit_transform(iris.data)

3.1.2 相關(guān)系數(shù)法

　　使用相關(guān)系數(shù)法，先要計算各個特征對目標(biāo)值的相關(guān)系數(shù)以及相關(guān)系數(shù)的P值。用feature_selection庫的SelectKBest類結(jié)合相關(guān)系數(shù)來選擇特征的代碼如下：

1 from sklearn.feature_selection import SelectKBest 2 from scipy.stats import pearsonr 3 4 #選擇K個最好的特征，返回選擇特征后的數(shù)據(jù) 5 #第一個參數(shù)為計算評估特征是否好的函數(shù)，該函數(shù)輸入特征矩陣和目標(biāo)向量，輸出二元組（評分，P值）的數(shù)組，數(shù)組第i項(xiàng)為第i個特征的評分和P值。在此定義為計算相關(guān)系數(shù) 6 #參數(shù)k為選擇的特征個數(shù) 7 SelectKBest(lambda X, Y: array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)

3.1.3 卡方檢驗(yàn)

　　經(jīng)典的卡方檢驗(yàn)是檢驗(yàn)定性自變量對定性因變量的相關(guān)性。假設(shè)自變量有N種取值，因變量有M種取值，考慮自變量等于i且因變量等于j的樣本頻數(shù)的觀察值與期望的差距，構(gòu)建統(tǒng)計量：

　　這個統(tǒng)計量的含義簡而言之就是自變量對因變量的相關(guān)性。用feature_selection庫的SelectKBest類結(jié)合卡方檢驗(yàn)來選擇特征的代碼如下：

1 from sklearn.feature_selection import SelectKBest 2 from sklearn.feature_selection import chi2 3 4 #選擇K個最好的特征，返回選擇特征后的數(shù)據(jù) 5 SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)

3.1.4 互信息法

　　經(jīng)典的互信息也是評價定性自變量對定性因變量的相關(guān)性的，互信息計算公式如下：

　　為了處理定量數(shù)據(jù)，最大信息系數(shù)法被提出，使用feature_selection庫的SelectKBest類結(jié)合最大信息系數(shù)法來選擇特征的代碼如下：

1 from sklearn.feature_selection import SelectKBest 2 from minepy import MINE 3 4 #由于MINE的設(shè)計不是函數(shù)式的，定義mic方法將其為函數(shù)式的，返回一個二元組，二元組的第2項(xiàng)設(shè)置成固定的P值0.5 5 def mic(x, y): 6 m = MINE() 7 m.compute_score(x, y) 8 return (m.mic(), 0.5) 9 10 #選擇K個最好的特征，返回特征選擇后的數(shù)據(jù) 11 SelectKBest(lambda X, Y: array(map(lambda x:mic(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)

3.2 Wrapper

3.2.1 遞歸特征消除法

　　遞歸消除特征法使用一個基模型來進(jìn)行多輪訓(xùn)練，每輪訓(xùn)練后，消除若干權(quán)值系數(shù)的特征，再基于新的特征集進(jìn)行下一輪訓(xùn)練。使用feature_selection庫的RFE類來選擇特征的代碼如下：

1 from sklearn.feature_selection import RFE 2 from sklearn.linear_model import LogisticRegression 3 4 #遞歸特征消除法，返回特征選擇后的數(shù)據(jù) 5 #參數(shù)estimator為基模型 6 #參數(shù)n_features_to_select為選擇的特征個數(shù) 7 RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)

3.3 Embedded

3.3.1 基于懲罰項(xiàng)的特征選擇法

　　使用帶懲罰項(xiàng)的基模型，除了篩選出特征外，同時也進(jìn)行了降維。使用feature_selection庫的SelectFromModel類結(jié)合帶L1懲罰項(xiàng)的邏輯回歸模型，來選擇特征的代碼如下：

1 from sklearn.feature_selection import SelectFromModel 2 from sklearn.linear_model import LogisticRegression 3 4 #帶L1懲罰項(xiàng)的邏輯回歸作為基模型的特征選擇 5 SelectFromModel(LogisticRegression(penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)

　　L1懲罰項(xiàng)降維的原理在于保留多個對目標(biāo)值具有同等相關(guān)性的特征中的一個，所以沒選到的特征不代表不重要。故，可結(jié)合L2懲罰項(xiàng)來優(yōu)化。具體操作為：若一個特征在L1中的權(quán)值為1，選擇在L2中權(quán)值差別不大且在L1中權(quán)值為0的特征構(gòu)成同類集合，將這一集合中的特征平分L1中的權(quán)值，故需要構(gòu)建一個新的邏輯回歸模型：

?View Code

　　使用feature_selection庫的SelectFromModel類結(jié)合帶L1以及L2懲罰項(xiàng)的邏輯回歸模型，來選擇特征的代碼如下：

1 from sklearn.feature_selection import SelectFromModel 2 3 #帶L1和L2懲罰項(xiàng)的邏輯回歸作為基模型的特征選擇 4 #參數(shù)threshold為權(quán)值系數(shù)之差的閾值 5 SelectFromModel(LR(threshold=0.5, C=0.1)).fit_transform(iris.data, iris.target)

3.3.2 基于樹模型的特征選擇法

　　樹模型中GBDT也可用來作為基模型進(jìn)行特征選擇，使用feature_selection庫的SelectFromModel類結(jié)合GBDT模型，來選擇特征的代碼如下：

1 from sklearn.feature_selection import SelectFromModel 2 from sklearn.ensemble import GradientBoostingClassifier 3 4 #GBDT作為基模型的特征選擇 5 SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)

3.4 回顧

類	所屬方式	說明
VarianceThreshold	Filter	方差選擇法
SelectKBest	Filter	可選關(guān)聯(lián)系數(shù)、卡方校驗(yàn)、最大信息系數(shù)作為得分計算的方法
RFE	Wrapper	遞歸地訓(xùn)練基模型，將權(quán)值系數(shù)較小的特征從特征集合中消除
SelectFromModel	Embedded	訓(xùn)練基模型，選擇權(quán)值系數(shù)較高的特征

?

---

4 降維

　　當(dāng)特征選擇完成后，可以直接訓(xùn)練模型了，但是可能由于特征矩陣過大，導(dǎo)致計算量大，訓(xùn)練時間長的問題，因此降低特征矩陣維度也是必不可少的。常見的降維方法除了以上提到的基于L1懲罰項(xiàng)的模型以外，另外還有主成分分析法（PCA）和線性判別分析（LDA），線性判別分析本身也是一個分類模型。PCA和LDA有很多的相似點(diǎn)，其本質(zhì)是要將原始的樣本映射到維度更低的樣本空間中，但是PCA和LDA的映射目標(biāo)不一樣：PCA是為了讓映射后的樣本具有最大的發(fā)散性；而LDA是為了讓映射后的樣本有最好的分類性能。所以說PCA是一種無監(jiān)督的降維方法，而LDA是一種有監(jiān)督的降維方法。

4.1 主成分分析法（PCA）

　　使用decomposition庫的PCA類選擇特征的代碼如下：

1 from sklearn.decomposition import PCA 2 3 #主成分分析法，返回降維后的數(shù)據(jù) 4 #參數(shù)n_components為主成分?jǐn)?shù)目 5 PCA(n_components=2).fit_transform(iris.data)

4.2 線性判別分析法（LDA）

　　使用lda庫的LDA類選擇特征的代碼如下：

1 from sklearn.lda import LDA 2 3 #線性判別分析法，返回降維后的數(shù)據(jù) 4 #參數(shù)n_components為降維后的維數(shù) 5 LDA(n_components=2).fit_transform(iris.data, iris.target)

4.3 回顧

庫	類	說明
decomposition	PCA	主成分分析法
lda	LDA	線性判別分析法

?

---

5 總結(jié)

　　再讓我們回歸一下本文開始的特征工程的思維導(dǎo)圖，我們可以使用sklearn完成幾乎所有特征處理的工作，而且不管是數(shù)據(jù)預(yù)處理，還是特征選擇，抑或降維，它們都是通過某個類的方法fit_transform完成的，fit_transform要不只帶一個參數(shù)：特征矩陣，要不帶兩個參數(shù)：特征矩陣加目標(biāo)向量。這些難道都是巧合嗎？還是故意設(shè)計成這樣？方法fit_transform中有fit這一單詞，它和訓(xùn)練模型的fit方法有關(guān)聯(lián)嗎？接下來，我將在《使用sklearn優(yōu)雅地進(jìn)行數(shù)據(jù)挖掘》中闡述其中的奧妙！

---

6 參考資料

FAQ: What is dummy coding?

IRIS（鳶尾花）數(shù)據(jù)集

卡方檢驗(yàn)

干貨：結(jié)合Scikit-learn介紹幾種常用的特征選擇方法

機(jī)器學(xué)習(xí)中，有哪些特征選擇的工程方法？

機(jī)器學(xué)習(xí)中的數(shù)學(xué)(4)-線性判別分析（LDA）, 主成分分析(PCA)

總結(jié)

以上是生活随笔為你收集整理的特征工程与sklearn的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。