文章來自：天池大數(shù)據(jù)科研平臺

一、使用sklearn數(shù)據(jù)挖掘

??

1.數(shù)據(jù)挖掘的步驟

數(shù)據(jù)挖掘通常包括數(shù)據(jù)采集，數(shù)據(jù)分析，特征工程，訓(xùn)練模型，模型評估等步驟。顯然，這不是巧合，這正是sklearn的設(shè)計(jì)風(fēng)格。我們能夠更加優(yōu)雅地使用sklearn進(jìn)行特征工程和模型訓(xùn)練工作。此時(shí)，不妨從一個(gè)基本的數(shù)據(jù)挖掘場景入手：

我們使用sklearn進(jìn)行虛線框內(nèi)的工作（sklearn也可以進(jìn)行文本特征提取）。通過分析sklearn源碼，我們可以看到除訓(xùn)練，預(yù)測和評估以外，處理其他工作的類都實(shí)現(xiàn)了3個(gè)方法：fit、transform和fit_transform。從命名中可以看到，fit_transform方法是先調(diào)用fit然后調(diào)用transform，我們只需要關(guān)注fit方法和transform方法即可。

transform方法主要用來對特征進(jìn)行轉(zhuǎn)換。從可利用信息的角度來說，轉(zhuǎn)換分為無信息轉(zhuǎn)換和有信息轉(zhuǎn)換。無信息轉(zhuǎn)換是指不利用任何其他信息進(jìn)行轉(zhuǎn)換，比如指數(shù)、對數(shù)函數(shù)轉(zhuǎn)換等。

有信息轉(zhuǎn)換從是否利用目標(biāo)值向量又可分為無監(jiān)督轉(zhuǎn)換和有監(jiān)督轉(zhuǎn)換。無監(jiān)督轉(zhuǎn)換指只利用特征的統(tǒng)計(jì)信息的轉(zhuǎn)換，統(tǒng)計(jì)信息包括均值、標(biāo)準(zhǔn)差、邊界等等，比如標(biāo)準(zhǔn)化、PCA法降維等。

有監(jiān)督轉(zhuǎn)換指既利用了特征信息又利用了目標(biāo)值信息的轉(zhuǎn)換，比如通過模型選擇特征、LDA法降維等。通過總結(jié)常用的轉(zhuǎn)換類，我們得到下表：

不難看到，只有有信息的轉(zhuǎn)換類的fit方法才實(shí)際有用，顯然fit方法的主要工作是獲取特征信息和目標(biāo)值信息，在這點(diǎn)上，fit方法和模型訓(xùn)練時(shí)的fit方法就能夠聯(lián)系在一起了：都是通過分析特征和目標(biāo)值，提取有價(jià)值的信息，對于轉(zhuǎn)換類來說是某些統(tǒng)計(jì)量，對于模型來說可能是特征的權(quán)值系數(shù)等。

另外，只有有監(jiān)督的轉(zhuǎn)換類的fit和transform方法才需要特征和目標(biāo)值兩個(gè)參數(shù)。fit方法無用不代表其沒實(shí)現(xiàn)，而是除合法性校驗(yàn)以外，其并沒有對特征和目標(biāo)值進(jìn)行任何處理，Normalizer的fit方法實(shí)現(xiàn)如下：

def?fit(self,?X,?y=None):???????? """Do?nothing?and?return?the?estimator?unchanged???????? This?method?is?just?there?to?implement?the?usual?API?and?hence???????? work?in?pipelines."""????????X?=?check_array(X,?accept_sparse='csr')????????return?self

基于這些特征處理工作都有共同的方法，那么試想可不可以將他們組合在一起？在本文假設(shè)的場景中，我們可以看到這些工作的組合形式有兩種：流水線式和并行式。

基于流水線組合的工作需要依次進(jìn)行，前一個(gè)工作的輸出是后一個(gè)工作的輸入；基于并行式的工作可以同時(shí)進(jìn)行，其使用同樣的輸入，所有工作完成后將各自的輸出合并之后輸出。sklearn提供了包pipeline來完成流水線式和并行式的工作。

2. 數(shù)據(jù)初貌

在此，我們?nèi)匀皇褂肐RIS數(shù)據(jù)集來進(jìn)行說明。為了適應(yīng)提出的場景，對原數(shù)據(jù)集需要稍微加工：

ffrom?numpy?import?hstack,?vstack,?array,?median,?nan from?numpy.random?import?choice from?sklearn.datasets?import?load_irisiris?=?load_iris()#特征矩陣加工 #使用vstack增加一行含缺失值的樣本(nan,?nan,?nan,?nan) #使用hstack增加一列表示花的顏色（0-白、1-黃、2-紅），花的顏色是隨機(jī)的，意味著顏色并不影響花的分類 iris.data?=?hstack((choice([0,?1,?2],?size=iris.data.shape[0]+1).reshape(-1,1),?vstack((iris.data,?array([nan,?nan,?nan,?nan]).reshape(1,-1))))) #目標(biāo)值向量加工 #增加一個(gè)目標(biāo)值，對應(yīng)含缺失值的樣本，值為眾數(shù) iris.target?=?hstack((iris.target,?array([median(iris.target)])))

3.關(guān)鍵技術(shù)

并行處理，流水線處理，自動化調(diào)參，持久化是使用sklearn優(yōu)雅地進(jìn)行數(shù)據(jù)挖掘的核心。并行處理和流水線處理將多個(gè)特征處理工作，甚至包括模型訓(xùn)練工作組合成一個(gè)工作（從代碼的角度來說，即將多個(gè)對象組合成了一個(gè)對象）。

在組合的前提下，自動化調(diào)參技術(shù)幫我們省去了人工調(diào)參的反鎖。訓(xùn)練好的模型是貯存在內(nèi)存中的數(shù)據(jù)，持久化能夠?qū)⑦@些數(shù)據(jù)保存在文件系統(tǒng)中，之后使用時(shí)無需再進(jìn)行訓(xùn)練，直接從文件系統(tǒng)中加載即可。

二、并行處理

并行處理使得多個(gè)特征處理工作能夠并行地進(jìn)行。根據(jù)對特征矩陣的讀取方式不同，可分為整體并行處理和部分并行處理。整體并行處理，即并行處理的每個(gè)工作的輸入都是特征矩陣的整體；部分并行處理，即可定義每個(gè)工作需要輸入的特征矩陣的列。

1.整體并行處理

pipeline包提供了FeatureUnion類來進(jìn)行整體并行處理：

from?numpy?import?log1p from?sklearn.preprocessing?import?FunctionTransformer from?sklearn.preprocessing?import?Binarizer from?sklearn.pipeline?import?FeatureUnion#新建將整體特征矩陣進(jìn)行對數(shù)函數(shù)轉(zhuǎn)換的對象 step2_1?=?('ToLog',?FunctionTransformer(log1p)) #新建將整體特征矩陣進(jìn)行二值化類的對象 step2_2?=?('ToBinary',?Binarizer()) #新建整體并行處理對象 #該對象也有fit和transform方法，fit和transform方法均是并行地調(diào)用需要并行處理的對象的fit和transform方法 #參數(shù)transformer_list為需要并行處理的對象列表，該列表為二元組列表，第一元為對象的名稱，第二元為對象 step2?=?('FeatureUnion',?FeatureUnion(transformer_list=[step2_1,?step2_2]))

2.部分并行處理

整體并行處理有其缺陷，在一些場景下，我們只需要對特征矩陣的某些列進(jìn)行轉(zhuǎn)換，而不是所有列。pipeline并沒有提供相應(yīng)的類（僅OneHotEncoder類實(shí)現(xiàn)了該功能），需要我們在FeatureUnion的基礎(chǔ)上進(jìn)行優(yōu)化：

from?sklearn.pipeline?import?FeatureUnion,?_fit_one_transformer,?_fit_transform_one,?_transform_one? from?sklearn.externals.joblib?import?Parallel,?delayed from?scipy?import?sparse import?numpy?as?np#部分并行處理，繼承FeatureUnion class?FeatureUnionExt(FeatureUnion):#相比FeatureUnion，多了idx_list參數(shù)，其表示每個(gè)并行工作需要讀取的特征矩陣的列def?__init__(self,?transformer_list,?idx_list,?n_jobs=1,?transformer_weights=None):self.idx_list?=?idx_listFeatureUnion.__init__(self,?transformer_list=map(lambda?trans:(trans[0],?trans[1]),?transformer_list),?n_jobs=n_jobs,?transformer_weights=transformer_weights)#由于只部分讀取特征矩陣，方法fit需要重構(gòu)def?fit(self,?X,?y=None):transformer_idx_list?=?map(lambda?trans,?idx:(trans[0],?trans[1],?idx),?self.transformer_list,?self.idx_list)transformers?=?Parallel(n_jobs=self.n_jobs)(#從特征矩陣中提取部分輸入fit方法delayed(_fit_one_transformer)(trans,?X[:,idx],?y)for?name,?trans,?idx?in?transformer_idx_list)self._update_transformer_list(transformers)return?self#由于只部分讀取特征矩陣，方法fit_transform需要重構(gòu)def?fit_transform(self,?X,?y=None,?**fit_params):transformer_idx_list?=?map(lambda?trans,?idx:(trans[0],?trans[1],?idx),?self.transformer_list,?self.idx_list)result?=?Parallel(n_jobs=self.n_jobs)(#從特征矩陣中提取部分輸入fit_transform方法delayed(_fit_transform_one)(trans,?name,?X[:,idx],?y,self.transformer_weights,?**fit_params)for?name,?trans,?idx?in?transformer_idx_list)Xs,?transformers?=?zip(*result)self._update_transformer_list(transformers)if?any(sparse.issparse(f)?for?f?in?Xs):Xs?=?sparse.hstack(Xs).tocsr()else:Xs?=?np.hstack(Xs)return?Xs#由于只部分讀取特征矩陣，方法transform需要重構(gòu)def?transform(self,?X):transformer_idx_list?=?map(lambda?trans,?idx:(trans[0],?trans[1],?idx),?self.transformer_list,?self.idx_list)Xs?=?Parallel(n_jobs=self.n_jobs)(#從特征矩陣中提取部分輸入transform方法delayed(_transform_one)(trans,?name,?X[:,idx],?self.transformer_weights)for?name,?trans,?idx?in?transformer_idx_list)if?any(sparse.issparse(f)?for?f?in?Xs):Xs?=?sparse.hstack(Xs).tocsr()else:Xs?=?np.hstack(Xs)return?Xs

在本文提出的場景中，我們對特征矩陣的第1列（花的顏色）進(jìn)行定性特征編碼，對第2、3、4列進(jìn)行對數(shù)函數(shù)轉(zhuǎn)換，對第5列進(jìn)行定量特征二值化處理。使用FeatureUnionExt類進(jìn)行部分并行處理的代碼如下：

from?numpy?import?log1p from?sklearn.preprocessing?import?OneHotEncoder from?sklearn.preprocessing?import?FunctionTransformer from?sklearn.preprocessing?import?Binarizer#新建將部分特征矩陣進(jìn)行獨(dú)熱編碼的對象 step2_1?=?('OneHotEncoder',?OneHotEncoder(sparse=False)) #新建將部分特征矩陣進(jìn)行對數(shù)函數(shù)轉(zhuǎn)換的對象 step2_2?=?('ToLog',?FunctionTransformer(log1p)) #新建將部分特征矩陣進(jìn)行二值化類的對象 step2_3?=?('ToBinary',?Binarizer()) #新建部分并行處理對象 #參數(shù)transformer_list為需要并行處理的對象列表，該列表為二元組列表，第一元為對象的名稱，第二元為對象 #參數(shù)idx_list為相應(yīng)的需要讀取的特征矩陣的列 step2?=?('FeatureUnionExt',?FeatureUnionExt(transformer_list=[step2_1,?step2_2,?step2_3],?idx_list=[[0],?[1,?2,?3],?[4]]))

三、流水線處理

pipeline包提供了Pipeline類來進(jìn)行流水線處理。流水線上除最后一個(gè)工作以外，其他都要執(zhí)行fit_transform方法，且上一個(gè)工作輸出作為下一個(gè)工作的輸入。

最后一個(gè)工作必須實(shí)現(xiàn)fit方法，輸入為上一個(gè)工作的輸出；但是不限定一定有transform方法，因?yàn)榱魉€的最后一個(gè)工作可能是訓(xùn)練！

根據(jù)本文提出的場景，結(jié)合并行處理，構(gòu)建完整的流水線的代碼如下：

from?numpy?import?log1p from?sklearn.preprocessing?import?Imputer from?sklearn.preprocessing?import?OneHotEncoder from?sklearn.preprocessing?import?FunctionTransformer from?sklearn.preprocessing?import?Binarizer from?sklearn.preprocessing?import?MinMaxScaler from?sklearn.feature_selection?import?SelectKBest from?sklearn.feature_selection?import?chi2 from?sklearn.decomposition?import?PCA from?sklearn.linear_model?import?LogisticRegression from?sklearn.pipeline?import?Pipeline#新建計(jì)算缺失值的對象 step1?=?('Imputer',?Imputer()) #新建將部分特征矩陣進(jìn)行定性特征編碼的對象 step2_1?=?('OneHotEncoder',?OneHotEncoder(sparse=False)) #新建將部分特征矩陣進(jìn)行對數(shù)函數(shù)轉(zhuǎn)換的對象 step2_2?=?('ToLog',?FunctionTransformer(log1p)) #新建將部分特征矩陣進(jìn)行二值化類的對象 step2_3?=?('ToBinary',?Binarizer()) #新建部分并行處理對象，返回值為每個(gè)并行工作的輸出的合并 step2?=?('FeatureUnionExt',?FeatureUnionExt(transformer_list=[step2_1,?step2_2,?step2_3],?idx_list=[[0],?[1,?2,?3],?[4]])) #新建無量綱化對象 step3?=?('MinMaxScaler',?MinMaxScaler()) #新建卡方校驗(yàn)選擇特征的對象 step4?=?('SelectKBest',?SelectKBest(chi2,?k=3)) #新建PCA降維的對象 step5?=?('PCA',?PCA(n_components=2)) #新建邏輯回歸的對象，其為待訓(xùn)練的模型作為流水線的最后一步 step6?=?('LogisticRegression',?LogisticRegression(penalty='l2')) #新建流水線處理對象 #參數(shù)steps為需要流水線處理的對象列表，該列表為二元組列表，第一元為對象的名稱，第二元為對象 pipeline?=?Pipeline(steps=[step1,?step2,?step3,?step4,?step5,?step6])

四、自動化調(diào)參

網(wǎng)格搜索為自動化調(diào)參的常見技術(shù)之一，grid_search包提供了自動化調(diào)參的工具，包括GridSearchCV類。對組合好的對象進(jìn)行訓(xùn)練以及調(diào)參的代碼如下：

from?sklearn.grid_search?import?GridSearchCViris?=?load_iris()#新建網(wǎng)格搜索對象 #第一參數(shù)為待訓(xùn)練的模型 #param_grid為待調(diào)參數(shù)組成的網(wǎng)格，字典格式，鍵為參數(shù)名稱（格式“對象名稱__子對象名稱__參數(shù)名稱”），值為可取的參數(shù)值列表 grid_search?=?GridSearchCV(pipeline,?param_grid={'FeatureUnionExt__ToBinary__threshold':[1.0,?2.0,?3.0,?4.0],?'LogisticRegression__C':[0.1,?0.2,?0.4,?0.8]}) #訓(xùn)練以及調(diào)參 grid_search.fit(iris.data,?iris.target)

五、持久化

externals.joblib包提供了dump和load方法來持久化和加載內(nèi)存數(shù)據(jù)：

#持久化數(shù)據(jù) #第一個(gè)參數(shù)為內(nèi)存中的對象 #第二個(gè)參數(shù)為保存在文件系統(tǒng)中的名稱 #第三個(gè)參數(shù)為壓縮級別，0為不壓縮，3為合適的壓縮級別 dump(grid_search,?'grid_search.dmp',?compress=3) #從文件系統(tǒng)中加載數(shù)據(jù)到內(nèi)存中 grid_search?=?load('grid_search.dmp')

?回顧

注意：組合和持久化都會涉及pickle技術(shù)，在sklearn的技術(shù)文檔中有說明，將lambda定義的函數(shù)作為FunctionTransformer的自定義轉(zhuǎn)換函數(shù)將不能pickle化。

由于微信平臺算法改版，公號內(nèi)容將不再以時(shí)間排序展示，如果大家想第一時(shí)間看到我們的推送，強(qiáng)烈建議星標(biāo)我們和給我們多點(diǎn)點(diǎn)【在看】。星標(biāo)具體步驟為：（1）點(diǎn)擊頁面最上方“小詹學(xué)Python”，進(jìn)入公眾號主頁。 （2）點(diǎn)擊右上角的小點(diǎn)點(diǎn)，在彈出頁面點(diǎn)擊“設(shè)為星標(biāo)”，就可以啦。 感謝支持，比心。

總結(jié)

以上是生活随笔為你收集整理的如何使用 sklearn 优雅地进行数据挖掘？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。