環境：Python3.6.5
編譯器：jupyter notebook

注：這篇文章會不斷更新…

---

1. 標準化

數據集的標準化(Standardization)對scikit-learn中實現的大多數機器學習算法來說是常見的要求 。如果個別特征或多或少看起來不是很像標準正態分布(具有零均值和單位方差)，那么這些機器學習算法的表現可能會比較差。

在機器學習算法的目標函數(例如SVM的RBF內核或線性模型的l1和l2正則化) 中有很多地方都假定了所有特征都是以0為中心而且它們的方差也具有相同的階數。 如果某個特征的方差比其他特征大幾個數量級，那么它就會在學習算法的目標函數中占據主導位置， 導致學習器并不能像我們所期望的那樣，從其他特征中學習。

函數scale提供了一個快速簡單的方法來在單個array-like數據集上執行上述標準化操作

from sklearn import preprocessing import numpy as np #創建一組特征數據，每一行表示一個樣本，每一列表示一個特征 X_train = np.array([[ 1., -1., 2.],[ 2., 0., 0.],[ 0., 1., -1.]]) #將每一列特征標準化為標準正太分布，注意，標準化是針對每一列而言的 X_scaled = preprocessing.scale(X_train) X_scaled """ 輸出： array([[ 0. , -1.22474487, 1.33630621],[ 1.22474487, 0. , -0.26726124],[-1.22474487, 1.22474487, -1.06904497]]) """

被縮放的數據具有零均值和單位方差:

X_scaled.mean(axis=0) """ 輸出：array([0., 0., 0.]) """ X_scaled.std(axis=0) """ 輸出：array([1., 1., 1.]) """

preprocessing模塊還提供了一個工具類StandardScaler，它實現了Transformer的API來計算訓練集上的平均值和標準偏差，以便以后能夠在測試集上重新應用相同的變換。

scaler = preprocessing.StandardScaler().fit(X_train) #將每一列特征標準化為標準正太分布，注意，標準化是針對每一列而言的 scaler.transform(X_train) """ 輸出： array([[ 0. ..., -1.22..., 1.33...],[ 1.22..., 0. ..., -0.26...],[-1.22..., 1.22..., -1.06...]]) """

（本文參考官網文檔）

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的专题一：预处理数据（使用sklearn-preprocessing）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。