前言

機器學習是如今人工智能時代背景下一個重要的領域，它應用廣泛，如推薦系統，文本分析，圖像識別，語言翻譯等等。要想學通這個大的領域不是一件容易的事情，這個“Python快速實戰機器學習”系列，用Python代碼實踐機器學習里面的算法，旨在理論和實踐同時進行，快速掌握知識。

本文概要

1、學會用pandas導入數據；

2、學會用matplotlib可視化數據；

3、學會用sklearn給標簽編碼。

4、學會用sklearn劃分數據集。

5、學會用sklearn進行特征縮放。

導入數據

import?pandas?as?pddf?=?pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data',header=None)df.tail()

我們使用pandas讀取數據，然后通過pandas中的tail方法輸出最后五行數據，看一下Iris數據集格式:

這是一個來自叫做“UCI Machine Learning Repository”數據集。UCI Machine Learning Repository：它是網絡中最古老的數據集源之一，是尋找各種有趣數據集的第一選擇。在這里，盡管數據集都是用戶自行貢獻的，但清潔程度仍然很高。此外，你可以直接從 UCI Machine Learning Repository 上下載數據，無需注冊。

這個數據集是關于鳶尾花分類的問題，一個150個數據，第一列是編號，第二列到第五列是鳶尾花的各種參數，也叫做“特征(features)”是我們判斷鳶尾花屬于哪種的依據。最后一列就是鳶尾花的種類。

數據可視化

import?numpy?as?npimport?matplotlib.pyplot?as?pltY?=?df.iloc[0:100,4].valuesX?=?df.iloc[0:100,[0,2]].valuesplt.scatter(X[:50,0],?X[:50,1],?color='red',?marker?=?'o',?label?=?'setosa')plt.scatter(X[50:100,0],?X[50:100,1],?color='blue',?marker?=?'x',?label?=?'versicolor')plt.xlabel('petal length')plt.ylabel('sepal length')plt.legend(loc='upper left')plt.show()

我們抽取出前100條樣本，這正好是Setosa(前五十個數據)和Versicolor(后五十個數據)對應的樣本，我們將Versicolor對應的數據作為類別1，Setosa對應的作為-1。對于特征，我們抽取出sepal length和petal length兩維度特征，然后用散點圖對數據進行可視化:

標簽編碼

from?sklearn.preprocessing?import?LabelEncoderlabelencoder_Y = LabelEncoder()Y?=??labelencoder_Y.fit_transform(Y)

我們使用sklearn中的preprocessing模塊中LabelEncoder函數給鳶尾花的種類Y編碼，因為在編碼之前，Y存儲的是鳶尾花的名字，也就是字符串變量。我們無法用字符串變量進行數值計算，因此我們需要把它變成0，1，2這種格式的數據。大家可以打印編碼后的Y來查看編碼的效果。

劃分數據

from?sklearn.model_selection?import?train_test_splitX_train,?X_test,?Y_train,?Y_test?=?train_test_split(?X?,?Y?,?test_size?=?0.2,?random_state?=?0)print?(X_train.shape)print?(X_test.shape)

我們使用sklearn中的切分數據集的模塊，model_selection來完成訓練集和測試集的劃分。一般而言我們隨機從整個數據集中找到80%的數據作為訓練集，另外20%的數據作為測試集。一個更加嚴謹的辦法是將整個數據集隨機劃分成五份，然后依次用其中的一份作為測試集，另外四份合并作為訓練集，對算法運行五次，最后取五次的平均值作為最終的結果。這里我們只用一次，作為演示。大家可以看到我們打印了訓練集和數據集的形狀，的確按照八二分。

特征縮放

from?sklearn.preprocessing?import?StandardScalersc_X?=?StandardScaler()X_train?=?sc_X.fit_transform(X_train)X_test?=?sc_X.fit_transform(X_test)

由于我們的特征不止一個維度，每個維度之間沒有同一個刻度，會導致兩個維度之間的數據差距特別大。可能一個維度的數據是0.1，0.2這種小于1的數字；而另一個維度是1000，2000這種非常大的數字。因此，我們需要給特征縮放，讓他們都在同一個尺度，方便后面進行模型計算。

總結

以上是生活随笔為你收集整理的python standardscaler_Python快速实战机器学习之数据预处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。