菜菜的機器學習sklearn實戰-----sklearn中的降維算法PCA和SVD

概述

從什么叫維度說開來

簡單講，shape中返回了幾個數字就是幾維。

一張表最多就是一維

當一個數組中存在2張3行4列的表時，shape返回的是(更高維，行，列)

當數組中存在2組2張3行4列的表時，數據就是4維，shape返回(2，2，3，4)

數組中的每一張表，都是一個特征矩陣或者一個DataFrame，這些結構永遠只有一張表，所以一定要有行列，其中行是樣本，列是樣本特征。

針對每一張表，維度指的是樣本的數量或者特征的數量，一般無特別說明，指的都是特征的數量。

除了索引之外，一個特征是一維，兩個特征是二維，n個特征是n維。

對于圖像來說，維度就是圖像中的特征向量的數量(坐標軸的 個數)

降維算法中的“降維”，指的就是降低特征矩陣中特征的數量

降維的目的：

就是讓算法運算更快，效果更好

另外的一個應用就是：數據可視化

sklearn中的降維算法

PCA與SVD

我們希望減少特征的數量，又保留大部分有效信息

在降維中，PCA使用的信息衡量指標，就是樣本方差，又稱可解釋性方差。方差越大，特征所帶的信息量越多。

降維究竟是如何實現的

PCA作為矩陣分解算法的核心算法

降維過程中的幾個重要步驟：

二維特征矩陣

n維特征矩陣

輸入原數據，結構為(3,2)找出樣本的2個特征對應的直角坐標系，本質是找出這2個特征構成的2維平面

輸入原數據，結構為(m,n)找出原本的n個特征向量構成的n維空間V

決定降維后的特征數量：1

決定降維后的特征數量：k

旋轉，找出一個新坐標系本質是找出2個新的特征向量，以及它們構成的新2維平面

決定降維后的特征數量：k

找出數據點在新坐標系上，2個新坐標軸上的坐標

找出原始數據在新特征空間V中的n個新特征向量上對應的值，“將數據映射到新的空間中”

選取第1個方差最大的特征向量，刪除沒有被選中的特征，成功將2維平面降為1維

選取前K個信息量最大的特征，刪掉沒有被選中的特征，成功將n維空間V降為k維

找出n個新特征向量，讓數據能夠被壓縮到少數特征上并且總信息量不損失太多的就是矩陣分解

思考：PCA和特征選擇技術都是特征工程的一部分，他們有什么不同？

特征選擇具有可解釋性

而PCA，在新的特征矩陣生成之前，我們無法知曉PCA都建立了怎樣的新特征向量，新特征矩陣生成之后也不具有可讀性

因此，PCA一般不適用于探索特征與標簽之間關系的模型(如線性回歸)，因為無法解釋的新特征和標簽之間的關系不具有意義。在線性回歸模型中，我們使用特征選擇。

重要參數n_commpenents

n_components是我們降維后需要的降維，即降維后需要保留的特征數量。

迷你案例：高維數據的可視化

import matplotlib.pyplot as plt

from sklearn.datasets import load_iris

from sklearn.decomposition import PCA

iris = load_iris()

y = iris.target

y

X = iris.data

X

#調用PCA

pca = PCA(n_components=2)

pca = pca.fit(X)

X_dr = pca.transform(X)

X_dr

#fit_transform一步到位

#X_dr = PCA(2).fit_transform(X)

#可視化

#要將三種鳶尾花的數據顯示二維平面坐標系中，對應的兩種的兩個坐標(兩個特征向量)應該是三種鳶尾花降維后的X1和X2，怎樣才能取出三種鳶尾花下不同的x1和x2

X_dr[y==0,0]#這里是布爾索引----0表示是第0種標簽的第1列

#要展示三中分類的分布，需要對三種鳶尾花分別繪圖

#可以寫成三行代碼，也可以寫成for循環

plt.figure()

plt.scatter(X_dr[y==0,0],X_dr[y==0,1],c="red",label=iris.target_names[0])

plt.scatter(X_dr[y==1,0],X_dr[y==1,1],c="black",label=iris.target_names[1])

plt.scatter(X_dr[y==2,0],X_dr[y==2,1],c="orange",label=iris.target_names[2])

plt.legend()

plt.title('pca of IRIS dataset')

plt.show()

colors = ['red','black','orange']

iris.target_names

plt.figure()

for i in [0,1,2]:

plt.scatter(X_dr[y==i,0]

,X_dr[y==i,1]

,alpha=.7

,c=colors[i]

,label=iris.target_names[i]

)

plt.legend()

plt.title('PCA of IRIS dataset')

plt.show()

探索降維后的數據

#屬性explained_variance,查看降維后每個新特征向量上所帶的信息量大小(可解釋性方差的方法)

pca.explained_variance_

#屬性explained_variance_ratio查看降維后每個特征向量所占的信息量占原始數據總量的百分比

pca.explained_variance_ratio_

pca.explained_variance_ratio_.sum()

選擇最好的n_components:累積可解釋方差貢獻率曲線

import numpy as np

pca_line = PCA().fit(X)

plt.plot([1,2,3,4],np.cumsum(pca_line.explained_variance_ratio_))

plt.xticks([1,2,3,4])

plt.xlabel("number of components after dimension reduction")

plt.ylabel("cumulative explained variance")

plt.show()

最大似然估計自選超參數

pca_mle = PCA(n_components="mle")

pca_mle = pca_mle.fit(X)

X_mle = pca_mle.transform(X)

X_mle

#可以發現，mle為我們自動選擇了3個特征

pca_mle.explained_variance_ratio_.sum()

#得到了比設定2個特征時更高的信息含量

按信息量占比選超參數

pca_f = PCA(n_components=0.97,svd_solver="full")

pca_f = pca_f.fit(X)

x_f = pca_f.transform(X)

pca_f.explained_variance_ratio_

PCA中的SVD

重要參數svd_solver與random_state

svd_solver的4個選項：

“auto” 通常選用

“full”

“arpack” 適合特征矩陣稀疏

“randomized” 適合特征矩陣巨大，計算量大

重要屬性components_

重要接口inverse_transform

將歸一化、標準化之后的數據變回去

迷你案例：用人臉識別看PCA降維后的信息保存量

from sklearn.datasets import fetch_lfw_people

from sklearn.decomposition import PCA

import matplotlib.pyplot as plt

import numpy as np

faces = fetch_lfw_people(min_faces_per_person=60)

X = faces.data

pca = PCA(150)#實例化

X_dr = pca.fit_transform(X)

X_dr.shape

X_inverse = pca.inverse_transform(X_dr)

X_inverse.shape

#可視化

fig,ax = plt.subplots(2,10,figsize=(10,2.5),subplot_kw={"xticks":[],"yticks":[]})

for i in range(10):

ax[0,i].imshow(faces.images[i,:,:],cmap="binary_r")

ax[1,i].imshow(X_inverse[i].reshape(62,47),cmap="binary_r")

降維不是你完全可逆的

迷你案例：用PCA做噪音過濾

from sklearn.datasets import load_digits

from sklearn.decomposition import PCA

import matplotlib.pylab as plt

import numpy as np

digits = load_digits()

digits.data.shape

def plot_digits(data):

fig,axes = plt.subplots(4,10,figsize=(10,4)

,subplot_kw = {"xticks":[],"yticks":[]})

for i,ax in enumerate(axes.flat):

ax.imshow(data[i].reshape(8,8),cmap="binary")

#可視化

plot_digits(digits.data)

#加入噪聲

rng = np.random.RandomState(42)

noisy = rng.normal(digits.data,2)

plot_digits(noisy)

#過濾噪聲

pca = PCA(0.5,svd_solver="full").fit(noisy)

X_dr = pca.transform(noisy)

X_dr.shape

without_noise = pca.inverse_transform(X_dr)

plot_digits(without_noise)

重要接口,參數和屬性總結

案例：PCA對手寫數字數據集的降維

原文鏈接:https://blog.csdn.net/Avery123123/article/details/105162814

總結

以上是生活随笔為你收集整理的svd降维 python案例_菜菜的机器学习sklearn实战-----sklearn中的降维算法PCA和SVD的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。