PCA降维算法原理及代码实现（python和matlab）
?
常見的數據降維算法有：奇異值分解（SVD）、主成分分析（PCA）、因子分析（FA）、獨立成分分析（ICA）。
PCA降維的基本思想：通過計算數據矩陣的協方差矩陣，然后得到協方差矩陣的特征值、特征向量、選擇特征值最大（即方差最大）的K個特征所對應的特征向量組成的矩陣，這樣可以將數據矩陣轉換到新的空間當中，實現數據特征的降維。
PCA降維有兩種思路：一種是特征值分解協方差矩陣，一種是奇異值分解協方差矩陣。下面介紹基于奇異值分解的方法
一：關于特征值分解
a）特征值與特征向量
如果一個向量v是矩陣A的特征向量，將一定可以表示成下面的形式
其中，λ是特征向量v對應的特征值，一個矩陣的一組特征向量是一組正交向量。
b)特征值分解矩陣
對于矩陣A，有一組特征向量v，將這組向量進行正交化單位化，就能得到一組正交單位向量。特征值分解，就是將矩陣A分解為如下式：
其中，Q是矩陣A的特征向量組成的矩陣，則是一個對角陣，對角線上的元素就是特征值。
二：SVD分解矩陣原理
奇異值分解是一個能適用于任意矩陣的一種分解的方法，對于任意矩陣A總是存在一個奇異值分解：
假設A是一個m*n的矩陣，那么得到的U是一個m*m的方陣，U里面的正交向量被稱為左奇異向量。Σ是一個m*n的矩陣，Σ除了對角線其它元素都為0，對角線上的元素稱為奇異值，是v的轉置矩陣，是一個n*n的矩陣，它里面的正交向量被稱為右奇異值向量。而且一般來講，我們會將Σ上的值按從大到小的順序排列。
SVD分解矩陣A的步驟：
(1) 求的特征值和特征向量，用單位化的特征向量構成 U。
(2) 求的特征值和特征向量，用單位化的特征向量構成 V。
(3) 將或者的特征值求平方根，然后構成 Σ
三：實現PCA算法的步驟：
（1）去均值（即去中心化）每一位特征減去各自的平均值。
（2）計算協方差矩陣1/n*xx'
?? (3) ? 用奇異值分解法求協方差矩陣1/n*xx'的特征值與特征向量
（4）對特征值從大到小排序，選擇其中最大的k個，然后將其對應的k個特征向量分別作為行向量組成特征向量矩陣P
（5）將數據轉換到K個特征向量構建的新空間中即Y=PX
如何選擇主成分個數K
1- ? ?<=t
Sii為SVD分解時產生的S矩陣
t的值可以自己設置，t取0.01則代表PCA保留了99%的信息。
最好的K維特征是將n維樣本點轉換為K維后，每一維上的樣本方差都很大。
?
補：matlab自帶的mean函數用法。mean(x)默認求矩陣列的平均值。mean（x,2）求矩陣行的平均值。
std函數：求矩陣的標準差
std(A)是最常見的求標準差的函數，除以的是N-1
std（A,flag）代表的是用哪一個標準差函數，如果取0則代表除以N-1，如果1代表的是除以N
std(A，flag，dim)第三個參數代表的是按照列求標準差，還是按照行求標準差。
repmat函數處理大矩陣且內容重復時會用到
eg? B=repmat([1 2;3 4],2,3)
B= 1 2? 1 2 1 2
? ? ? 3 4? 3 4 3 4
? ? ??1 2? 1 2 1 2
? ? ? 3 4? 3 4 3 4 ?
length(x)矩陣 ? M行N列返回M和N這兩個數的最大值。
歸一化（按列減均值）
標準化（按列縮放到指定范圍）
正則化（范數）
eig函數的用法
a=[-1,1,0;-4,3,0;1,0,2]
eig(a)= [2,1,1]'
[v,d]=eig(a)
v =
? ? ? ? ?0 ? ?0.4082 ? ?0.4082
? ? ? ? ?0 ? ?0.8165 ? ?0.8165
? ? 1.0000 ? -0.4082 ? -0.4082
d =
? ? ?2 ? ? 0 ? ? 0
? ? ?0 ? ? 1 ? ? 0
? ? ?0 ? ? 0 ? ? 1
v是特征向量對應的特征矩陣。d是特征向量組成的矩陣。
rot函數的用法
b=rot90(a)逆時針旋轉90度
b=rot90(a,-1)順時針旋轉90度
matlab代碼實現（待改進：此方法采用的是基于特征值分解的方法，改進為用奇異值分解的方法）
function S=princa(X) [m,n]=size(X); %計算矩陣的行m和列n%-------------第一步：標準化矩陣-----------------% mv=mean(X); %計算各變量的均值 st=std(X); %計算各變量的標準差 X=X-repmat(mv,m,1); %標準化矩陣X%-------------第二步：計算相關系數矩陣-----------------% % R1=X'*X/(m-1); %方法一：協方差矩陣計算公式 % R2=cov(X); %方法二：協方差矩陣計算函數 R=corrcoef(X); %方法三：相關系數矩陣函數%-------------第三步：計算特征向量和特征值-----------------% [V,D]=eig(R); %計算矩陣R的特征向量矩陣V和特征值矩陣D,特征值由小到大%將特征向量矩陣V從大到小排序%將特征值矩陣由大到小排序 E=diag(D); %將特征值矩陣轉換為特征值向量%-------------第四步：計算貢獻率和累計貢獻率-----------------% ratio=0; %累計貢獻率 for k=1:nr=E(k)/sum(E); %第k主成份貢獻率ratio=ratio+r; %累計貢獻率if(ratio>=0.8) %取累計貢獻率大于等于90%的主成分q=k;break;end end%-------------第五步：計算得分-----------------% V=V(:,1:q); S=X*V;python代碼實現
import numpy as np def pca(X,k):n_samples, n_features = X.shapemean=np.array([np.mean(X[:,i]) for i in range(n_features)])norm_X=X-meanscatter_matrix=np.dot(np.transpose(norm_X),norm_X)eig_val, eig_vec = np.linalg.eig(scatter_matrix)eig_pairs = [(np.abs(eig_val[i]), eig_vec[:,i]) for i in range(n_features)]eig_pairs.sort(reverse=True)feature=np.array([ele[1] for ele in eig_pairs[:k]])data=np.dot(norm_X,np.transpose(feature))return data#print(eig_pairs) X = np.array([[-1, 1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]]) print(pca(X,1))利用sklearn中的PCA函數實現
from sklearn.decomposition import PCA import numpy as np X = np.array([[-1, 1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]]) pca=PCA(n_components=1) pca.fit(X) print(pca.transform(X)) #ske參考資料：寫得巨好超級推薦https://blog.csdn.net/program_developer/article/details/80632779
總結
以上是生活随笔為你收集整理的PCA降维算法原理及代码实现（python和matlab）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： linux跨ip拷贝,Linux的虚拟机
- 下一篇： python深拷贝实现原理_从底层剖析P