引用：https://blog.csdn.net/program_developer/article/details/80632779

將n維特征映射到k維上，只保留包含絕大部分方差的維度特征，而忽略包含方差幾乎為0的特征維度，實(shí)現(xiàn)對(duì)數(shù)據(jù)特征的降維處理。

PCA算法有兩種實(shí)現(xiàn)方法：基于特征值分解協(xié)方差矩陣實(shí)現(xiàn)PCA算法、基于SVD分解協(xié)方差矩陣實(shí)現(xiàn)PCA算法。

針對(duì)第一種方案基于特征值分解協(xié)方差，步驟為：

1：對(duì)原始矩陣X進(jìn)行去平均值。

2：求原始矩陣的協(xié)方差。

3：根據(jù)協(xié)方差矩陣計(jì)算特征值和對(duì)應(yīng)的特征向量和標(biāo)準(zhǔn)化特征向量。

4：根據(jù)特征值，將對(duì)應(yīng)的標(biāo)準(zhǔn)化特征向量進(jìn)行排序，每個(gè)特征向量寫作行向量P

5：最終降維結(jié)果：Y=Pk*X

如計(jì)算：

1首先去平均值，每一位特征減去各自的平均值。平均值為0，減0仍為原值。

2之后計(jì)算協(xié)方差，。。得協(xié)方差矩陣。

3然后根據(jù)0，求得（5/6-λ)^2=16/25。求得λ：。根據(jù)，得當(dāng)λ=2，X1=X2。令X1=1，則X2=1，特征向量P1=[1;1]，同理，P2=[1;-1].然后求出P1和P2的標(biāo)準(zhǔn)特征向量。組成P。

4根據(jù)特征值，進(jìn)行排序并寫作行向量：，降到1維，則取第一行

5最終降維

針對(duì)第二種方案基于SVD分解協(xié)方差：

1：對(duì)原始矩陣X進(jìn)行去平均值。

2：根據(jù)SVD計(jì)算特征值和對(duì)應(yīng)的特征向量和標(biāo)準(zhǔn)化特征向量。

3：根據(jù)特征值，將對(duì)應(yīng)的標(biāo)準(zhǔn)化特征向量進(jìn)行排序，每個(gè)特征向量寫作行向量P

4：最終降維結(jié)果：Y=Pk*X

選擇左奇異矩陣，進(jìn)行使用，然后求得協(xié)方差矩陣的特征值與特征向量。

引用：https://link.zhihu.com/?target=https%3A//mp.weixin.qq.com/s/Dv51K8JETakIKe5dPBAPVg

SVD分解的算法過程為：

針對(duì)任意矩陣A，分解為：。U為A的行為參照的方陣，為左奇異矩陣。Σ和A的行列相同，除了對(duì)角線其它元素都為0。V為A的列為參照的方陣，為右奇異矩陣。

分解的步驟為：

1求出：，設(shè)為M，作為U的計(jì)算準(zhǔn)備。，設(shè)為N作為V的計(jì)算準(zhǔn)備。

2針對(duì)M矩陣求出特征值，特征向量。針對(duì)N矩陣求出特征值，特征向量。并將所求特征向量標(biāo)準(zhǔn)化為ui和vi。

3利用根據(jù)ui和vi求出σ的所有值。

4將所有值進(jìn)行歸并，求出表達(dá)式。并利用U獲得原始A的特征值，特征向量。

例如：計(jì)算。

使用MATLAB的算法：

clear all,clc;
A=[[-1,1];[-2,-1];[-3,-2];[1,1];[2,1];[3,2]];
A_mean=A-mean(A);#去平均值
A_div=A_mean;
M=A_div'*A_div;
N=A_div*A_div';
[M_vector,M_val]=eig(M);
[N_vector,N_val]=eig(N);

M_vector=fliplr(M_vector);
N_vector=fliplr(N_vector);
%M_vector=flipud(M_vector)
%N_vector=flipud(N_vector)

M_val=diag(M_val);
N_val=diag(N_val);
M_val=flipud(M_val)
N_val=flipud(N_val)

theta1=sqrt(M_val(1));
theta2=sqrt(M_val(2));
cgma=zeros(size(A));
cgma(1,1)=theta1;
cgma(2,2)=theta2;
%-(N_vector*cgma*M_vector')
-N_vector*cgma

　　取第一列即獲得了降維哦！

總結(jié)

以上是生活随笔為你收集整理的主成分分析法详解（PCA）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。