目錄維數(shù)約減--Dimensionality Reduction數(shù)據(jù)壓縮-data compression可視化數(shù)據(jù)-data visualization主成分分析法-Principal Component Analysis（PCA)PCA算法實現(xiàn)重構(gòu)--將壓縮過的數(shù)據(jù)還原-Reconstruction確定k值PCA應(yīng)用中的幾點建議

維數(shù)約減--Dimensionality Reduction

? 維數(shù)約減屬于無監(jiān)督學(xué)習(xí)范疇，我們希望使用維數(shù)約減的原因可能有：通過數(shù)據(jù)壓縮以減少數(shù)據(jù)占有內(nèi)存的大小，為算法運算提高速度，將數(shù)據(jù)可視化等。

數(shù)據(jù)壓縮-data compression

? 某個物體的長度以x1厘米為單位，另一個x2是它以英寸為單位的長度。這是一個非常冗余的數(shù)據(jù)，所以與其用兩個特征變量x1和x2，但它們都是測量到的長度，或許我們應(yīng)該把這個數(shù)據(jù)降到一維，這樣一來只用一個長度的數(shù)據(jù)。

? 從二維/2D降到一維/1D到底意味著什么？通過樣本涂上不同的顏色，在這個例子中降低維度的意思指找到這樣一條線，基本所有點都落在這個方向上然后把所有的數(shù)據(jù)映射到這條線上，這樣做之后就可以直接測量這條線上每個樣本的位置，現(xiàn)在把這個新特征叫做z1，要確定這條線上的位置只需要一個數(shù)字，這就是說新特征變量z1能夠表示這條綠線上每一個點的位置。


? 更具體地，之前我們有一個樣本x(1)，比如這是第一個樣本x(1)，為了表示原本的x(1)，需要一個二維數(shù)字或者一個二維特征向量，但是現(xiàn)在可以只用z(1)來表示第一個樣本x(1)，以此類推到m個樣本上。

? 接著舉一個3D縮減為2D的例子，如下：左邊是原始數(shù)據(jù)集，中間是投影到2D的數(shù)據(jù)集，右邊是以z1和z2為坐標(biāo)軸的2D數(shù)據(jù)集。我們來更詳細(xì)地看一下左側(cè)，這是原始數(shù)據(jù)集（3D點云），開始它的坐標(biāo)軸是x1,x2,x3。所以這是一個3D的點云，但是大部分?jǐn)?shù)據(jù)都落在某個2D平面上或者說距離某個2D平面不遠(yuǎn)。


? 接著如中間的圖片一樣，把它們投影到2D平面，現(xiàn)在只需要兩個數(shù)z1和z2來表示點在平面上的位置，如右側(cè)的圖像，這就是把數(shù)據(jù)從三維降到二維的過程降到二維的過程，這就是維數(shù)約減以及如何使用它來壓縮數(shù)據(jù)。

可視化數(shù)據(jù)-data visualization

? 除了壓縮數(shù)據(jù)，可視化數(shù)據(jù)對于機(jī)器學(xué)習(xí)的應(yīng)用幫助也很大，可以提高開發(fā)高效學(xué)習(xí)算法的效率，而前提要求我們必須很好地理解數(shù)據(jù)。

? 假如我們收集了大量的關(guān)于全世界不同國家的統(tǒng)計數(shù)據(jù)集，第一個特征x1是國內(nèi)生產(chǎn)總值，x2是每人占有的GDP，x3人類發(fā)展指數(shù)，x4預(yù)期壽命，x5x6等。像這里這樣的數(shù)據(jù)對于每個國家可能有50個特征，我們有這樣的眾多國家的數(shù)據(jù)集，那么有沒有辦法使得我們能更好地來理解數(shù)據(jù)？

? 這里給出了一張有數(shù)字的表格，你怎樣將這些數(shù)據(jù)可視化？如果有50個特征繪制一幅50維度的圖是異常困難的，那有沒有觀察數(shù)據(jù)的好辦法呢？


**降維**

? 我們使用特征向量x(i)來表示每個國家，x(i)有著50個維度。例如，加拿大這個國家的特征用50個數(shù)字來代表，我們要能提出一種不同的特征表示方法，使用一個二維的向量z來代替x。


? 在這種情況下我們可以使用一對數(shù)字z1和z2，從某種程度來說這兩個數(shù)總結(jié)了50個數(shù)，也許我們可以使用這兩個數(shù)來繪制出這些國家的二維圖。使用這樣的方法嘗試去理解二維空間下不同國家在不同特征的差異更容易。所以，這里將數(shù)據(jù)降維從50維度降維到2維度，這樣就可以繪制出2D的圖像。

? 仔細(xì)觀察降維算法的輸出結(jié)果，它通常不能賦予你想要的這些二維新特征一個物理含義，在這里每個國家用一個點z(i)表示，z(i)是一個二維數(shù)據(jù)，或許會發(fā)現(xiàn)例如那條水平軸即z1軸大致對應(yīng)了國家總面積或者一個國家的總體經(jīng)濟(jì)活動情況，然而縱軸即z2的數(shù)據(jù)或許對應(yīng)著人均GDP或是人均幸福感。


? 可以發(fā)現(xiàn)對于50個特征，到最后主要是這2個維度的特征來進(jìn)行表示。上圖中，像美國有著相當(dāng)大的總GDP以及相對的高人均GDP，像新加坡這樣的國家生產(chǎn)總值并不算高，但人均幸福度很高。

主成分分析法-Principal Component Analysis（PCA)

公式formula

? 對于降維問題，目前最流行的算法是主成分分析法PCA，首先我們用公式準(zhǔn)確的描述想讓PCA來做什么。我們有這樣的一個數(shù)據(jù)集，這個數(shù)據(jù)集含有二維實數(shù)空間內(nèi)的樣本X，假設(shè)我想對數(shù)據(jù)進(jìn)行降維，即從二維降到一維，現(xiàn)在想找到一條直線將數(shù)據(jù)投影到這條直線上那怎么找到一條好的直線來投影這些數(shù)據(jù)呢？


? 下圖這樣的一條直線也許是個不錯的選擇，因為每個點到它們對應(yīng)的投影到直線上的點之間的距離非常小，也就是說這些藍(lán)色的線段非常的短。


? 正式的講，PCA所做的就是尋找一個低維的面（在這個例子中其實是一條直線），數(shù)據(jù)投射在上面使得這些藍(lán)色小線段的平方和達(dá)到最小值，這些藍(lán)色線段的長度時常被叫做投影誤差。所以PCA所做的就是尋找一個投影平面對數(shù)據(jù)進(jìn)行投影使得這個能夠最小化。

? 更一般的情況是我們有n維的數(shù)據(jù)想降到k維，在這種情況下我們不僅僅只尋找單個的向量來對數(shù)據(jù)進(jìn)行投影我們要找到k個方向來對數(shù)據(jù)進(jìn)行投影從而最小化投影誤差。

? 如果有下圖所示的一些三維數(shù)據(jù)點，那么我們想要做的是尋找兩個向量，用紅線畫出來， 尋找兩個向量從原點延伸出來，這是u(1)這是第二個向量u(2)，這兩個向量一起定義了一個平面或者說定義了一個二維面。因此PCA做的就是尋找一條直線或者平面諸如此類等等對數(shù)據(jù)進(jìn)行投影來最小化平方投影90度的或者正交的投影誤差。


PCA 并不是線性回歸

? 盡管看上去有一些相似但是它們確實是兩種不同的算法，如下圖左側(cè)，要在給定某個輸入特征x的情況下預(yù)測某個變量y的數(shù)值，故對于線性回歸我們想做的是擬合一條直線來最小化點和直線之間的平方誤差。所以我們要最小化的是這些藍(lán)線幅值的平方，注意所畫的這些藍(lán)色的垂直線，這是垂直距離，它是某個點與通過假設(shè)的得到的其預(yù)測值之間的y軸方向上的距離。


? 與此想反，如上圖右側(cè)，PCA要做的是最小化這些藍(lán)色直線的幅值，這實際上是最短的直角距離，也就是點x跟直線之間的最短距離。

? 更一般的是當(dāng)你做線性回歸的時候有一個特別的變量y，我們將要預(yù)測的線性回歸就是用x的所有的值來預(yù)測y。然而，在PCA中沒有這么一個特別的或者特殊的變量y，我們所擁有的是特征x1，x2等一直到xn所有的這些特征都是被同樣地對待因此它們中沒有一個是特殊的。

PCA算法實現(xiàn)

? 在使用PCA之前我們通常會有一個數(shù)據(jù)預(yù)處理的過程：拿到某組有m個無標(biāo)簽樣本的訓(xùn)練集一般先進(jìn)行均值歸一化(meannormalization)，這一步很重要，然后還可以進(jìn)行特征縮放(featurescaling)這根據(jù)你的數(shù)據(jù)而定。這跟我們之前在監(jiān)督學(xué)習(xí)中提到的均值歸一和特征縮放是一樣的實際上它們是完全一樣的步驟只不過現(xiàn)在我們針對的是一系列無標(biāo)簽的數(shù)據(jù)x(1)到x(m)，因此對于均值歸一我們首先應(yīng)該計算出每個特征的均值μ，然后我們用x-μ來替換掉x這樣就使得所有特征的均值為0。

? 由于不同特征的取值范圍都很不一樣，比如說如果x1表示房子的面積，x2表示房屋的臥室數(shù)量。然后我們可以把每個特征進(jìn)行縮放，使其處于同一可比的范圍內(nèi)。

? 同樣地，跟之前的監(jiān)督學(xué)習(xí)類似我們可以用(x_j{(i)})減去平均值μj，除以sj來替換掉第j個特征(x_j{(i)})，這里的sj表示特征j的某個量度范圍，因此它可以表示最大值減最小值，更普遍地，它可以表示特征j的標(biāo)準(zhǔn)差進(jìn)行。

? 完以上這些數(shù)據(jù)預(yù)處理后接下來就正式進(jìn)入PCA的算法部分。在上節(jié)中我們已經(jīng)知道了PCA的原理，PCA是在試圖找到一個低維的子空間，然后把原數(shù)據(jù)投影到子空間上并且最小化平方投影誤差的值，或者說投影誤差的平方和。因此我們想要做的是找到某個具體的向量u(1)指定這條投影線的方向，或者在2D的情況下我們想要找到兩個向量u(1)和u(2)來定義一個投影平面對數(shù)據(jù)進(jìn)行投影。

? PCA要做的事兒就是要得到一種方法來計算兩個東西，其一是計算這些向量比如這里的u(1)，這里的u(1)、u(2)。另一個問題是怎樣計算出這些z，對于左邊這個例子我們要把數(shù)據(jù)從二維降到一維，對于右邊這個例子我們要把數(shù)據(jù)從三維降到二維。從原來的x(i)變?yōu)楝F(xiàn)在的z(i)，新的z向量是二維的，它應(yīng)該是{z1，z2}這樣的一個向量。


? 因此我們需要找到某種辦法來算出這些新的變量也就是z1和z2，那么應(yīng)該怎樣來計算這些值呢 ?

? 假如說我們想要把數(shù)據(jù)從n維降低到k維，我們首先要做的是計算出這個協(xié)方差矩陣（covariance matrix）通常以希臘字母大寫的∑來表示，這里區(qū)分與后面的求和符號，假如我們把協(xié)方差矩陣存為Octave/MATLAB中的一個變量叫Sigma，我們需要做的是計算出Sigma矩陣的特征向量(eigenvectors)。

? 在Octave/MATLAB中你可以使用如下命令來實現(xiàn)這一功能

[U,S,V]=svd(Sigma); 

? svd表示奇異值分解(singular value decomposition)，這是某種更高級的奇異值分解，此外還有另一個eig命令，也可以用來計算特征向量。參見強(qiáng)大的矩陣奇異值的分解SVD應(yīng)用

? 實際上svd命令和eig命令將得到相同的結(jié)果，這是因為協(xié)方差均值總滿足一個數(shù)學(xué)性質(zhì)--對稱正定(symmetric positive definite)，但是svd其實要更穩(wěn)定一些。

? 協(xié)方差矩陣Sigma應(yīng)該是一個n×n的矩陣，然后svd將輸出三個矩陣分別是U、S、V。這里真正需要的是U矩陣，U矩陣也是一個n×n矩陣。如果我們想將數(shù)據(jù)的維度從n降低到k的話，我們只需要提取前k列向量，這樣我們就得到了u(1)到u(k)，也就是我們用來投影數(shù)據(jù)的k個方向。

? 接下來對于原始數(shù)據(jù)集x，x是一個n維實數(shù)，然后我們要找到一個低維的表達(dá)z，z是k維實數(shù)，我們構(gòu)建這樣一個矩陣把u(1)、u(2)一直到u(k)，并列地合起來，其實就是取出這個U矩陣的前k列元素，將這個新的矩陣成為(U_{reduce})即約減后的矩陣。z等于這個(U_{reduce})矩陣的轉(zhuǎn)置乘以x。

? 小結(jié)一下：首先對數(shù)據(jù)集進(jìn)行預(yù)處理，利用均值歸一化確保所有的特征均值為零，必要時可以添加特征縮減，接著計算協(xié)方差矩陣sigma∑，為：，利用octave/Matlab中的奇異值分解svd函數(shù)得到約減矩陣：

[U,S,V] = svd(Sigma);
Ureduce =  U(:,1:k);

? 計算投影值：z = Ureduce'*x;

重構(gòu)--將壓縮過的數(shù)據(jù)還原-Reconstruction

? 如下圖：現(xiàn)有樣本x(1)樣本x(2)，那我們要讓這些樣本投影在一維平面上，我們現(xiàn)在只需要使用一個實數(shù)就能在它們?nèi)勘煌队暗竭@個一維平面z1上，并且明確地指定其位置。


? 反過來，任意給一個點比如這個點z(1)，如何重新得到原來的二維數(shù)據(jù)點呢？具體來說就是給出一個一維實數(shù)點z，我們能否讓z重新變成原來的二維實數(shù)點x？我們知道z的值等于U_reduce的轉(zhuǎn)置乘以x，如果想得到相反的情形方程應(yīng)這樣變化x_approx應(yīng)該等于U_reduce乘以z為了檢查維度，這里U_reduce是一個n×k矩陣，z就是一個k×1維向量，將它們相乘得到的就是n×1維。所以說x_approx是一個n維向量，同時根據(jù)PCA的意圖：投影的平方誤差不能很大，也就是說x_approx將會與最開始用來導(dǎo)出z的原始x很接近。

? 用圖表示出來，我們可以看到這些點都到綠線上去了，與原始樣本點的位置有一定誤差，但已經(jīng)是與原始數(shù)據(jù)非常近似了，通過這個公式我們得到x_approx(1)對應(yīng)于圖上x_approx(1)，可以使用同樣的步驟計算出x_approx(2)。


? 這就是用低維度的特征數(shù)據(jù)z回到未被壓縮的特征數(shù)據(jù)，我們找到一個與原始數(shù)據(jù)x近似的x_apporx我們也稱這一過程為原始數(shù)據(jù)的**重構(gòu)**(reconstruction)，我們可以在需要從壓縮過的數(shù)據(jù)重構(gòu)出原始數(shù)據(jù)x時使用這種方法。

確定k值

? 在正式確定中心成分的數(shù)目k值時，我們需要先了解倆個定義，第一：平均平方映射誤差(Average Squared Projection Error)，它是原始數(shù)據(jù)x和映射值x_approx(i)之間的差，PCA就是要將這個量最小化。這個在上節(jié)中也做過定義，它就是要最小化x和其在低維表面上的映射點之間的距離的平方。

(frac{1}{m}sum_{i=1}^{m}||x^{(i)}-x_{approx}^{(i)}||^2)

? 第二：數(shù)據(jù)的總變差(TotalVariation)，它是這些樣本x(i)的長度的平方的均值，意思是“平均來看訓(xùn)練樣本距離零向量（零點）距離。

(frac{1}{m}sum_{i=1}^{m}||x^{(i)}||^2)

? 一個非常常用的選擇k值的方法是希望平均平方映射誤差就是x和其映射值之間的平均距離，除以數(shù)據(jù)的總變差，希望這個比值能夠小于0.01或者說是小于1%。


? 因此如果你使用PCA，并且你想要告訴別人你保留了多少個主成分，更為常見的一種說法是，選擇了參數(shù)k使得99%的差異性得以保留，此外人們經(jīng)常用的另一個常用的值是0.05，那么這就會是5%如果是這樣的話你可以說95%的差異性被保留了。

? 對于選取k的值，最容易想到的：我們可以從k=1開始，然后我們再進(jìn)行主成分分析我們算出U_reduce，z(1)、z(2)一直到z(m)。算出所有x_approx(1)一直到x_approx(m)，然后看99%（或90%）的差異性是否被保留下來了，如果不是接下來嘗試k=2，然后重新走一遍整個過程檢查是否滿足這個表達(dá)式，如果不是我們再重復(fù)一次我們嘗試k=3然后試k=4，以此類推一直試到比如我們一直試到k=17然后發(fā)現(xiàn)99%的數(shù)據(jù)都被保留了。我們就會用k=17這是一種用來選擇使得99%的差異性能夠得以保留的最小的k值的方法，但是可以想見這個過程的效率相當(dāng)?shù)氐停。?/p>

? 其實在應(yīng)用PCA時，它已經(jīng)給了我們一個可以使計算變得容易很多的量，特別是當(dāng)你對協(xié)方差的矩陣Sigma調(diào)用svd時，我們還會得到這個矩陣S，S是一個正方形矩陣實際上是一個n×n的矩陣，它是一個對角矩陣對角線上的元素是(s_{11},s_{22},s_{33})一直到(s_{nn})。

? 假如說k=3，我們接下來要計算的分子是從i=1到3對Sii求和從i=1到3對Sii求和就是算出這前三個元素的和，這就是分子。然后計算分母分母是這些對角元素的總和。

? 你要做的就是慢慢地增大k值，把k值設(shè)為1、k值設(shè)為2、把k值設(shè)為3，以此類推并檢驗這個數(shù)值。找出能夠確保99%的差異性被保留的最小的k值，找出能夠確保99%的差異性被保留的最小的k值。


? 如果這樣做，只需要調(diào)用一次svd函數(shù)，因為它會給你S矩陣，一旦有了S矩陣便可以通過增加分子上的k值，通過增加分子上的k值來做這個計算，因此就不用一遍一遍地調(diào)用svd函數(shù)來檢驗不同的k值。

? 順便說一下，如果想要向他們解釋你實現(xiàn)的PCA的性能的一個好方法實際上是這個數(shù)值把它算出來，它會告訴你百分之多少的差異性被保留了下來，如果你把這個數(shù)值展現(xiàn)出來，那么熟悉PCA的人們就可以通過它來更好地理解你用來代表原始數(shù)據(jù)的100維數(shù)據(jù)近似得有多好。

PCA應(yīng)用中的幾點建議

? 首先介紹如何通過PCA來提高學(xué)習(xí)算法的速度，比如說你遇到了一個監(jiān)督學(xué)習(xí)問題注意這個監(jiān)督學(xué)習(xí)算法問題有輸入x和標(biāo)簽y，而你的樣本x(i)是非常高維的數(shù)據(jù)，比如說x(i)是一個10,000維的向量，如一張100×100的圖片。如果x(i)是包含了這10000像素強(qiáng)度值的特征向量，那么就會有10000維特征向量。

? 如果你輸入10,000維的特征向量到邏輯回歸中或者到一個神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)中，或是任何別的算法中，像這樣有很高維的特征向量運行會比較慢。使用PCA能夠降低數(shù)據(jù)的維數(shù)從而使算法更加高效地運行。

? 提取出x并暫時把y放在一邊，通過這一步會得到一組無標(biāo)簽的訓(xùn)練集，從x(1)到x(m)這可能會有10,000維數(shù)據(jù)也就是10,000維數(shù)據(jù)樣本所以就是從數(shù)據(jù)組中x(1)到x(m)中提取出輸入向量。


? 接著應(yīng)用PCA，會得到一個降維的數(shù)據(jù)，與剛才的10,000維特征相比，現(xiàn)在就只有1000維特征向量，因此這就降低了10倍。新的訓(xùn)練集樣本用z(1)來表示，其中z(1)與y(1)是一對兒，同樣地，z(2)對應(yīng)y(2)等等，一直到z(m)對y(m)，因為現(xiàn)在的訓(xùn)練集由這樣一個更加低維的數(shù)據(jù)集所代替z(1),z(2)一直到z(m)。最后將這個已經(jīng)降維的數(shù)據(jù)集輸入到學(xué)習(xí)算法或者是將其放入到神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)出假設(shè)h把這些低維的z作為輸入并作出預(yù)測。

? 最后要注意一點PCA定義了從x到z的對應(yīng)關(guān)系，這種從x到z的對應(yīng)關(guān)系只可以通過在訓(xùn)練集上運行PCA定義出來。
? 具體來講，計算出這樣一個降維的矩陣U_reduce，但是降維矩陣U_reduce中的數(shù)據(jù)就像一個PCA所學(xué)習(xí)的參數(shù)一樣，我們需要使參數(shù)唯一地適應(yīng)這些訓(xùn)練集而不是適應(yīng)交叉驗證或者測試集。
? 因此U_reduce矩陣中的數(shù)據(jù)應(yīng)該只通過對訓(xùn)練集運行PCA來獲得，找出了降維矩陣U_reduce或者找出了這些特征擴(kuò)展的參數(shù)之后，均值均一化，在訓(xùn)練集中找到了所有這些參數(shù)后就可以將同樣的對應(yīng)關(guān)系應(yīng)用到其他樣本中了可能是交叉驗證數(shù)集樣本或者測試數(shù)據(jù)集中。

? 總結(jié)一下，當(dāng)在運行PCA的時候只是在訓(xùn)練集那一部分來進(jìn)行的而不是交叉驗證的數(shù)據(jù)集，這就定義了從x到z的映射，然后就可以將這個映射應(yīng)用到交叉驗證數(shù)據(jù)集中和測試數(shù)據(jù)集中。

? 假設(shè)x(i)為有n個特征的數(shù)據(jù)集，我們將數(shù)據(jù)進(jìn)行壓縮并用壓縮后的數(shù)據(jù)z(i)來代替原始數(shù)據(jù)，在降維過程中我們從n個特征降維到k個，比先前的維度低。例如如果我們有非常小的特征數(shù)目，假如k值為1000，n值為10000，那么1000維度的數(shù)據(jù)和用10000維度的數(shù)據(jù)比起來對于同樣是1000個特征來說或許更不容易過擬合。所以有些人認(rèn)為PCA是一種避免過擬合的方法，然而這并不是一個合適的PCA應(yīng)用。仔細(xì)想想PCA是如何工作的它并不需要使用數(shù)據(jù)的標(biāo)簽label，只需要輸入數(shù)據(jù)x(i)，同時使用這個方法時PCA把某些信息舍棄掉了。而只使用正則化將會是一種避免過擬合絕對好的方法。

? 建議一開始不要將PCA方法就直接放到算法里，先使用原始數(shù)據(jù)x(i)看看效果，只有一個原因讓我們相信算法出現(xiàn)了問題那就是你的學(xué)習(xí)算法收斂地非常緩慢占用內(nèi)存或者硬盤空間非常大，所以你想來壓縮數(shù)據(jù)只有當(dāng)你的x(i)效果不好只有當(dāng)你有證據(jù)或者充足的理由來確定x(i)效果不好的時候那么就考慮用PCA來進(jìn)行壓縮數(shù)據(jù)。

版權(quán)聲明：本文版權(quán)歸作者和博客園共有，歡迎轉(zhuǎn)載，但未經(jīng)作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文鏈接。

總結(jié)

以上是生活随笔為你收集整理的维数约减--Dimensionality Reduction的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。