《Two-Dimensional PCA: A New Approach to Appearance-Based Face Representation and Recognition》

本人機(jī)器學(xué)習(xí)的論文閱讀部分學(xué)習(xí)了2D-PCA的原始文獻(xiàn)《Two-Dimensional PCA: A New Approach to Appearance-Based Face Representation and Recognition》以下是自己通過閱讀整理出的PCA和2D-PCA的相關(guān)知識，供參考嘻嘻~

一、PCA理解

• PCA作用：降維
  一般情況下，在機(jī)器學(xué)習(xí)中數(shù)據(jù)被表示為向量，如（a, b, c, d, e)T稱為一條記錄，當(dāng)記錄的維度成千上萬時會帶來大量的計算。實(shí)際發(fā)現(xiàn)記錄中的每一列存在相關(guān)性，當(dāng)刪去時對結(jié)果的影響很小甚至幾乎為0，因此可對數(shù)據(jù)進(jìn)行降維，而降維意味著數(shù)據(jù)丟失，我們的目的是在降維的同時將信息的損失盡量降低。（引入投影概念，若將每條記錄以坐標(biāo)的形式投影到一條直線上，重合的數(shù)據(jù)即為丟失的信息）

• 投影：*(a,b)=|a|*|b|cosθ
  笛卡爾坐標(biāo)系的坐標(biāo)其實(shí)就是x坐標(biāo)和y坐標(biāo)在x軸正方向和y軸的正方向上的投影，這里默認(rèn)x和y軸為單位向量，即當(dāng)(a,b)=|a|*|b|*cosθ公式中當(dāng)|a|為1，即是單位向量時，b在a上的投影就是b的坐標(biāo)值如下圖。這就將坐標(biāo)轉(zhuǎn)換成了投影，我們要獲得不重合的坐標(biāo)，就要保證投影的向量是盡量不相關(guān)的。
  

• 將二維推廣到多維，我們降維的目標(biāo)就變成了找n維向量在互相正交的向量下的投影坐標(biāo)。由此目標(biāo)轉(zhuǎn)換為找到d個相互正交的向量，由此聯(lián)想到矩陣的特征向量。
  
  其中我們的輸入是M個n維列向量，我們將輸入由R個相互正交的向量表示，此時這R個向量是標(biāo)準(zhǔn)正交化后的單位向量，由上面我們推論過的若向量是單位化的，則做乘積后就是原向量在該單位向量上的坐標(biāo)，所以我們做乘積，獲得新的坐標(biāo)。（RN）(NM)=(RM)，原始矩陣大小為NM，獲得的轉(zhuǎn)換后的矩陣為RM，若R<N，則降維的目的實(shí)現(xiàn)。此時目標(biāo)就是找到R個相互正交的標(biāo)準(zhǔn)化后的單位向量。

• 如何確定R個標(biāo)準(zhǔn)正交化的向量-SVD分解
  首先引入方差、協(xié)方差的概念：
  
  首先將原問題等價為求最大方差->協(xié)方差為0->協(xié)方差矩陣對角化，最后我們就要找到協(xié)方差矩陣的對角化形式。
  
  這里之所以將特征值按從大到小排列的原因是因?yàn)槲覀円沟梅讲?#xff08;即對角線）最大，從另一個角度，我們要找到R個線性無關(guān)的特征向量，而矩陣的大部分特征基本上排列在前k大的特征向量中，在論文中也有驗(yàn)證，所以我們要將其按順序排列。
  接下來就要找矩陣的特征值和特征向量（類似于矩陣的SVD分解）。

• 至此PCA的相關(guān)原理就解釋完畢，總結(jié)思路就是：
  
  而2D-PCA與PCA的不同之處就是2D-PCA輸入的是矩陣而不是一維向量，以人臉識別為例，2D-PCA輸入的是圖像，而PCA是將圖像轉(zhuǎn)變?yōu)橐痪S向量之后再進(jìn)行接下來的處理，當(dāng)圖片很大時，處理成本較高，所以就出現(xiàn)了2D-PCA。

二、2D-PCA

-解題思路是一樣的，只不過在獲得投影向量時使用矩陣而不是向量，在進(jìn)行原圖像在投影向量上的投影時輸入的是圖像矩陣而不是一維向量。在這篇論文中，他們的輸入、協(xié)方差矩陣分別如下：

三、論文涉及的實(shí)驗(yàn)

• 實(shí)驗(yàn)內(nèi)容：使用三個人臉數(shù)據(jù)庫對人臉進(jìn)行識別和重構(gòu)
  包括特征提取、人臉重構(gòu)等
  
  人臉重構(gòu)就是通過提取出的人臉圖像的特征向量，在此基礎(chǔ)上重構(gòu)回原始的人臉圖像，即用局部還原總體。

• 實(shí)驗(yàn)一（ORL人臉數(shù)據(jù)庫）
  
  
  在這一部分作者驗(yàn)證了使用前k大個特征向量作為人臉識別和重構(gòu)的合理性，從圖中可以看到圖像的大部分信息都集中在前幾個大的特征值中。
  作者還與其他實(shí)驗(yàn)進(jìn)行了對比實(shí)驗(yàn)，結(jié)果2D-PCA基本上都比當(dāng)時其他識別方法要好。

• 實(shí)驗(yàn)二（AR人臉數(shù)據(jù)庫）
  

• 實(shí)驗(yàn)三（Yale人臉數(shù)據(jù)庫）
  

寫在最后

寫給自己看~
（這篇博客主要從數(shù)學(xué)原理層面解釋了PCA的原理，是本人的第一篇博客，希望以后可以養(yǎng)成寫博客的好習(xí)慣，梳理思路的同時也可以為別人提供一丟丟幫助，開森。~ 寫博客也是受到了男朋友的啟發(fā)和鼓勵，他是一個很有魅力很優(yōu)秀的男生，我也要跟上他的腳步。雖是異地，會遇到很多問題，比如自己會想到無法參與彼此的生活呀，不能牽著彼此的手靠著彼此的肩膀呀，不能實(shí)際參與到Ta的點(diǎn)點(diǎn)滴滴的生活呀，這些有時會讓人很失落，但是彼此在一起的回憶就顯得更美好，更值得珍惜了呀嘻嘻，要開心快樂地過好自己的生活，我們都會陪著彼此噠。我堅信我們可以長長久久、一直一直牽手走下去的~）

總結(jié)

以上是生活随笔為你收集整理的【PCA】2D-PCA原始文献《Two-Dimensional PCA》理解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。