1.前言

參考資料：https://www.zhihu.com/question/28845451

書(shū)上寫(xiě)的是：

1. 主成分分析假設(shè)源信號(hào)間彼此非相關(guān)，獨(dú)立成分分析假設(shè)源信號(hào)間彼此獨(dú)立。
2. 主成分分析認(rèn)為主元之間彼此正交，樣本呈高斯分布；獨(dú)立成分分析則不要求樣本呈高斯分布。
在利用最大化信息熵的方法進(jìn)行獨(dú)立成分分析的時(shí)候，需要為源信號(hào)假定一個(gè)概率密度分布函數(shù)g'，進(jìn)而找出使得g(Y)=g(Wx)的信息熵最大的變換W，即有Y=s。
我的問(wèn)題是，
1. 這個(gè)概率密度分布函數(shù)怎么假定？在實(shí)際信號(hào)處理中怎么給出？

2. 如果我觀測(cè)到信號(hào)呈高斯分布，取g'為高斯分布，那么ICA和PCA得到的結(jié)果會(huì)相同嗎？

2.解析

不管是PCA還是ICA，都不需要對(duì)源信號(hào)的分布做具體的假設(shè)；如果觀察到的信號(hào)為高斯，那么源信號(hào)也為高斯，此時(shí)PCA和ICA等價(jià)。下面稍作展開(kāi)。

假設(shè)觀察到的信號(hào)是n維隨機(jī)變量主成分分析（PCA）和獨(dú)立成分分析（ICA）的目的都是找到一個(gè)方向，即一個(gè)n維向量使得線性組合的某種特征最大化。

2.1主成分分析 PCA

PCA認(rèn)為一個(gè)隨機(jī)信號(hào)最有用的信息體包含在方差里。為此我們需要找到一個(gè)方向w1，使得隨機(jī)信號(hào)x在該方向上的投影w1(T)X的方差最大化。接下來(lái)，我們?cè)谂cw1正交的空間里到方向w2，使得w2(T)X的方差最大，以此類(lèi)推直到找到所有的n個(gè)方向wn. 用這種方法我們最終可以得到一列不相關(guān)的隨機(jī)變量.

如果用矩陣的形式，記W=(w1,w2,w3,...,wn),那么本質(zhì)上PCA把原隨機(jī)信號(hào)x變換成了y=wX;其中y滿(mǎn)足下面的性質(zhì)：
y的各分量不相關(guān)；
y1,y2,...,yn的方差遞減;
特別地，當(dāng)原隨機(jī)信號(hào)x為高斯隨機(jī)向量的時(shí)候，得到的y仍為高斯隨機(jī)向量，此時(shí)它的各個(gè)分量不僅僅是線性無(wú)關(guān)的，它們還是獨(dú)立的。

通過(guò)PCA，我們可以得到一列不相關(guān)的隨機(jī)變量w1X,w2X,w3X,...,wnX;至于這些隨機(jī)變量是不是真的有意義，那必須根據(jù)具體情況具體分析。最常見(jiàn)的例子是，如果x的各分量的單位（量綱）不同，那么一般不能直接套用PCA。比如，若x的幾個(gè)分量分別代表某國(guó)GDP, 人口，失業(yè)率，政府清廉指數(shù)，這些分量的單位全都不同，而且可以自行隨意選取：GDP的單位可以是美元或者日元；人口單位可以是人或者千人或者百萬(wàn)人；失業(yè)率可以是百分比或者千分比，等等。對(duì)同一個(gè)對(duì)象（如GDP）選用不同的單位將會(huì)改變其數(shù)值，從而改變PCA的結(jié)果；而依賴(lài)“單位選擇”的結(jié)果顯然是沒(méi)有意義的。

2.2 獨(dú)立成分分析

ICA又稱(chēng)盲源分離(Blind source separation, BSS)，它假設(shè)觀察到的隨機(jī)信號(hào)x服從模型x=As，其中s為未知源信號(hào)，其分量相互獨(dú)立，A為未知混合矩陣。ICA的目的是通過(guò)且僅通過(guò)觀察x來(lái)估計(jì)混合矩陣A以及源信號(hào)s。
大多數(shù)ICA的算法需要進(jìn)行“數(shù)據(jù)預(yù)處理”（data preprocessing）：先用PCA得到y(tǒng)，再把y的各個(gè)分量標(biāo)準(zhǔn)化（即讓各分量除以自身的標(biāo)準(zhǔn)差）得到z。預(yù)處理后得到的z滿(mǎn)足下面性質(zhì)：
z的各個(gè)分量不相關(guān)；
z的各個(gè)分量的方差都為1。

有許多不同的ICA算法可以通過(guò)z把A和s估計(jì)出來(lái)。以著名的FastICA算法為例，該算法尋找方向使得隨機(jī)變量的某種“非高斯性”(non-Gaussianity)的度量最大化。一種常用的非高斯性的度量是四階矩E[(WTX)4]。類(lèi)似PCA的流程，我們首先找w1使得E[(w1TX)4]最大；然后在與w1正交的空間里找w2，使得E[(wTX)4]最大，以此類(lèi)推直到找到所有的w1,w2,w3,...,wn. 可以證明，用這種方法得到的是相互獨(dú)立的w1Tz,w2Tz,w3Tz,...,wnTz。
ICA認(rèn)為一個(gè)信號(hào)可以被分解成若干個(gè)統(tǒng)計(jì)獨(dú)立的分量的線性組合，而后者攜帶更多的信息。我們可以證明，只要源信號(hào)非高斯，那么這種分解是唯一的。若源信號(hào)為高斯的話(huà)，那么顯然可能有無(wú)窮多這樣的分解。

=====================================一些技術(shù)細(xì)節(jié)=====================================
實(shí)際上PCA等價(jià)于求隨機(jī)信號(hào)x的協(xié)方差矩陣的特征值分解(eigenvalue decomposition, EVD)或者奇異值分解(singular value decomposition, EVD)。比如，求的過(guò)程可以寫(xiě)成注意其中上式中包含歐氏范數(shù)為1的約束條件，這是因?yàn)槿绻麤](méi)有這個(gè)約束條件那么右邊方差可以無(wú)限大，這個(gè)問(wèn)題因而也就變得沒(méi)有意義了。現(xiàn)假設(shè)x的協(xié)方差矩陣C為已知，那么上式可以化為不難看出這個(gè)問(wèn)題的解為對(duì)應(yīng)于矩陣C的最大的特征值的那一個(gè)特征向量。類(lèi)似的，求第n個(gè)方向需要解這個(gè)問(wèn)題的解為對(duì)應(yīng)于矩陣C的第k大的特征值的那一個(gè)特征向量。
另外關(guān)于ICA，我們有下面的“ICA基本定理”：
定理（Pierre Comon, 1994）假設(shè)隨機(jī)信號(hào)z服從模型z=Bs，其中s的分量相互獨(dú)立，且其中至多可以有一個(gè)為高斯；B為滿(mǎn)秩方陣。那么若z的分量相互獨(dú)立當(dāng)且僅當(dāng)B=PD，其中P為排列矩陣(permutation matrix)，D為對(duì)角矩陣。

?

這個(gè)定理告訴我們，對(duì)于原信號(hào)x做線性變換得到的新隨機(jī)向量，若z的分量相互獨(dú)立，那么z的各個(gè)分量zi;一定對(duì)應(yīng)于某個(gè)源信號(hào)分量sj乘以一個(gè)系數(shù)。到這里，我們可以看到ICA的解具有內(nèi)在的不確定性(inherent indeterminacy)。實(shí)際上，因?yàn)?#xff0c;即具備相同統(tǒng)計(jì)特征的x可能來(lái)自?xún)蓚€(gè)不同的系統(tǒng)，這意味著單從觀察x我們不可能知道它來(lái)自于哪一個(gè)，從而我們就不可能推斷出源信號(hào)s的強(qiáng)度（方差）。為了在技術(shù)上消除這種不確定性，人們干脆約定源信號(hào)s的方差為1。有了這個(gè)約定，再通過(guò)數(shù)據(jù)預(yù)處理的方法，我們可以把原混合矩陣A化為一個(gè)自由度更低的正交矩陣.

?

3.模擬實(shí)驗(yàn)

不再贅述推導(dǎo)過(guò)程與理論分析。
可能是沒(méi)有明白獨(dú)立成分分析和主成成分分析的概念與用法，我補(bǔ)充一個(gè)對(duì)于一般雞尾酒會(huì)（即盲源分離）問(wèn)題的處理procedure，直觀理解下它們的區(qū)別。對(duì)于一組3個(gè)模擬信號(hào)，如正弦、余弦、隨機(jī)信號(hào)

?

經(jīng)過(guò)隨機(jī)混合，由6個(gè)麥克風(fēng)錄制下來(lái)，則觀測(cè)信號(hào)為：

我們希望將他們分解開(kāi)，這時(shí)就該ICA出場(chǎng)了。但在ICA之前，往往會(huì)對(duì)數(shù)據(jù)有一個(gè)預(yù)處理過(guò)程，那就是PCA與白化。白化在這里先不提，PCA本質(zhì)上來(lái)說(shuō)就是一個(gè)降維過(guò)程，大大降低ICA的計(jì)算量。PCA，白化后的結(jié)果如下圖所示。可以看到，原先的6路信號(hào)減少為3路，ICA僅需要這3路混合信號(hào)即可還原源信號(hào)。

下面，ICA經(jīng)過(guò)多步迭代尋優(yōu)，就會(huì)按照信號(hào)之間獨(dú)立最大的假設(shè)，將信號(hào)解混輸出。

總的來(lái)說(shuō)，ICA認(rèn)為觀測(cè)信號(hào)是若干個(gè)統(tǒng)計(jì)獨(dú)立的分量的線性組合，ICA要做的是一個(gè)解混過(guò)程。
而PCA是一個(gè)信息提取的過(guò)程，將原始數(shù)據(jù)降維，現(xiàn)已成為ICA將數(shù)據(jù)標(biāo)準(zhǔn)化的預(yù)處理步驟。

總結(jié)

以上是生活随笔為你收集整理的独立成分分析 ( ICA ) 与主成分分析 ( PCA ) 的区别的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。