2019獨角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

Moore-Penrose偽逆(pseudoinverse)。

非方矩陣，逆矩陣沒有定義。矩陣A的左逆B求解線性方程Ax=y。兩邊左乘左逆B，x=By。可能無法設(shè)計唯一映射將A映射到B。矩陣A行數(shù)大于列數(shù)，方程無解。矩陣A行數(shù)小于列數(shù)，矩陣有多個解。

矩陣A的偽逆A + =lim a->0 (A T A+aI) -1 A T。計算偽逆公式，A + =VD + U T。矩陣U、D、V是矩陣A奇異值分解得到矩陣。對角矩陣D偽逆D + 是非零元素取倒數(shù)后再轉(zhuǎn)置。矩陣A列數(shù)多于行數(shù)，偽逆求解線性方程是可能解法。x=A + y是方程所有可行解中歐幾里得范數(shù)||x|| 2 最小。矩陣A行數(shù)多于列數(shù)，沒有解。偽逆得到x使得Ax和y的歐幾里得距離||Ax-y|| 2 最小。

跡運算。

返回矩陣對角元素和，Tr(A)=Sum i A i,i 。通過矩陣乘法和跡運算符號清楚表示矩陣運算。描述矩陣Frobenius范數(shù),||A|| F =SQRT(Tr(AA T ))。跡運算在轉(zhuǎn)置運算下不變，Tr(A)=Tr(A T )。多個矩陣相乘方陣跡，矩陣最后一個挪到最前面相乘跡相同。需考慮挪動后矩陣乘積定義良好，Tr(ABC)=Tr(CAB)=Tr(BCA)，Tr(PRODUCT(n,i=1,F (i) ))=Tr(F (n) PRODUCT(n-1,i=1,F (i) ))。循環(huán)置換后矩陣乘積矩陣形狀變了，跡運算結(jié)果依然不變。矩陣A ELEMENT(R mn )，矩陣B ELEMENT(R nm )，得到 Tr(AB)=Tr(BA)。AB ELEMENT(R mm )，BA ELEMENT(R nn )。標(biāo)量在跡運算后仍是自己，a=Tr(a)。

行列式。

det(A)，方陣A映射到實數(shù)函數(shù)。行列式等于矩陣特征值的乘積。行列式絕對值衡量矩陣參與矩陣乘法后空間擴大或縮小多少。行列式是0，空間沿著某一維完全收縮，失去所有體積。行列式是1，轉(zhuǎn)換保持空間體積不變。

主成分分析(principal components analysis,PCA)。

簡單機器學(xué)習(xí)算法，基礎(chǔ)線性代數(shù)知識推導(dǎo)。R n 空間有m個點{x (1) ,…,x (m) }，有損壓縮，用更少內(nèi)存，損失精度存儲。希望損失精度盡可能少。低維表示，每個點x (i) ELEMENT(R n )，一個對應(yīng)編碼向量c (i) ，按比例放大D :,i ，保持結(jié)果不變。為問題有唯一解，限制D所有列向量有單位范數(shù)。計算解碼器最優(yōu)編碼困難。PCA限制D列向量彼此正交(除非l=n，嚴格意義D不是正交矩陣)。

想法變算法。明確每一個輸入x得到一個最優(yōu)編碼c * 。

最小化原始輸入向量x和重構(gòu)向量g(c * )間距離。范數(shù)衡量距離。PCA算法，用L 2 范數(shù)，c * =argmin c ||x-g(c)|| 2 。用平方L 2 范數(shù)替代L 2 范數(shù)。相同值c上取得最小值。L 2 范數(shù)非負。平方運算在非負值上單調(diào)遞增。c * =argmin c ||x-g(c)|| 2 2 。最小化函數(shù)簡化，(x-g(c)) T (x-g(c))。L 2 范數(shù)定義，=x T x-x T g(c)-g(c) T x +g(c) T g(c)。分配律，=x T x-2x T g(c)+g(c) T g(c)。標(biāo)量g(c) T x轉(zhuǎn)置等于自己。第一項x T x 不依賴c，忽略，優(yōu)化目標(biāo)，c * =argmin c -2x T g(c)+g(c) T g(c)。代入g(c)，c * =argmin c -2x T Dc+c T D T Dc=argmin c -2x T Dc+c T I l c。矩陣D正交性和單位范數(shù)約束，=argmin c -2x T Dc+c T c。

向量微積分求解最優(yōu)化，NABLA(c, (-2x T Dc+c T c))=0，-2D T x+2c=0，c=D T x。算法高效。最優(yōu)編碼x只需要一個矩陣-向量乘法操作。編碼向量，編碼函數(shù)，f(x)=D T x。矩陣乘法，定義PCA重構(gòu)操作，r(x)=g(f(x))=DD T x。挑選編碼矩陣D。相同矩陣D對所有點解碼，不能孤立看待每個點。最小化所有維數(shù)和所有點上的誤差矩陣Frobenius范數(shù)。D * =argmin D SQRT(SUM(i,j,(x (i) j -r(x (i)) j )) 2 )subject to D T D=Il。推導(dǎo)尋求D * 算法，l=1，D是單一向量d。簡化D為d，問題簡化。d * =argmin d SUM(i,||x (i) -dd T x (i) || 2 2 )subject to ||d|| 2 =1。最美觀方式。標(biāo)量d T x (i) 放在向量d右邊。標(biāo)量放在左邊寫法更傳統(tǒng)。d * =argmin d SUM(i,||x (i) -d T x (i) d|| 2 2 )subject to ||d|| 2 =1。標(biāo)量轉(zhuǎn)置和自身相等。d * =argmin d SUM(i,||x (i) -x (i) T dd|| 2 2 )subject to ||d|| 2 =1。重排寫法。

單一矩陣重述問題。更緊湊符號。表示各點向量堆疊成矩陣。記X ELEMENT(R m*n )。X i,: =x (i) T 。重新表述，d * =argmin d ||X-Xdd T || 2 F subject to d T d=1。不考慮約束，Frobenius范數(shù)簡化。argmin d ||X-Xdd T || 2 F 。=argmin d Tr((X-Xdd T ) T (X-Xdd T ))。=argmin d Tr(X T X-X T Xdd T -dd T X T X+dd T X T Xdd T )。=argmin d Tr(X T X)-Tr(X T Xdd T )-Tr(dd T X T X)+Tr(dd T X T Xdd T )。=argmin d -Tr(X T Xdd T )-Tr(dd T X T X)+Tr(dd T X T Xdd T )。與d無關(guān)項不影響argmin，=argmin d -2Tr(X T Xdd T )+Tr(dd T X T Xdd T )。循環(huán)改變跡運算相乘矩陣順序不影響結(jié)果，=argmin d -2Tr(X T Xdd T )+Tr(X T X T Xdd T dd T )。考慮約束條件。argmin d -2Tr(X T Xdd T )+Tr(X T X T Xdd T dd T )subject to d T d=1。=argmin d -2Tr(X T Xdd T )+Tr(X T X T Xdd T )subject to d T d=1。=argmin d -Tr(X T X T Xdd T )subject to d T d=1。=argmax d Tr(X T X T Xdd T )subject to d T d=1。=argmax d Tr(d T X T X T Xd)subject to d T d=1。優(yōu)化問題，特征分解求解。最優(yōu)d是X T X最大特征值對應(yīng)特征向量。

以上推導(dǎo)特定于l=1情況，僅得到第一個主成分。得到主成分的基時，矩陣D由前l(fā)個最大特征值對應(yīng)特征向量組成。歸納法證明。

參考資料：

《深度學(xué)習(xí)》

歡迎推薦上海機器學(xué)習(xí)工作機會，我的微信：qingxingfengzi

我有一個微信群，歡迎一起學(xué)深度學(xué)習(xí)。

轉(zhuǎn)載于:https://my.oschina.net/u/3482787/blog/1577672

總結(jié)

以上是生活随笔為你收集整理的学习笔记DL007:Moore-Penrose伪逆，迹运算，行列式，主成分分析PCA的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。