??降維指的是通過某種數學變換將高維原始空間的屬性轉變為低維子空間,根據變換形式可將該數學變換分為線性變換和非線性變換,對應的降維算法也被稱為線性降維和非線性降維.其中,線性降維算法主要有線性判別分析(linear discriminant analysis，LDA)和主成分分析(Principal Component Analysis，PCA),非線性降維主要有核化思想(如Kernelized PCA)和流形學習(Isomap,LLE,LE等)兩類.
??假定有原始空間高維數據$X\in R^{n\times m}$,其中$n$為樣本數,$m$為樣本長度,現我們要求$X$的低維嵌入$Y\in R^{n\times d}$,其中$d<<m$.線性降維的思想就是求一個權重矩陣$W\in R^{m\times d}$,使用$W$對$X$進行線性變換$Y=XW$,使得變換前后的數據分布一致.如上所述,LDA和PCA都是線性降維算法,不同的是LDA是監督學習算法,而PCA是面向無標簽的數據樣本.本文介紹LDA算法.

??首先盜用西瓜書里的一張圖,這張圖很清晰地闡釋了LDA的核心思想:圖中的數據簡化為二維降維到一維,降維過程中,LDA算法使得低維空間中,同一類的數據盡可能接近,使得不同類數據盡可能遠離.如上文所述,LDA是一種監督學習算法,即數據具有label,這里與西瓜書保持一致,使用了二分類問題的數據,分別記為$X_0\in R^{n_0\times m}$與$X_1\in R^{n_1\times m}$.我們的目標是找到一個變換矩陣$W\in R^{m\times d}$對原始數據$X$進行線性變換$Y=XW$,且變換后的$Y$滿足上述性質.記${\mu }_0\in R^{m\times 1},{\mu }_1\in R^{m\times 1},{\Sigma }_0\in R^{m\times m},{\Sigma }_1\in R^{m\times m}$分別為$X_0$的均值,$X_1$的均值,$X_0$的協方差,$X_1$的協方差,則: $${\mu }_i=\frac{1}{n_i}\sum _{x\in X_i}x$$ $${\Sigma }_i=\sum _{x\in X_i}(x?{\mu }_i)(x?{\mu }_i{)}^T$$ 首先我們希望變換后的類間距離越大越好,我們定義類間距離為類中心的$l_2$距離,所以該步驟我們的目標是: $${\mathrm{m}\mathrm{a}\mathrm{x}}_W||W^T{\mu }_0?W^T{\mu }_1|{|}_2^2$$ 即:$${\mathrm{m}\mathrm{a}\mathrm{x}}_W{W}^T({\mu }_0?{\mu }_1)({\mu }_0?{\mu }_1{)}^{T}W$$ 其次我們希望變換后的類內協方差越小越好,即: $${\mathrm{m}\mathrm{i}\mathrm{n}}_W{W}_T({\Sigma }_0+{\Sigma }_1)W$$ ??現定義兩個矩陣,類內散度矩陣(intra-class scatter matrix) $S_a\in R^{m\times m}$與類間散度矩陣(inter-class scatter matrix) $S_r\in R^{m\times m}$:$$S_a={\Sigma }_0+{\Sigma }_1$$ $$S_r=({\mu }_0?{\mu }_1)({\mu }_0?{\mu }_1{)}^T$$ 我們約束$W^T{S}_{a}W=1$,所以最后的優化問題可以寫成: $${\mathrm{m}\mathrm{i}\mathrm{n}}_W?W^T{S}_{r}W$$ $$st.W^T{S}_{a}W=1$$ 定義拉格朗日函數為: $$L(W)=?W^T{S}_{r}W+\lambda (W^T{S}_{a}W?1)$$ 對上述方程求$W$的偏導,得到: $$S_{r}W=\lambda S_{a}W$$ 由上式可知,$W\in R^{m\times d}$的閉解為矩陣$S_a^{?1}{S}_r$最大的$d$個特征值對應的$m$維特征向量.這里公布一下代碼和實驗結果,代碼略簡略,只考慮了三維降到二維.

import numpy as np import matplotlib.pyplot as plt from sklearn.datasets.samples_generator import make_classification from mpl_toolkits.mplot3d import Axes3D np.random.seed(0)def createDataSet(n=100):X0 = np.array(np.random.random((n, 3)) + 1)X1 = np.array(np.random.random((n, 3)) - 1)return X0, X1def compute_W(X0, X1):mean0 = np.mean(X0, axis=0)mean1 = np.mean(X1, axis=0)diff = np.expand_dims(mean0 - mean1, axis = 1)Sr = np.matmul(diff, diff.T)cov0 = np.matmul((X0 - mean0).T, (X0 - mean0))cov1 = np.matmul((X1 - mean1).T, (X1 - mean1))Sa = cov0 + cov1# print(Sa)tmp = np.matmul(np.linalg.pinv(Sa), Sr)# tmp = np.matmul(np.linalg.pinv(-Sr), Sa)eig_val, eig_vector = np.linalg.eig(tmp)return eig_vector[:, [0,1]]def LDA(X0, X1):W = compute_W(X0, X1)return np.matmul(X0, W), np.matmul(X1, W)if __name__ == '__main__':X0, X1 = createDataSet()Y0, Y1 = LDA(X0, X1)fig = plt.figure()ax = fig.add_subplot(121, projection='3d')ax.scatter(X0[:, 0], X0[:, 1], X0[:, 2], c=[1,0,0], cmap=plt.cm.hot)ax.scatter(X1[:, 0], X1[:, 1], X1[:, 2], c=[0,0,1], cmap=plt.cm.hot)ax2 = fig.add_subplot(122)ax2.scatter(Y0[:, 0], Y0[:, 1], c=[1,0,0], cmap=plt.cm.hot)ax2.scatter(Y1[:, 0], Y1[:, 1], c=[0,0,1], cmap=plt.cm.hot)plt.show()

??在LDA中,我們約束$W^T{S}_{a}W=1$,可能是提出算法的學者覺得類內相似對比類間差異不那么重要吧,現在我們探索一下另一種情況,我們約束$W^T{S}_{r}W=1$,那么優化問題變成了:$${\mathrm{m}\mathrm{i}\mathrm{n}}_W{W}^T{S}_{a}W$$ $$st.W^T{S}_{r}W=1$$ 定義拉格朗日函數為: $$L(W)=W^T{S}_{a}W+\lambda (W^T{S}_{r}W?1)$$ 對上述方程求$W$的偏導,得到: $$?S_{a}W=\lambda S_{r}W$$ 由上式可知,$W\in R^{m\times d}$的閉解為矩陣$?S_r^{?1}{S}_a$最大的$d$個特征值對應的$m$維特征向量.代碼中只需將21行注釋,并恢復22行即可,下圖展示了用這種約束得到的實驗結果,可以看出兩種約束并沒有什么很大的差異,當然可能在高階上第一種方法表現更優異,這里就不往下探索了.

總結

以上是生活随笔為你收集整理的线性判别分析LDA算法与python实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。