UA MATH567 高維統計專題2 Low-rank矩陣及其估計1 Low-rank Matrix簡介

例 在推薦系統中，Netflix data是非常經典的數據集。考慮它的電影評分數據，用矩陣的每一行表示每一個用戶（假設有$d_1$個用戶），每一列表示每一部電影（假設有$d_2$部電影），矩陣的第$i$行第$j$列表示第$i$個用戶對第$j$部電影的評分，記這個矩陣為$Y$。目前世界上大概兩三百萬部電影，即使每個用戶每天給24部評分一年365天無休也要三百多年才能評完分，所以這個矩陣中有巨多missing data。但是根據這些評分數據，我們想估計用戶對每部電影的真實評分，也就是要估計一個矩陣$\Theta \in {\mathbb{R}}^{d_1\times d_2}$。在評分的時候，口味相同的用戶對不同電影的評分傾向于一致，而同一個用戶對相似電影的評分也會比較類似，所以我們大致可以認為$\Theta$行列之間可能會有很強的線性相關性，因此$\Theta$的秩應該比較低。于是我們可以把$\Theta$的估計用下面的模型表示：
$$\begin{gathered} \underset{\Theta }{\min }rank(\Theta ) \\ s.t.P_{\Omega }(\Theta )=Y \end{gathered}$$

其中$$P_{\Omega }:{\mathbb{R}}^{d_1\times d_2}\to \Omega =\{(i,j):Y_{ij}isnotmissing\}$$

翻譯一下，這個優化想要最小化$\Theta$的秩，同時要保證在評分數據沒有缺失的時候，$\Theta$與用戶評分相等，所以這個模型實際上是在嘗試補全用戶評分中缺失的那些數據，這也是它被稱為matrix completion的原因。

---

Matrix Completion

我們先嘗試對這個模型做一點一般性的分析，用0-1矩陣$E_{ij}$表示$\Omega$中的每個元素，$E_{ij}\in {\mathbb{R}}^{d_1\times d_2}$，除了第$i$行第$j$列為1外其他元素均為0，則
$$Y_{ij}=?E_{ij},\Theta ?$$

其中$?A,B?$表示兩個矩陣的“內積”：
$$?A,B?=\sum _{i,j}{A}_{ij}{B}_{ij}=tr(A^{T}B)=tr(B^{T}A)$$

這樣做的好處是可以把約束$P_{\Omega }(\Theta )=Y$改寫為
$$Y=?E_{ij},\Theta ?,(i,j)\in \Omega$$

在noisy setting下可以假設$Y_{ij}=?E_{ij},\Theta ?+w_{ij}$，其中$w_{ij}$是一個噪聲，這個形式非常像我們熟悉的回歸問題，$Y_{ij}$是observation，$E_{ij}$是design matrix，$w_{ij}$是noise。

現在我們考慮matrix completion的一般框架：
$$Y_i=?X_i,\Theta ?+w_i,i=1,?,n$$

其中$X_i,\Theta \in {\mathbb{R}}^{d_1\times d_2}$，引入線性映射$\mathcal{X}:{\mathbb{R}}^{d_1\times d_2}\to {\mathbb{R}}^n$
$$\mathcal{X}(\Theta {)}_i=?X_i,\Theta ?$$

則$\mathcal{X}$是一個三階張量，
$$Y_i=\mathcal{X}(\Theta )+w_i$$

把這個模型類比為線性回歸，那么$\mathcal{X}$就是design tensor，$\Theta$是系數，只是我們的目標函數并不是最小二乘損失，而是系數的秩：
$$\begin{gathered} \min rank(\Theta ) \\ s.t.y=\mathcal{X}(\Theta ) \end{gathered}$$

把這個優化的等式約束放松為用$L_2$-norm表示的不等式約束，那么我們的優化模型就變成了
$$\begin{gathered} \min rank(\Theta ) \\ s.t.{\Vert y?\mathcal{X}(\Theta )\Vert }_2^2\le R^2 \end{gathered}$$

這個不等式約束對模型造成的效果和最小二乘損失沒有區別，因此我們可以把這個模型看成是一種Penalized Least Square，penalty是$rank(\Theta )$。在多數情況下，這個優化是NP-hard問題，只有在特定條件下，它才能在Polynomial time內完成。

---

Singular Value Decomposition (SVD)
$X\in {\mathbb{R}}^{m\times n},r=rank(X)$，則compact version的奇異值分解為
$$X=U\Sigma V^T=\sum _{i=1}^r{\sigma }_i{u}_i{v}_i^T$$

其中$U\in {\mathbb{R}}^{m\times r},V\in {\mathbb{R}}^{n\times r}$滿足
$$U^{T}U=V^{T}V=I$$

并且
$$\Sigma =diag({\sigma }_1,?,{\sigma }_r),\underset{singularvalues}{{\sigma }_1\ge ?\ge {\sigma }_r}>0$$

complete version（不妨假設$m>n$）的奇異值分解為
$$X=U\Sigma V^T$$

其中$U\in {\mathbb{R}}^{m\times m},V\in {\mathbb{R}}^{n\times m}$滿足
$$U^{T}U=V^{T}V=I$$

并且$\Sigma \in {\mathbb{R}}^{m\times n}$，前$n$個主對角元是奇異值，其余部分都是0；記
$$\sigma (X)=({\sigma }_1(X),?,{\sigma }_n(X)),\underset{singularvalues}{{\sigma }_1\ge ?\ge {\sigma }_n}\ge 0$$

則
$$rank(X)={\Vert \sigma (X)\Vert }_0=\#\{i:{\sigma }_i>0\}$$

這個結果可以說明rank-minimization與$L_0$-minimization之間存在某種等價性。

定理
Best Low-rank Approximation
$$\begin{gathered} \underset{X}{\min }{\Vert X?Y\Vert }_F \\ s.t.rank(X)\le r \end{gathered}$$

的解為${\sum }_{i=1}^r{\sigma }_i{u}_i{v}_i^T$，其中$Y={\sum }_{i=1}^n{\sigma }_i{u}_i{v}_i^T$。其中Frobenius范數可以替換為其他orthogonal-invariant norm（即對某個矩陣而言與正交矩陣相乘后取范數與原矩陣直接取范數相等），approximation error為
$${\Vert \sum _{i=1}^r{\sigma }_i{u}_i{v}_i^T?Y\Vert }_F=\sum _{i=r+1}^n{\sigma }_i^2$$

這個定理對其他形式的Best Low-rank Approximation也成立，比如
$$\begin{gathered} \min rank(X) \\ s.t.\Vert X?Y\Vert \le ? \end{gathered}$$

的解為為${\sum }_{i=1}^r{\sigma }_i{u}_i{v}_i^T$，其中
$$r=\inf \{r:\sum _{i=r+1}^n{\sigma }_i^2\le ?\}$$

---

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的UA MATH567 高维统计专题2 Low-rank矩阵及其估计1 Matrix Completion简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。