矩陣分解

隱語義模型與矩陣分解

之所以我們提出隱語義模型與矩陣分解，原因就是[[協同過濾]]存在泛化能力弱的問題
而對于隱語義模型而言，我們可以利用隱向量來代表隱藏信息
此外，也可以在一定程度上彌補[[協同過濾]]處理稀疏矩陣能力不足的情況

隱語義模型

隱語義模型主要在于可以挖掘用戶和物品的潛在特征來聯系不同的用戶和物品，接著對不同的用戶和item進行聚類
可以舉個例子，如果用戶A喜歡看偵探小說、科普圖書以及一些計算機技術書，而B喜歡數學和機器學習方面。

• 對于UserCF而言，系統會先找到和其看了相同書的其他用戶，然后給新用戶推薦其他用戶看的書
• 對于ItemCF而言，系統會找到和新用戶已經看的書相似的書(在這里所謂的相似并沒有用到隱語義，可能只是簡單的通過書籍的評分來尋找相似),然后給用戶推薦這些書籍
  那么隱語義模型會嘗試將用戶興趣和書進行歸類，當用戶來的時候會將用戶的興趣分類，再從興趣分類中挑選他可能喜歡的書籍。

可以再使用一個對音樂評分的例子來看一下隱特征矩陣的含義：
A喜歡帶有小清新，吉他伴奏，王菲的歌曲，如果一首歌正好是王菲唱的，并且是吉他伴奏的小清新，那么就可以將這首歌推薦給這個用戶，所以這里是三個標簽🏷連接起了用戶和歌曲。又每首歌中所包含的元素不盡相同，因此，我們可以去找如下兩個矩陣

潛在因子——用戶矩陣

小清新重口味優雅傷感五月天

三	0.6	0.8	0.1	0.1
四	0.1	0	0.9	0.1
五	0.5	0.7	0.9	0.9

潛在因子——音樂矩陣P
表示每種音樂中含有各種元素的成分，如下表中，音樂A是一個偏小清新的音樂，含有小清新的Latent Factor的成分是0.9，重口味的成分是0.1，優雅成分0.2

小清新重口味優雅傷感五月天

樂A	0.9	0.1	0.2	0.4
樂B	0.5	0.6	0.1	0.9
樂C	0	0.6	0.1	0.2

那么有了以上矩陣，我們可以認為張三對音樂A的喜歡程度為
$$0.6?0.9+0.8?0.1+0.1?0.2+0.1?0.4+0.7?0=0.69$$
基于此，我們也可以得到一個用戶——音樂評分的共現矩陣

音樂A音樂B音樂C音樂D

張三	0.68	1.58	0.28	0.51
李四	0.31	0.43	0.47	0.11
王五	1.06	1.57	0.73	0.69

??所以在此例子中，小清新，重口味，優雅這些就可以看作是隱含特征，而我們就可以用這些隱含特征來將用戶的興趣和音樂進行一個分類，其本質即為找到用戶/音樂的一個隱向量表達形式，通過該隱向量就可以來進行用戶/音樂之間相似度的判定。

但是在實際情況下，我們一般也是只能有最后的用戶——物品打分矩陣，并且矩陣會存在很多缺失值如

音樂A音樂B音樂C音樂D

張三	0.68	?	?	0.51

而對于使用UserCF或者ItemCF去填充也是很麻煩的，對此，我們可以使用[[矩陣分解]]

矩陣分解的原理

??如果我們有用戶——物品打分的共線矩陣$Y$（存在缺失值），基于[[矩陣分解]]的原理，我們求出矩陣$P$和$Q$有:$P\times Q=Y$

??其中，矩陣乘法將$m\times n$的共現矩陣Y分分解為$m\times k$的用戶矩陣和$k\times n$的物品矩陣，其中m為用戶的個數，n為物品的個數，而k為隱向量的維度即隱含特征的個數，但是這里的隱含特征變得無法解釋，并不是和我們之前矩陣小清新的例子一樣是明顯可解釋的，而對于k而言，k的大小決定了隱向量的表達能力的強弱，k越大，表達信息就越強，劃分得就更具體。

??在有了用戶矩陣P和物品矩陣Q之后，如果我們想計算用戶$u$對物品$i$的評分，只需要
$$Preference(u,i)=r_{ui}=p_u^T{q}_i=\sum _{f=1}^F{p}_{u,k}{q}_{k,i}$$
??其中，$p_u$為用戶$u$所對應的隱向量，$q_i$為用戶$i$所對應的隱向量

矩陣分解算法的求解

矩陣分解常用方法為[[特征值分解EVD]]與[[奇異值分解SVD]]，但是這兩種方法在這里并不適用，比如EVD要求分解的矩陣為方陣，但是對于用戶——物品打分矩陣而言，不一定是方陣的形式，而對于SVD分解計算機復雜度非常高

Basic SVD

Funk-SVD:把求解上面兩個矩陣的參數問題轉換成一個最優化問題，可以通過訓練集里面的觀察值利用最小化來學習用戶矩陣和物品矩陣

??如果我們想計算用戶$u$對物品$i$的評分，可以使用$$Preference(u,i)=r_{ui}=p_u^T{q}_i=\sum _{f=1}^F{p}_{u,k}{q}_{k,i}$$
而我們一般只會有$r_{ui}$的真實數據，并沒有$p_u$和$q_i$，所以基于修正的思想，我們可以初始化$p_u^R{q}_i$，然后計算出$${\hat{r}}_{ui}=p_u^T{q}_i$$,從而得到誤差
$$e_{ui}=r_{ui}?{\hat{r}}_{ui}$$
接著求出誤差平方和
$$SSE=\sum _{u,i}{e}_{ui}^2=\sum _{u,i}(r_{ui}?\sum _{k=1}^K{p}_{u,k}{q}_{k,i}{)}^2$$
有了誤差之后，我們可以利用誤差進行修正從而使SSE降到最小，轉化為一個最優化問題，而目標函數為
$$\underset{q^{?},p^{?}}{\min }\sum _{(u,i)\in K}(r_{ui}?p_u^T{q}_i{)}^2$$

接下來可以使用梯度下降去降低損失，有
$$p_{u,k}=p_{u,k}?\eta (?e_{ui}{q}_{k,i})=p_{u,k}+\eta e_{ui}{q}_{k,i}$$
$$q_{k,i}=q_{k,i}?\eta (?e_{ui}{p}_{u,k})=q_{k,i}+\eta e_{ui}{p}_{u,k}$$
其中，$\eta$為學習率。

但在實際中，單純的${\hat{r}}_{ui}=p_u^T{q}_i$只能評判一部分屬性，對于一個評分系統而言，有些固有屬性和用戶物品無關，而用戶也有有些屬性和物品無關，物品也有些屬性和用戶無關，所以提出了另一種[[LFM]]，在原有基礎上添加了偏置項。

LFM

LFM在原有基礎上加了偏置項，來消除用戶和物品打分的偏差，即預測公式如下：
$${\hat{r}}_{ui}=\mu +b_u+b_i+p_u^T?q_i$$
加入了3個偏置項$\mu ,b_u,b_i$

• $\mu$：訓練集中，也就是那個矩陣Y所有非空元素的平均值。因為可能在一個網站的評價打分中，因為網站的定位和銷售物品不同，所以網站的整體打分分布會產生差異，所以$\mu$可以表示網站本身對用戶評分的影響。
• $b_u$：用戶偏差系數，是用戶$u$所有打分的均值， 可以當作訓練參數。這一項表示了用戶的評分習慣中和物品沒有關系的那種因素
• $b_i$：物品偏差系數，是物品$i$收到的所有評分的均值，可以當作訓練參數。表示了物品接受的評分中和用戶沒有關系的因素
  而此時添加了偏置系數之后，SSE的形式也需要改變，如果把$b_u$和$b_i$當作訓練參數的話，那么它倆的更新公式為$$b_u+=\eta (e_{ui}?\lambda b_u)$$ $$b_i+=\eta (e_{ui}?\lambda b_i)$$，而對于$p_{u,k}$和$p_{k,i}$，導數沒有變化，更新公式也沒有變化。

實現例子的代碼：

import numpy as np import randomclass SVD():def __init__(self, rating_data, F=5, alpha=0.1, lmbda=0.1, max_iter=100):self.F = Fself.P = dict()self.Q = dict()self.rating_data = rating_dataself.bi = dict()self.bu = dict()self.mu = 0.0self.alpha = alphaself.lmbda = lmbdaself.max_iter = max_itercnt = 0for user, items in self.rating_data.items():self.P[user] = [random.random() / np.sqrt(self.F) for i in range(self.F)]self.bu[user] = 0cnt += len(items)for item, rating in items.items():if item not in self.Q:self.Q[item] = [random.random() / np.sqrt(self.F) for i in range(self.F)]self.bi[item] = 0self.mu /= cntdef train(self):for step in range(self.max_iter):for user, items in self.rating_data.items():for item, rui in items.items():rhat_ui = self.predict(user, item)e_ui = rui - rhat_uiself.bu[user] += self.alpha*(e_ui-self.lmbda*self.bu[user])self.bi[item] += self.alpha*(e_ui-self.lmbda*self.bi[item])# 此處添加了正則化for k in range(self.F):self.P[user][k] += self.alpha*(e_ui*self.Q[item][k] - self.lmbda*self.P[user][k])self.Q[item][k] += self.alpha*(e_ui*self.P[user][k] - self.lmbda*self.Q[item][k])self.alpha *= 0.1def predict(self, user, item):return sum(self.P[user][i] * self.Q[item][i] for i in range(self.F)) + self.bu[user] + self.bi[item] + self.mudef load_data():data = {'A':{1:5, 2:3, 3:4, 4:4},'B':{1:3, 2:1, 3:2, 4:3, 5:3},'C':{1:4, 2:3, 3:4, 4:3, 5:5},'D':{1:3, 2:3, 3:1, 4:5, 5:4},'E':{1:1, 2:5, 3:5, 4:2, 5:1}}return datarating_data = load_data() basicsvd = SVD(rating_data, F=10) basicsvd.train() print(item, basicsvd.predict('A', 5))

FM模型

FM模型的引入

邏輯回歸模型及其缺點

一般做CTR預估時最簡單的思路即將特征做線性回歸（邏輯回歸LR），但這樣本質上是一個線性模型，由于sigmoid函數是一個單調增函數不會改變里面的線性模型的CTR預測順序，因此邏輯回歸的效果會比較差，即LR的缺點有：

是一個線性模型

每個特征對最終輸出結果獨立，需要手動交叉特征($x_i?x_j$)

[[二叉交叉項的考慮及改進]]

考慮到做特征交叉較為麻煩，于是考慮所有的二次交叉，于是將目標函數由原來的$$y=w_0+\sum _{i=1}^n{w}_i{x}_i$$改為$$y=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _i^{n?1}\sum _{j=i+1}^n{w}_{i,j}{x}_i{x}_j$$

但是針對上式存在一個問題即只有當$x_i$與$x_j$同時不為0時此二階交叉項才能起作用
于是提出FM，而FM將上述式子改為$$y=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _i^{n?1}\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j$$

此處的解釋為，在這里是對每個$x_i$計算一個$embedding$,接著將兩個$embedding$計算內積即$<v_i,v_j>$來代替之前的$w_{i,j}$,好處是這個模型的泛化能力強,即使存在有兩個特征從未在訓練集中同時出現過，我們也可以計算出它們的$w_{i,j}$，我們只需要$x_i$和其他的$x_k$同時在訓練集中出現過則可計算出$x_i$的$Embedding$

FM公式的理解

對于FM公式而言，模型表達能力大于LR，只有當交叉項參數$w_{ij}$全為0的時候，才會退化為LR，而且后面的二階交叉項的數量一共有$1+2+3+?+n?1=\frac{n(n?1)}{2}$,且任意兩個參數之間是獨立的。

def 任意一個實對稱矩陣([[正定矩陣]])$W$都存在一個矩陣$V$，使得$W=V?V^T$

$$\hat{y}(X)=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _i^{n?1}\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j$$
其中，需要估計的參數有$w_0\in R,w_i\in R,V\in R,<?,?>$是兩個長度為k的向量的內積

對于FM模型而言，在[[二叉交叉項的考慮及改進]]中，我們提出了使用$<?,?>$來代替$w_{ij}$的改進，從而使二次項的參數數量減少為$kn$個，遠遠少于多項式模型的二項式參數，此外，參數因子化使得$x_h{x}_i$與$x_i{x}_j$不再是獨立的。

FM模型是一個通用的擬合模型，可以采用不同的損失函數用以解決regression，classification問題。

FM的理解：FM可以用于解決大型稀疏數據中的特征組合問題。對于MF而言，只存在兩個兩個特征信息，而FM可以將兩個特征進行二階交叉組合，形成一個高階特征。具體可以參考推薦系統之FM與MF傻傻分不清楚。
MF其實算是FM的特例，只有兩個特征的特例，給出一個矩陣來幫助理解，希望自己之后看到這個例子可以想起來

user1user2user3

item1	1	2	3
item2	2	3	4
item3	3	4	5

這個是MF的輸入矩陣，而轉化為FM的格式就變為

user1user2user3item1item2item3score

1	0	0	1	0	0	1
1	0	0	0	1	0	2
1	0	0	0	0	1	3
0	1	0	1	0	0	2
0	1	0	0	1	0	3
0	1	0	0	0	1	4
0	0	1	1	0	0	3
0	0	1	0	1	0	4
0	0	1	0	0	1	5

總結

以上是生活随笔為你收集整理的推荐系统——矩阵分解FM的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。