本系列文章如果沒有特殊說明，正文內容均解釋的是文字上方的圖片
機器學習 | Coursera
吳恩達機器學習系列課程_bilibili

目錄

• 16 推薦系統
• • 16-1 問題規劃
  • 16-2 基于內容的推薦算法
  • 16-3 協同過濾
  • 16-4 協同過濾算法
  • 16-5 向量化：低秩矩陣的分解
  • 16-6 實施細節：均值歸一化

16 推薦系統

16-1 問題規劃

以電影評分預測系統為例，機器學習系統需要預測問號處的值來決定向用戶推薦哪部電影

• $n_u$表示用戶的數量，這里=4
• $n_m$表示電影的數量，這里=5
• $r(i,j)$：如果用戶$j$已經給電影$i$進行評分了的話，$r(i,j)=1$
• $y^{(i,j)}$表示用戶$j$給電影$i$的評分（僅在$r(i,j)=1$時才有定義）

16-2 基于內容的推薦算法

• 用兩個特征$x_1$和$x_2$分別表示一部電影的浪漫片程度和動作片程度，組合成矩陣并加上$x_0=1$，比如$x^{(1)}=?\begin{array}{l}1\\ 0.9\\ 0\end{array}?$，$x^{(i)}$表示的是第$i$部電影的特征向量
• 對每一個用戶$j$都學習出一個參數${\theta }^{(j)}\in {\mathbb{R}}^3$，預測出用戶$j$對電影$i$的評價星級為${\left({\theta }^{(j)}\right)}^T{x}^{(i)}$

得到推薦算法的代價函數為：
$$\frac{1}{2m^{(j)}}\sum _{i:r(i,j)=1}{\left({\left({\theta }^{(j)}\right)}^{?}\left(x^{(i)}\right)?y^{(i,j)}\right)}^2+\frac{\lambda }{2m^{(j)}}?\sum _{k=1}^n{\left({\theta }_k^{(j)}\right)}^2$$
其中$m^{(j)}$表示用戶$j$評價了的電影數量
${\sum }_{i:r(i,j)=1}$表示累加所有滿足$r(i,j)=1$的項，變化$i$
為了簡化計算，一般去掉$m^{(j)}$項，代價函數變為：
$$\frac{1}{2}\sum _{i:r(i,j)=1}{\left({\left({\theta }^{(j)}\right)}^{?}\left(x^{(i)}\right)?y^{(i,j)}\right)}^2+\frac{\lambda }{2}?\sum _{k=1}^n{\left({\theta }_k^{(j)}\right)}^2$$

要優化所有用戶的參數，代價函數改為：
$$J\left({\theta }^{(1)},\dots ,{\theta }^{\left(n_u\right)}\right)=\frac{1}{2}\sum _{j=1}^{n_u}\sum _{i:r(i,j)=1}{\left({\left({\theta }^{(j)}\right)}^T{x}^{(i)}?y^{(i,j)}\right)}^2+\frac{\lambda }{2}\sum _{j=1}^{n_u}\sum _{k=1}^n{\left({\theta }_k^{(j)}\right)}^2$$

梯度下降更新項如上↑

16-3 協同過濾

由于之前的推薦算法的數據集中是給定了每部電影的特征，而一般一部電影的特征是難以判斷的，所以需要協同過濾
來自動學習特征

調查每位用戶對電影類型的喜好得到參數矩陣$\theta$，比如${\theta }^{(1)}=?\begin{array}{l}0\\ 5\\ 0\end{array}?$表示的是用戶1對$x_1$表示的浪漫片有5的喜愛，對$x_2$表示的動作片有0的喜愛，矩陣第一項的存在是因為有$x_0=1$這一項
根據用戶給出的對一類電影的喜愛程度、用戶給出的對電影的評分，就可以計算每一部電影的特征值

通過上圖的代價函數計算出每一部電影的合適的特征

先猜測一組參數$\theta$，然后計算出電影的特征$x$，再根據此特征計算新的參數$\theta$，再計算出電影的特征$x$，這樣不斷循環，最后就能收斂

16-4 協同過濾算法

去掉$x_0=1$和${\theta }_0=1$，讓$x\in {\mathbb{R}}^n$，$\theta \in {\mathbb{R}}^n$

把求$\theta$和求$x$的兩個代價函數合起來，得到一個新的不需要像上一節一樣循環往復的代價函數：
$$J\left(x^{(1)},\dots ,x^{\left(n_m\right)},{\theta }^{(1)},\dots ,{\theta }^{\left(n_u\right)}\right)=\frac{1}{2}\sum _{(i,j):r(i,j)=1}{\left({\left({\theta }^{(j)}\right)}^T{x}^{(i)}?y^{(i,j)}\right)}^2+\frac{\lambda }{2}\sum _{i=1}^{n_m}\sum _{k=1}^n{\left(x_k^{(i)}\right)}^2+\frac{\lambda }{2}\sum _{j=1}^{n_u}\sum _{k=1}^n{\left({\theta }_k^{(j)}\right)}^2$$

上圖是協同過濾算法的全過程：

• 初始化$x$和$\theta$為一個很小的值
• 用梯度下降或其他優化算法最小化代價函數
• 得出最后的$x$和$\theta$即可計算某個用戶未評價的電影的可能的評價星級

16-5 向量化：低秩矩陣的分解

首先把上圖的數據表寫成矩陣$Y$

矩陣$Y$中的每一個元素都是由公式${\left({\theta }^{(j)}\right)}^{?}\left(x^{(i)}\right)$計算得出的
矩陣$X$和矩陣$\Theta$由上圖所示的元素組成，所以矩陣$Y$可以表示為$Y=X{\Theta }^T$

如何找到跟一部電影相似的另一部電影？

• $\Vert x^{(i)}?x^{(j)}\Vert$越小，表示電影$i$和電影$j$越相似

16-6 實施細節：均值歸一化

如果一位用戶沒有對任何一部電影評分，那么會得出預測他對所有電影的評分都為0的荒謬結果，所以需要均值歸一化

如上圖所示，跟上一節相同的矩陣$Y$，求每一部電影的評分均值得到矩陣$\mu$，然后把矩陣$Y$中的每一項都減去矩陣$\mu$中對應的電影的平均值，得到新的矩陣$Y$，按照新的矩陣來學習出${\theta }^{(i)}$和$x^{(i)}$，最后在計算某一個未知的評分時需要用公式${\left({\theta }^{(j)}\right)}^{?}\left(x^{(i)}\right)+{\mu }_i$，（因為之前平均值被減掉了，所以現在要加回去），這樣預測用戶5時得到的結果就不再時0，而是預測的電影的評分平均值

總結

以上是生活随笔為你收集整理的【CV】吴恩达机器学习课程笔记第16章的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。