BPMF论文辅助笔记: 固定U,更新θU 部分推导
該部分是輔助論文筆記 Bayesian Probabilistic Matrix Factorizationusing Markov Chain Monte Carlo (ICML 2008)_UQI-LIUWJ的博客-CSDN博客?的3.3.1小節
1 多元高斯分布&威沙特分布
?復習一下多元高斯分布的概率密度函數:
復習一下威沙特分布的概率密度函數
?概率統計筆記:威沙特分布(Wishart Distribution)_UQI-LIUWJ的博客-CSDN博客
?2? 推導
?固定U,采樣,按照概率進行采樣
利用條件概率性質,我們可以用已知的條件概率來計算:
?由于此時U已知,故p(U)為常量
?右側第一項是一個高斯分布,第二項是高斯分布和威沙特分布的乘積。
2.1? 第一項的展開
?先看第一項:
所以?可以看成是N個高斯分布的乘積
? ? ? ? ? ? ? ? ? ?
2.2 第二項的展開?
?再看第二項
?我們拆成高斯分布的概率密度和威沙特分布的概率密度:
?2.2.1 高斯分布
高斯分布的概率密度:
????????????????????????????????????????
2.2.2 威沙特分布?
?威沙特分布的概率密度:
?
?
?2.3 合并
?去掉不需要的系數項,我們有:
?
?我們希望通過采樣得到的?()也滿足高斯威沙特分布:
?也就是我們也就是我們希望找到一組B1,B2
?使得
2.4 求值
2.4.1 v0*
?我們考慮等號兩邊的指數:
2.4.2 β0*
??我們考慮指數中的項的系數 :
2.4.3 μ0*
- ?我們考慮指數中的項的系數
2.4.4 W*
?至于W*,就比較繁瑣
?至于W*,就比較繁瑣
我們先回顧兩個求導的知識
?線性代數筆記:標量、向量、矩陣求導_UQI-LIUWJ的博客-CSDN博客
?
??于是我們對(A1+A2+A3)和(B1+B2)的指數項關于求導
先看A這邊的
A1指數項求完導是(由于都有-1/2,所以我都約去):
??A2指數項求完導是
A2指數項求完導是?
?再看B這邊的:
?B1指數項求完導是:
B2指數項求完導是
?于是我們有:
+
=++(1)
?而在前面我們已經得到:
?
?
?代入進去,有:
?
?
?(2)
?
??現在就是剩下的部分怎么算了:
?展開消元即可?
?3 用共軛分布考慮
????????在這里,我們有p(U)【多元正態分布】和p(U|θ)【高斯威沙特分布】,而高斯威沙特分布是多元高斯分布在μ和精度矩陣都不知道的情況下的共軛先驗
? ? ? ? 所以p(θ|U)也是高斯威沙特分布,有:
?
總結
以上是生活随笔為你收集整理的BPMF论文辅助笔记: 固定U,更新θU 部分推导的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 论文笔记 Bayesian Probab
- 下一篇: BPMF论文辅助笔记:采样Ui 部分推导