損失函數(shù)如下：

優(yōu)化部分：采用交替優(yōu)化算法

首先：
1.更新Uv-固定其他變量，更新Uv
首先對(duì)損失函數(shù)進(jìn)行求導(dǎo)：

手推如下：

文章中的全過程如下：

2.更新V……

手推如下：

文章中的全過程如下：


3.更新Wv……

手推如下：

文章中的全過程如下：

4.更新W0……

手推如下：

文章中的全過程如下：

5.更新S……

手推如下：

文章中的全過程如下：

疑惑的部分：
對(duì)于什么時(shí)候使用KKT條件還是閉合解還是有一些不明白，但在查詢了使用KKT和閉合解的相關(guān)內(nèi)容，感覺好像明白了一些。
KKT條件：

閉合解：

結(jié)合上面的推導(dǎo)，我發(fā)現(xiàn)對(duì)于更新各個(gè)變量的時(shí)候，都是首先采用對(duì)相應(yīng)的變量進(jìn)行求導(dǎo)，令導(dǎo)數(shù)為零。然后根據(jù)相應(yīng)的情況使用KKT條件或者閉合解，這種情況下一般使用KKT條件，當(dāng)求導(dǎo)后的式子中含有無限級(jí)數(shù)時(shí)，這時(shí)應(yīng)該利用閉合解。

總結(jié)

以上是生活随笔為你收集整理的手推优化算法，了解KKT和closed-form solution是如何使用的的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。