日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

训练生成对抗网络的过程中,训练gan的地方为什么这里没有detach,怎么保证训练生成器的时候不会改变判别器

發(fā)布時(shí)間:2025/4/16 编程问答 34 豆豆
生活随笔 收集整理的這篇文章主要介紹了 训练生成对抗网络的过程中,训练gan的地方为什么这里没有detach,怎么保证训练生成器的时候不会改变判别器 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.


答:

detach的作用是凍結(jié)梯度下降,無(wú)論是對(duì)于判別網(wǎng)絡(luò)還是生成網(wǎng)絡(luò)而言,我們更新的都是關(guān)于logD(G(z)),對(duì)于判別網(wǎng)絡(luò)而言,凍結(jié)G并不影響整體的梯度更新(就是內(nèi)層函數(shù)看成是一個(gè)常數(shù),不影響外層函數(shù)求梯度),但是反過(guò)來(lái),如果凍結(jié)D,就沒(méi)有辦法完成梯度更新了。所以,我們?cè)谟?xùn)練生成器的時(shí)候沒(méi)用凍結(jié)D的梯度。所以,對(duì)于生成器而言,我們的確計(jì)算了D的梯度,但是我們沒(méi)有更新D的權(quán)重(只寫(xiě)了optimizer_g.step),所以訓(xùn)練生成器的時(shí)候也就不會(huì)改變判別器了。你可能會(huì)問(wèn),那既然如此,為什么訓(xùn)練判別器的時(shí)候還要加上detach呢,這不是多此一舉嗎?

因?yàn)槲覀儍鼋Y(jié)梯度下降,可以加快訓(xùn)練速度,所以能用的地方就可以用一下,不是多此一舉。然后我們?cè)谟?xùn)練生成器的時(shí)候,因?yàn)閘ogD(G(z))的原因,凍結(jié)D的梯度根本就沒(méi)有辦法計(jì)算了,所以,這里就不寫(xiě)detach了

總結(jié)

以上是生活随笔為你收集整理的训练生成对抗网络的过程中,训练gan的地方为什么这里没有detach,怎么保证训练生成器的时候不会改变判别器的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。