微調(diào)多層自編碼算法

Contents [hide] 1介紹 2一般策略 3使用反向傳播法進(jìn)行微調(diào) 4中英文對(duì)照 5中文譯者

介紹

微調(diào)是深度學(xué)習(xí)中的常用策略，可以大幅提升一個(gè)棧式自編碼神經(jīng)網(wǎng)絡(luò)的性能表現(xiàn)。從更高的視角來講，微調(diào)將棧式自編碼神經(jīng)網(wǎng)絡(luò)的所有層視為一個(gè)模型，這樣在每次迭代中，網(wǎng)絡(luò)中所有的權(quán)重值都可以被優(yōu)化。

一般策略

幸運(yùn)的是，實(shí)施微調(diào)棧式自編碼神經(jīng)網(wǎng)絡(luò)所需的工具都已齊備！為了在每次迭代中計(jì)算所有層的梯度，我們需要使用稀疏自動(dòng)編碼一節(jié)中討論的反向傳播算法。因?yàn)榉聪騻鞑ニ惴梢匝由鞈?yīng)用到任意多層，所以事實(shí)上，該算法對(duì)任意多層的棧式自編碼神經(jīng)網(wǎng)絡(luò)都適用。

使用反向傳播法進(jìn)行微調(diào)

為方便讀者，以下我們簡(jiǎn)要描述如何實(shí)施反向傳播算法：

1. 進(jìn)行一次前饋傳遞，對(duì) 層、 層直到輸出層 ，使用前向傳播步驟中定義的公式計(jì)算各層上的激活值（激勵(lì)響應(yīng)）。

2. 對(duì)輸出層（ 層），令

（當(dāng)使用softmax分類器時(shí)，softmax層滿足：，其中 為輸入數(shù)據(jù)對(duì)應(yīng)的類別標(biāo)簽， 為條件概率向量。）

3. 對(duì)

令

4. 計(jì)算所需的偏導(dǎo)數(shù)：

注：我們可以認(rèn)為輸出層softmax分類器是附加上的一層，但是其求導(dǎo)過程需要單獨(dú)處理。具體地說，網(wǎng)絡(luò)“最后一層”的特征會(huì)進(jìn)入softmax分類器。所以，第二步中的導(dǎo)數(shù)由 計(jì)算，其中。

中英文對(duì)照

棧式自編碼神經(jīng)網(wǎng)絡(luò)（可以考慮翻譯為“多層自動(dòng)編碼機(jī)”或“多層自動(dòng)編碼神經(jīng)網(wǎng)絡(luò)”） Stacked autoencoder

微調(diào) Fine tuning

反向傳播算法 Backpropagation Algorithm

前饋傳遞 feedforward pass

激活值 （可以考慮翻譯為“激勵(lì)響應(yīng)”或“響應(yīng)”） activation

from: http://ufldl.stanford.edu/wiki/index.php/%E5%BE%AE%E8%B0%83%E5%A4%9A%E5%B1%82%E8%87%AA%E7%BC%96%E7%A0%81%E7%AE%97%E6%B3%95

總結(jié)

以上是生活随笔為你收集整理的Stanford UFLDL教程 微调多层自编码算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。