原文地址：http://www.researchgate.net/profile/Robert_Jacobs9/publication/223108796_Increased_rates_of_convergence_through_learning_rate_adaptation/links/0deec525d8f8dd5ade000000.pdf

　　已經(jīng)看了CNN，rbm，sae等網(wǎng)絡(luò)及算法，所有網(wǎng)絡(luò)在訓(xùn)練時都需要一個learning rate，一直以來都覺得這個量設(shè)為定值即可，現(xiàn)在才發(fā)現(xiàn)其實這個量也可以變更和學(xué)習(xí)。

　　文章中提到的時最早的神經(jīng)網(wǎng)絡(luò)learning rate，不過我覺得對現(xiàn)在有啟發(fā)作用。文中提出神經(jīng)網(wǎng)絡(luò)中，如果把error function看成是一個多變量函數(shù)，每個參數(shù)對應(yīng)一個變量，那么這個函數(shù)在每個參數(shù)wi方向上變化的速度是不同的，并且如果error function不是圓形的話，負(fù)梯度方向并不是指向最小值的（這個畫個橢圓做個切線就知道），因此應(yīng)該采用不同的learning rate。

　　隨后提出了作者一種啟發(fā)式的方法就是在神經(jīng)網(wǎng)絡(luò)中，如果一個參數(shù)每次的導(dǎo)數(shù)的符號保持不變，說明它一直沿正方向走，那么應(yīng)該增大learning rate以達(dá)到更快地到達(dá)最小值點，如果一個參數(shù)每次的導(dǎo)數(shù)的符號經(jīng)常變化，說明它已經(jīng)越過了最小值點，在最小值點附近擺動，那么應(yīng)該減小learning rate讓它穩(wěn)定。

　　隨后就是算法，一個是momentum方法，，這樣前面的導(dǎo)數(shù)可以影響后面的參數(shù)變更，從而使一直沿一個方向走的參數(shù)的改變，否則減小參數(shù)的改變。

　　第二種是delta-delta learning rule，這個ε(t＋1）是根據(jù)

得出的，第二個式子的結(jié)果就是learning rate的導(dǎo)數(shù)，可以用sgd更新learning rate。但顯然，這會有一個缺陷，結(jié)束第二個式子的結(jié)果是兩個導(dǎo)數(shù)相乘，會比較小，所以這個方法不好，有個改進(jìn)版的。

?

這個函數(shù)結(jié)合了那兩個原則并且防止learning rate減到小于0，線性增加也不會增加的太快。

　　希望本博客對別人有幫助，謝謝。

?

轉(zhuǎn)載于:https://www.cnblogs.com/caozj/p/4841344.html

總結(jié)

以上是生活随笔為你收集整理的关于Increased rates of convergence through learning rate adaptation一文的理解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。