改善反向傳播的性能試探法

整理8個能提高BP效率的方法：

?

隨機(jī)和批量方式更新

反向傳播學(xué)習(xí)的隨機(jī)（串行）方式（涉及一個模式接一個模式的更新）要比批量方式

計算快。特別是當(dāng)新聯(lián)數(shù)據(jù)集很大且高度冗余時，更是如此。（批量學(xué)習(xí)再高度冗余的時候Jacobi矩陣會很麻煩）

最大信息內(nèi)容

作為一個基本的規(guī)則，對呈現(xiàn)給反向傳播算法的每一個訓(xùn)練樣本的挑選必須建立在其信息內(nèi)容對解決問題有很大可能的基礎(chǔ)上。達(dá)到這個目標(biāo)的兩種方法是：

使用訓(xùn)練誤差最大的樣本。

使用的樣本要與以前使用的有區(qū)別。

這兩個試探方法起因于對權(quán)空間進(jìn)行更多搜索的愿望。

在模式分類的任務(wù)中使用串行反向傳播學(xué)習(xí)，經(jīng)常使用的一個簡單技巧是將樣本的每個回合呈現(xiàn)給多層感知器的順序隨機(jī)化（即弄亂）。理想情況下，隨機(jī)化可以確保一個回合中的相繼的樣本很少屬于同一類。

激活函數(shù)

建議選擇奇函數(shù)的sigmoid激活函數(shù)即

F(-v)?=?-?F(v)

如下的雙曲正切函數(shù)滿足這個條件(logistic函數(shù)不滿足)

F(v)?=?a?tanh?(bv)???????其中a和b的合適值：a=1.7159???b=2/3

?

F(1)??=?1/F(-1)?=?-1

再遠(yuǎn)點(diǎn)激活函數(shù)的傾斜度（即有效增益）接近于1

F(v)的二階導(dǎo)數(shù)在v=1時達(dá)到最大。

4.目標(biāo)值。

在sigmoid激活函數(shù)的范圍內(nèi)選擇目標(biāo)值（期望響應(yīng)）是很重要的。更具體來說，多層感知器輸出層的神經(jīng)元j的期望響應(yīng)dj必須與sigmoid激活函數(shù)的極限值偏離某個值，具體取決于極限值是正或負(fù)。否則反向傳播算法會使網(wǎng)絡(luò)的自由參數(shù)趨向于無窮大，驅(qū)使隱藏神經(jīng)元達(dá)到飽和從而減慢學(xué)習(xí)過程。

輸入的標(biāo)準(zhǔn)化。每一個輸入標(biāo)量都需要預(yù)處理，使得它關(guān)于整個訓(xùn)練集求平均的均值接近0，或者與標(biāo)準(zhǔn)偏差相比是較小的。位評價這個規(guī)則的實(shí)際意義，我們考慮輸入恒正的極端情況。在這種情況下，第一隱藏層的一個神經(jīng)元的所有突觸權(quán)值只能同時增加或同時減少。所以，如果這個神經(jīng)元權(quán)值向量改變方向，則它的誤差曲面的路徑變成鋸齒形的，這會使收斂速度變慢，因此應(yīng)該避免。兩個步驟

訓(xùn)練集包含的輸入變量應(yīng)該是不相關(guān)的；

區(qū)相關(guān)后的輸入變量應(yīng)調(diào)整其長度使得它們的協(xié)方差近似相等，因此可以保證網(wǎng)絡(luò)中的不同突觸權(quán)值以大約相等的速度進(jìn)行學(xué)習(xí)。

初始化。使得神經(jīng)元誘導(dǎo)局部域的標(biāo)準(zhǔn)偏差位于它的sigmoid激活函數(shù)的線性部分和飽和部分的過渡區(qū)域。對于一個均勻分布，它需要其均值為0而方差將與神經(jīng)元的突觸鏈接的數(shù)目成反比，從而這個分布來選擇突觸權(quán)值的值。

從提示中學(xué)習(xí)。從一組未知的訓(xùn)練例子中學(xué)習(xí)意味著處理未知的輸入-輸出映射函數(shù)，事實(shí)上，學(xué)習(xí)過程利用函數(shù)例子鎖包含的信息來推斷它的逼近實(shí)現(xiàn)。從例子中學(xué)習(xí)的過程可以推廣為包括從提示中學(xué)習(xí)，這可以通過在學(xué)習(xí)過程中加入函數(shù)的先驗(yàn)知識來實(shí)現(xiàn)。這些知識包括不變性、對稱性或關(guān)于函數(shù)的其他知識，它們可以用來加速實(shí)現(xiàn)函數(shù)逼近的搜索，而且更重要的是，會提高最后估計的質(zhì)量。

學(xué)習(xí)率。多層感知器的所有神經(jīng)元理論上應(yīng)以同一速率進(jìn)行學(xué)習(xí)。網(wǎng)絡(luò)最后一層的局部梯度與通常比別的層大。因此，最后一層的學(xué)習(xí)率參數(shù)應(yīng)設(shè)的比別的層小。輸入較多的神經(jīng)元的學(xué)習(xí)率參數(shù)應(yīng)比輸入較少的神經(jīng)元小。對于一個給定的神經(jīng)元，其學(xué)習(xí)率應(yīng)與該審刑院的突觸鏈接的平方根成反比。

?

?

總結(jié)

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—改善反向传播的性能试探法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。