1.梯度爆炸

原因：在學習過程中，梯度變得非常大，使得學習的過程偏離了正常的軌跡。

癥狀：觀察輸出日志(runtime log)中每次迭代的loss值，你會發現loss隨著迭代有明顯的增長，最后因為loss值太大以致于不能用浮點數去表示，所以變成了NaN。

可采取的方法：1.降低學習率，比如solver.prototxt中base_lr，降低一個數量級(至少)。如果在你的模型中有多個loss層，就不能降低基礎的學習率base_lr，而是需要檢查日志，找到產生梯度爆炸的層，然后降低train_val.prototxt中該層的loss_weight。

2.錯誤的學習率策略及參數

原因：在學習過程中，caffe不能得出一個正確的學習率，相反會得到inf或者nan的值。這些錯誤的學習率乘上所有的梯度使得所有參數變成無效的值。

癥狀：觀察輸出日志(runtime log)，你應該可以看到學習率變成NaN，例如：

... sgd_solver.cpp:106] Iteration 0, lr = -nan

可采取的方法：修改solver.prototxt文件中所有能影響學習率的參數。比如，如果你設置的學習率策略是 lr_policy: "poly" ，而你又忘了設置最大迭代次數max_iter，那么最后你會得到lr=NaN...

關于caffe學習率及其策略的內容，可以在github的/caffe-master/src/caffe/proto/caffe.proto 文件中看到 (傳送門)。

下面是源文件的注釋部分的描述：

// The learning rate decay policy. The currently implemented learning rate

// policies are as follows:

// - fixed: always return base_lr.

// - step: return base_lr * gamma ^ (floor(iter / step))

// - exp: return base_lr * gamma ^ iter

// - inv: return base_lr * (1 + gamma * iter) ^ (- power)

// - multistep: similar to step but it allows non uniform steps defined by

// stepvalue

// - poly: the effective learning rate follows a polynomial decay, to be

// zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)

// - sigmoid: the effective learning rate follows a sigmod decay

// return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))

//

// where base_lr, max_iter, gamma, step, stepvalue and power are defined

// in the solver parameter protocol buffer, and iter is the current iteration.

3.錯誤的損失函數

原因：有時，在損失層計算損失值時會出現NaN的情況。比如，向InfogainLoss層沒有歸一化輸入值，使用自定義的損失層等。

癥狀：觀察輸出日志(runtime log)的時候，你可能不會發現任何異常：loss逐漸下降，然后突然出現NaN。

可采取的方法：嘗試重現該錯誤，打印損失層的值并調試。

舉個栗子：有一回，我根據批量數據中標簽出現的頻率去歸一化懲罰值并以此計算loss。如果有個label并沒有在批量數據中出現，頻率為0，結果loss出現了NaN的情況。在這種情況下，需要用足夠大的batch來避免這個錯誤。

4.錯誤的輸入

原因：你的輸入中存在NaN！

癥狀：一旦學習過程中碰到這種錯誤的輸入，輸出就會變成NaN。觀察輸出日志(runtime log)的時候，你可能也不會發現任何異常：loss逐漸下降，然后突然出現NaN。

可采取的方法：重建你的輸入數據集(lmdb/leveldn/hdf5...)，確保你的訓練集/驗證集中沒有臟數據(錯誤的圖片文件)。調試時，使用一個簡單的網絡去讀取輸入，如果有一個輸入有錯誤，這個網絡的loss也會出現NaN。

5.Pooling層的步長大于核的尺寸

由于一些原因，步長stride>核尺寸kernel_size的pooling層會出現NaN。比如：

layer {

name: "faulty_pooling"

type: "Pooling"

bottom: "x"

top: "y"

pooling_param {

pool: AVE

stride: 5

kernel: 3

}

}

結果y會出現NaN。

總結

以上是生活随笔為你收集整理的matlab损失函数出现nan,[译]在训练过程中loss出现NaN的原因以及可以采取的方法。...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。