學習筆記，僅供參考，有錯必糾

---

文章目錄

• • Deep Sparse Rectifier Neural Networks
  • • Abstract
    • Introduction
    • Background
    • Deep Rectifier Networks
    • Experimental Study
    • • Image Recognition
      • 實驗結果
      • 稀疏性實驗結果
      • 半監督與監督學習
    • Conclusion

---

Deep Sparse Rectifier Neural Networks

Abstract

本文提出一種RELU激活函數，該激活函數可以激發稀疏性，可以獲得與雙曲正切函數(Tanh)等同,甚至更好的效果.

Introduction

計算神經模型和機器學習中的神經網絡具有一定的差異. 這種差異可以被RELU激活函數消除.

Background

The main gaps that we wish to consider between computational neuroscience models and machine learning models are the following:

• 大腦中神經元只有少部分(1%-4%)處于工作狀態，也就是有稀疏性。 如果不使用L1正則化，則神經網絡很難達到稀疏的狀態。

• 一種常見的生物學模型 leaky integrate-and-fire(LIF)如下所示
  
  輸入電流與 firing rate的關系圖如下所示，可以看到，當電流較小時，firing rate一直為0；當輸入電流達到一定程度時，firing rate的值才大于0；隨著電流越大，firing rate逐漸增長，但是增長速率也在逐漸降低.

Deep Rectifier Networks

本文提出一種RELU激活函數$rectifier(x)=max(0,x)$，當輸入信號到達閾值時，該激活函數才會非0. 下圖中的右圖為RELU激活函數圖，左圖為應用了RELU激活函數的神經網絡結構，可以看到當使用RELU激活函數時，部分神經元的輸出為0，則此時神經網絡具有系數性…

Experimental Study

Image Recognition

實驗結果

實驗中，在4個數據集上使用3個激活函數，并分別采用使用無監督預訓練(受限玻爾茲曼機：Restricted Boltzmann machines)和不使用無監督預訓練的方式進行實驗. 由結果可知，利用RBF對模型進行預訓練對基于RELU激活函數的神經網絡影響不大. 同時，使用RELU激活函數，可以得到與使用Tanh匹敵，甚至更好的結果.

稀疏性實驗結果

下圖中，橫坐標為稀疏度，縱坐標為錯誤率. 可以看出當系數率在[75%, 85%]的范圍內，錯誤率較低，但是隨著稀疏度的增高，錯誤率逐漸上升.

半監督與監督學習

針對RELU激活函數來說，在半監督情況下，預訓練會得到很好的模型性能提升效果. 但是隨著標簽數量的上升(監督學習)，是否對模型進行預訓練的效果將沒有顯著區別.

Conclusion

RELU激活函數可以在不使用預訓練的情況下，提高模型的性能，以獲得更好的結果.

在人工神經網絡中，稀疏性在[50%, 80%]的范圍會得到較好的結果. 但是生物神經網絡中，稀疏性可達到[95%, 99%].

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的经典DL论文研读(part2)--Deep Sparse Rectifier Neural Networks的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。