學(xué)習(xí)筆記，僅供參考，有錯必糾

---

文章目錄

• • Deep Sparse Rectifier Neural Networks
  • • Abstract
    • Introduction
    • Background
    • Deep Rectifier Networks
    • Experimental Study
    • • Image Recognition
      • 實驗結(jié)果
      • 稀疏性實驗結(jié)果
      • 半監(jiān)督與監(jiān)督學(xué)習(xí)
    • Conclusion

---

Deep Sparse Rectifier Neural Networks

Abstract

本文提出一種RELU激活函數(shù)，該激活函數(shù)可以激發(fā)稀疏性，可以獲得與雙曲正切函數(shù)(Tanh)等同,甚至更好的效果.

Introduction

計算神經(jīng)模型和機器學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)具有一定的差異. 這種差異可以被RELU激活函數(shù)消除.

Background

The main gaps that we wish to consider between computational neuroscience models and machine learning models are the following:

• 大腦中神經(jīng)元只有少部分(1%-4%)處于工作狀態(tài)，也就是有稀疏性。 如果不使用L1正則化，則神經(jīng)網(wǎng)絡(luò)很難達到稀疏的狀態(tài)。

• 一種常見的生物學(xué)模型 leaky integrate-and-fire(LIF)如下所示
  
  輸入電流與 firing rate的關(guān)系圖如下所示，可以看到，當(dāng)電流較小時，firing rate一直為0；當(dāng)輸入電流達到一定程度時，firing rate的值才大于0；隨著電流越大，firing rate逐漸增長，但是增長速率也在逐漸降低.

Deep Rectifier Networks

本文提出一種RELU激活函數(shù)$rectifier(x)=max(0,x)$，當(dāng)輸入信號到達閾值時，該激活函數(shù)才會非0. 下圖中的右圖為RELU激活函數(shù)圖，左圖為應(yīng)用了RELU激活函數(shù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可以看到當(dāng)使用RELU激活函數(shù)時，部分神經(jīng)元的輸出為0，則此時神經(jīng)網(wǎng)絡(luò)具有系數(shù)性…

Experimental Study

Image Recognition

實驗結(jié)果

實驗中，在4個數(shù)據(jù)集上使用3個激活函數(shù)，并分別采用使用無監(jiān)督預(yù)訓(xùn)練(受限玻爾茲曼機：Restricted Boltzmann machines)和不使用無監(jiān)督預(yù)訓(xùn)練的方式進行實驗. 由結(jié)果可知，利用RBF對模型進行預(yù)訓(xùn)練對基于RELU激活函數(shù)的神經(jīng)網(wǎng)絡(luò)影響不大. 同時，使用RELU激活函數(shù)，可以得到與使用Tanh匹敵，甚至更好的結(jié)果.

稀疏性實驗結(jié)果

下圖中，橫坐標(biāo)為稀疏度，縱坐標(biāo)為錯誤率. 可以看出當(dāng)系數(shù)率在[75%, 85%]的范圍內(nèi)，錯誤率較低，但是隨著稀疏度的增高，錯誤率逐漸上升.

半監(jiān)督與監(jiān)督學(xué)習(xí)

針對RELU激活函數(shù)來說，在半監(jiān)督情況下，預(yù)訓(xùn)練會得到很好的模型性能提升效果. 但是隨著標(biāo)簽數(shù)量的上升(監(jiān)督學(xué)習(xí))，是否對模型進行預(yù)訓(xùn)練的效果將沒有顯著區(qū)別.

Conclusion

RELU激活函數(shù)可以在不使用預(yù)訓(xùn)練的情況下，提高模型的性能，以獲得更好的結(jié)果.

在人工神經(jīng)網(wǎng)絡(luò)中，稀疏性在[50%, 80%]的范圍會得到較好的結(jié)果. 但是生物神經(jīng)網(wǎng)絡(luò)中，稀疏性可達到[95%, 99%].

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的经典DL论文研读(part2)--Deep Sparse Rectifier Neural Networks的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。