relu激活函數(shù)的優(yōu)勢(shì)：
（1）反向傳播時(shí)，可以避免梯度消失。
（2）Relu會(huì)使一部分神經(jīng)元的輸出為0，這樣就造成了網(wǎng)絡(luò)的稀疏性，并且減少了參數(shù)的相互依存關(guān)系，緩解了過(guò)擬合問(wèn)題的發(fā)生（以及一些人的生物解釋balabala）。
（3）相對(duì)于sigmoid激活函數(shù)，tanh激活函數(shù)，求導(dǎo)簡(jiǎn)單。采用sigmoid等函數(shù)，算激活函數(shù)時(shí)（指數(shù)運(yùn)算），計(jì)算量大，反向傳播求誤差梯度時(shí)，求導(dǎo)涉及除法，計(jì)算量相對(duì)大，而采用Relu激活函數(shù)，整個(gè)過(guò)程的計(jì)算量節(jié)省很多。
缺點(diǎn)：
（1）左側(cè)神經(jīng)元為0，導(dǎo)致神經(jīng)元死亡，不再更新。
（2）輸出非負(fù)，仍然存在zigzag現(xiàn)象。

參考文章1：【深度學(xué)習(xí)】為什么使用ReLU作為激活函數(shù)，ReLU比sigmoid優(yōu)秀在哪里

參考文章2：卷積神經(jīng)網(wǎng)絡(luò)之relu激活函數(shù)的理解

參考文章3：神經(jīng)網(wǎng)絡(luò)為什么要使用激活函數(shù)，為什么relu要比sigmoid要好

總結(jié)

以上是生活随笔為你收集整理的卷积神经网络CNNs 为什么要用relu作为激活函数？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。