relu激活函數的優勢：
（1）反向傳播時，可以避免梯度消失。
（2）Relu會使一部分神經元的輸出為0，這樣就造成了網絡的稀疏性，并且減少了參數的相互依存關系，緩解了過擬合問題的發生（以及一些人的生物解釋balabala）。
（3）相對于sigmoid激活函數，tanh激活函數，求導簡單。采用sigmoid等函數，算激活函數時（指數運算），計算量大，反向傳播求誤差梯度時，求導涉及除法，計算量相對大，而采用Relu激活函數，整個過程的計算量節省很多。
缺點：
（1）左側神經元為0，導致神經元死亡，不再更新。
（2）輸出非負，仍然存在zigzag現象。

參考文章1：【深度學習】為什么使用ReLU作為激活函數，ReLU比sigmoid優秀在哪里

參考文章2：卷積神經網絡之relu激活函數的理解

參考文章3：神經網絡為什么要使用激活函數，為什么relu要比sigmoid要好

總結

以上是生活随笔為你收集整理的卷积神经网络CNNs 为什么要用relu作为激活函数？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。