一句話概括：不用simgoid和tanh作為激活函數(shù)，而用ReLU作為激活函數(shù)的原因是：加速收斂。

因為sigmoid和tanh都是飽和(saturating)的。何為飽和？個人理解是把這兩者的函數(shù)曲線和導(dǎo)數(shù)曲線plot出來就知道了：他們的導(dǎo)數(shù)都是倒過來的碗狀，也就是，越接近目標，對應(yīng)的導(dǎo)數(shù)越小。而ReLu的導(dǎo)數(shù)對于大于0的部分恒為1。于是ReLU確實可以在BP的時候能夠?qū)⑻荻群芎玫貍鞯捷^前面的網(wǎng)絡(luò)。

ReLU（線性糾正函數(shù)）取代sigmoid函數(shù)去激活神經(jīng)元。

定義為：

代碼：

x=-10:0.001:10; relu=max(0,x); %分段函數(shù)的表示方法如下 %y=sqrt(x).*(x>=0&x<4)+2*(x>=4&x<6)+(5-x/2).*(x>=6&x<8)+1*(x>=8); reluDer=0.*(x<0)+1.*(x>=0); figure; plot(x,relu,‘r‘,x,reluDer,‘b--‘); title(‘Relu函數(shù)max(0,x)（實線）及其導(dǎo)數(shù)0,1（虛線）‘); legend(‘Relu原函數(shù)‘,‘Relu導(dǎo)數(shù)‘); set(gcf,‘NumberTitle‘,‘off‘); set(gcf,‘Name‘,‘Relu函數(shù)（實線）及其導(dǎo)數(shù)（虛線）‘);

輸出：

? ? ?可見，ReLU 在x<0 時硬飽和。由于 x>0時導(dǎo)數(shù)為 1，所以，ReLU 能夠在x>0時保持梯度不衰減，從而緩解梯度消失問題。但隨著訓(xùn)練的推進，部分輸入會落入硬飽和區(qū)，導(dǎo)致對應(yīng)權(quán)重?zé)o法更新。這種現(xiàn)象被稱為“神經(jīng)元死亡”。

? ? ?ReLU還經(jīng)常被“詬病”的一個問題是輸出具有偏移現(xiàn)象[7]，即輸出均值恒大于零。偏移現(xiàn)象和 神經(jīng)元死亡會共同影響網(wǎng)絡(luò)的收斂性。

總結(jié)

以上是生活随笔為你收集整理的人工神经网络之激活函数 -RELU函数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。