常見激活函數
神經網絡中，常見的激活函數有以下幾種：

1. sigmoid

$f(x)=\frac{1}{1+e^{?x}}$
$f^{{}^{\prime }}(x)=f(x)(1?f(x))$

2. tanh

$f(x)=\frac{e^x?e^{?x}}{e^x+e^{?x}}$
$f^{{}^{\prime }}(x)=?$

• 二者都需要指數計算
• sigmoid和tanh都是S型的非線性激活函數，對輸入做非線性映射。
• 不同的是sigmoid將響應值限制在了(0,1)，而tanh則是(-1,1).
• 在自變量處于極大和極小值區域，導數幾乎為0，在反向傳播過程中，導致梯度消失，無法更新權值。

3. ReLU

$$f(x)=\{\begin{array}{c}x,x>0\\ 0,x<=0\end{array}$$
相對于S型函數，計算簡單，在x>0區域，不存在梯度消失。
ReLU有個嚴重的問題，存在死區。在死區處，無法更新權值。

5. Leaky ReLU

見下圖。解決ReLU死區問題，引入了一個新參數$a_i$

6. PReLU

與Leaky ReLU類似，但是參數$a_i$根據數據來定的
參考

7. RReLU

與Leaky ReLU類似，但是參數$a_i$在U(I,u)中隨機選擇的

總結

以上是生活随笔為你收集整理的神经网络中的激活函数的比较的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。