---

←上一篇↓↑下一篇→

3.7 為什么需要非線性激活函數	回到目錄	3.9 神經網絡的梯度下降法

---

激活函數的導數 (Derivatives of Activation Functions)

在神經網絡中使用反向傳播的時候，你真的需要計算激活函數的斜率或者導數。針對以下四種激活，求其導數如下：

1）sigmoid activation function

圖3.8.1

其具體的求導如下： 公式3.25：$\frac{d}{dz}g(z)=\frac{1}{1+e^{?z}}(1?\frac{1}{1+e^{?z}})=g(z)(1?g(z))$

注：
當 $z=10$ 或 $z=?10;\frac{d}{dz}g(z)\approx 0$
當 $z=0,\frac{d}{dz}g(z)=g(z)(1?g(z))=\frac{1}{4}$
在神經網絡中$a=g(z);g(z{)}^{{}^{\prime }}=\frac{d}{dz}g(z)=a(1?a)$

2）Tanh activation function

圖3.8.2

其具體的求導如下： 公式3.26：$g(z)=tanh(z)=\frac{e^z?e^{?z}}{e^z+e^{?z}}$
公式3.27： $\frac{d}{dz}g(z)=1?(tanh(z){)}^2$

注：
當 $z=10$ 或 $z=?10,\frac{d}{dz}g(z)\approx 0$
當 $=0,\frac{d}{dz}g(z)=1?(0)=1$
在神經網絡中;

3）Rectified Linear Unit (ReLU)

注：通常在 $z=0$ 的時候給定其導數1,0；當然 $z=0$ 的情況很少

4）Leaky linear unit (Leaky ReLU)

與ReLU類似

$$\begin{gathered} g(z)=max(0.01z,z) \\ g(z{)}^{{}^{\prime }}=?\begin{array}{cc}0.01& ifz<0\\ 1& ifz>0\\ undefined& ifz=0\end{array} \end{gathered}$$

注：通常在 $z=0$ 的時候給定其導數1,0.01；當然 $z=0$ 的情況很少。

課程PPT

---

←上一篇↓↑下一篇→

3.7 為什么需要非線性激活函數	回到目錄	3.9 神經網絡的梯度下降法

---

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的3.8 激活函数的导数-深度学习-Stanford吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。