---

←上一篇↓↑下一篇→

3.7 為什么需要非線性激活函數(shù)	回到目錄	3.9 神經(jīng)網(wǎng)絡(luò)的梯度下降法

---

激活函數(shù)的導(dǎo)數(shù) (Derivatives of Activation Functions)

在神經(jīng)網(wǎng)絡(luò)中使用反向傳播的時(shí)候，你真的需要計(jì)算激活函數(shù)的斜率或者導(dǎo)數(shù)。針對以下四種激活，求其導(dǎo)數(shù)如下：

1）sigmoid activation function

圖3.8.1

其具體的求導(dǎo)如下： 公式3.25：$\frac{d}{dz}g(z)=\frac{1}{1+e^{?z}}(1?\frac{1}{1+e^{?z}})=g(z)(1?g(z))$

注：
當(dāng) $z=10$ 或 $z=?10;\frac{d}{dz}g(z)\approx 0$
當(dāng) $z=0,\frac{d}{dz}g(z)=g(z)(1?g(z))=\frac{1}{4}$
在神經(jīng)網(wǎng)絡(luò)中$a=g(z);g(z{)}^{{}^{\prime }}=\frac{d}{dz}g(z)=a(1?a)$

2）Tanh activation function

圖3.8.2

其具體的求導(dǎo)如下： 公式3.26：$g(z)=tanh(z)=\frac{e^z?e^{?z}}{e^z+e^{?z}}$
公式3.27： $\frac{d}{dz}g(z)=1?(tanh(z){)}^2$

注：
當(dāng) $z=10$ 或 $z=?10,\frac{d}{dz}g(z)\approx 0$
當(dāng) $=0,\frac{d}{dz}g(z)=1?(0)=1$
在神經(jīng)網(wǎng)絡(luò)中;

3）Rectified Linear Unit (ReLU)

注：通常在 $z=0$ 的時(shí)候給定其導(dǎo)數(shù)1,0；當(dāng)然 $z=0$ 的情況很少

4）Leaky linear unit (Leaky ReLU)

與ReLU類似

$$\begin{gathered} g(z)=max(0.01z,z) \\ g(z{)}^{{}^{\prime }}=?\begin{array}{cc}0.01& ifz<0\\ 1& ifz>0\\ undefined& ifz=0\end{array} \end{gathered}$$

注：通常在 $z=0$ 的時(shí)候給定其導(dǎo)數(shù)1,0.01；當(dāng)然 $z=0$ 的情況很少。

課程PPT

---

←上一篇↓↑下一篇→

3.7 為什么需要非線性激活函數(shù)	回到目錄	3.9 神經(jīng)網(wǎng)絡(luò)的梯度下降法

---

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的3.8 激活函数的导数-深度学习-Stanford吴恩达教授的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。