深度學習（25）隨機梯度下降三: 激活函數的梯度

• 1. Activation Functions
• 2. Deriative
• 3. Sigmoid/Logistic
• • (1) Derivative
  • (2) tf.sigmoid
• 4. Tanh
• • (1) Derivative
  • (2) tf.tanh
• 5. Rectified Linear Unit（ReLU）
• • (1) Derivative
  • (2) tf.nn.relu

Outline

• sigmoid
• tanh
• relu

1. Activation Functions

2. Deriative

3. Sigmoid/Logistic

$$f(x)=\sigma (x)=\frac{1}{1+e^{?x}}$$

當$a<0$時，函數值逼近于0; 當$a>0$時，函數值逼近于1;
這樣就體現了Sigmoid函數與神經元類似的方面，與神經元一樣，當a過小或者過大時，都不會做出應激反應。

(1) Derivative

(2) tf.sigmoid

（a）y = tf.sigmoid(a): y為經過激活函數處理后的a;
（b）grads = tape.gradient(y, [a]): 梯度更新;

4. Tanh

$$\begin{gathered} f(x)=tanh?(x) \\ =\frac{(e^x?e^{?x})}{(e^x+e^{?x})} \\ =2sigmoid(2x)?1 \end{gathered}$$

常應用于RNN，即循環神經網絡;

(1) Derivative

(2) tf.tanh

5. Rectified Linear Unit（ReLU）

$$f(x)=\{\begin{array}{ll}0& \text{for}x<0\\ x& \text{for}x\ge 0\end{array}$$

(1) Derivative

$$f^{\prime }(x)=\{\begin{array}{ll}0& \text{for}x<0\\ 1& \text{for}x\ge 0\end{array}$$

(2) tf.nn.relu

• tf.nn.leaky_relu(a):
• $$f(x)=\{\begin{array}{ll}kx& \text{for}x<0\\ x& \text{for}x\ge 0\end{array}$$

這里的$k$是一個很小的值，當$x<0$時，函數值會慢慢逼近0。

參考文獻:
[1] 龍良曲:《深度學習與TensorFlow2入門實戰》

總結

以上是生活随笔為你收集整理的深度学习（25）随机梯度下降三: 激活函数的梯度的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。