深度學習（27）隨機梯度下降五: 單輸出感知機梯度

• 1. Perceptrnon with Sigmoid + MSE
• 2. Derivative
• 3. 代碼

Recap

• $y=XW+b$
• $y=\sum x_i?w_i+b$
  

1. Perceptrnon with Sigmoid + MSE

注:
(1) $x_i^0$: $x$表示輸入層的元素，上角標表示第幾層（0表示第0層），下角標表示第幾個元素（$n$表示第$n$個元素）;
(2) $w_{ij}^1$: $w$表示權值，上角標表示第幾個隱藏層（1表示第1個隱藏層），下角標i表示連接上一層的第i個元素，$j$表示連接下一層的第$j$個元素（由于上圖中第1層共有1個元素，所以連接第0層和第1層的權重的下角標中的$j$值都為0，代表第0個元素）;
(3) $x_0^1$: 上角標1表示第1層，$x$表示經過第0輸入$x$和第1層隱藏層得到的輸出值，下角標0表示第0個元素，因為這節課討論單輸出，所以只有1個元素;
(4) $O_0^1$: $O$表示$x$經過激活函數的輸出值，上角標表示第幾層，1表示第1層的$x$經過激活函數得到$O$，下角標0表示第0個元素;
(5) $t$: $target$，即目標值，標簽值，label值;
(6) $E$: 即$loss$，E=〖(O_0^1-t)〗2;

2. Derivative

• 損失函數$loss$為:
  $$E=\frac{1}{2}(O_0^1?t{)}^2$$
  注: 這里的$\frac{1}{2}$是為了求導的時候和平方抵消掉，寫不寫不影響結果（梯度的單調性不會改變）;
• 對$w_{j0}$求偏導數:
  $$\frac{?E}{?w_{j0}}=(O_0^1?t)\frac{?O_0}{?w_{j0}}$$
• $O_0=\sigma (x_0)$:
  $$\frac{?E}{?w_{j0}}=(O_0^1?t)\frac{?\sigma (x_0)}{?w_{j0}}$$
• $\frac{?\sigma (x_0)}{?w_{j0}}=\frac{?\sigma (x_0)}{?x_0}?\frac{?x_0}{?w_{j0}}$，其中$\frac{?\sigma (x_0)}{?x_0}=\sigma (x_0)(1?\sigma (x_0))$，這個在前面的激活函數的梯度部分講解過了:
  $$\frac{?E}{?w_{j0}}=(O_0^1?t)\sigma (x_0)(1?\sigma (x_0))\frac{?x_0^1}{?w_{j0}}$$
• $O_0=\sigma (x_0)$:
  $$\frac{?E}{?w_{j0}}=(O_0^1?t)O_0(1?O_0)\frac{?x_0^1}{?w_{j0}}$$
• 因為$x_0^1=x_0^0{w}_{00}^1+x_1^0{w}_{10}^1+x_2^0{w}_{20}^1+?+x_j^0{w}_{j0}^1+?+x_n^0{w}_{n0}^1$，所以:
  $$\frac{?E}{?w_{j0}}=(O_0^1?t)O_0(1?O_0)\frac{?x_0^1}{?w_{j0}}=(O_0^1?t)O_0(1?O_0)x_j^0$$

綜上所述，單輸出感知機梯度為:
$$\frac{?E}{?w_{j0}}=(O_0^1?t)O_0(1?O_0)x_j^0$$

3. 代碼

(1) x=tf.random.normal([1, 3]): 創建一個1個樣本3個維度的Tensor;
(2)w=tf.ones([3, 1]): 權重$w$，將輸出維度變為[1];
(3) 上述過程為求單輸出感知機梯度。

參考文獻:
[1] 龍良曲:《深度學習與TensorFlow2入門實戰》

總結

以上是生活随笔為你收集整理的深度学习（27）随机梯度下降五: 单输出感知机梯度的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。