31激活函數與Loss的梯度3

softmax
概率0-1，且所有所屬結點的概率和為1，用softmax適合多分類，且把之間的差距拉大，本來2.0與1.0差兩倍，現在0.7與0.2差3.5倍

求的是pi對aj的偏導，當i=j

i!=j

32感知機的梯度推導1

x上標0下標n，上標0表示第0層，下標n表示第n個x
w上標1下標ij，上標1表示第一層i表示連接上一層的xi，下標j表示連接本層的j號結點
x上標1下標0，上標1表示第1層的，下標0表示第0號結點，激活后變O
O上標1下標0，上標1表示第1層的，下標0表示第0號結點
因為是單層感知機，所以O只有一個

上標表示層號，下標表示本層的結點序號
loss=求和(O-t)**2 即（pred-y）**2

鏈式法則

單層感知機
例子采用10號結點的輸入
這里先求出loss對w的梯度
之后可以利用公式w’=w-lr*loss對w的梯度不斷更新w使得xw趨近期望的y

33感知機的梯度推導2

共有N*M次連接
Wjk就是本層j號結點到k號結點的連接

對loss（error）對wjk的求導當j=k的時候才對E對wjk的求導有影響，j!=k沒有影響都是0，所以可以把求和符號去掉

這條邊上的權值輸出關系只和這條邊上的輸入結點xj^0 和輸出結點Ok^1 有關（這里多看幾遍）

34鏈式法則

鏈式法則
像跳板一樣，逐一相乘再求解

35MLP反向傳播

（多看幾遍）

多層感知機

總結

以上是生活随笔為你收集整理的pytorch教程龙曲良31-35的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。