PyTorch教程(十二):链式法则
生活随笔
收集整理的這篇文章主要介紹了
PyTorch教程(十二):链式法则
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
通過使用鏈式法則就可以把最后一層的誤差一層一層的輸出到中間層的權值中去,從而得到中間層的梯度信息,然后就可以很好的更新權值,得到最優化的效果。
鏈式法則公式:
?y?x=?y?u?u?x\frac {\partial y}{\partial x} = \frac {\partial y }{\partial u} \frac {\partial u}{\partial x} ?x?y?=?u?y??x?u?
對于一個簡單的線性層來說不需要鏈式法則,但是對于對于實際的神經網絡來說,展開公式是非常復雜的,不能直接一次到位,因此使用鏈式法則可以使得我們的求導過程非常簡單。
總結
以上是生活随笔為你收集整理的PyTorch教程(十二):链式法则的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 冰箱封条发霉怎么清洗
- 下一篇: elasticsearch dump 教