autograd包是PyTorch中神經(jīng)網(wǎng)絡(luò)的核心部分,簡單學(xué)習(xí)一下.

autograd提供了所有張量操作的自動求微分功能. 它的靈活性體現(xiàn)在可以通過代碼的運(yùn)行來決定反向傳播的過程, 這樣就使得每一次的迭代都可以是不一樣的.

Variable類

• autograd.Variable是這個包中的核心類.
• 它封裝了Tensor,并且支持了幾乎所有Tensor的操作.
• 一旦你完成張量計(jì)算之后就可以調(diào)用.backward()函數(shù),它會幫你把所有的梯度計(jì)算好.
• 通過Variable的.data屬性可以獲取到張量.
• 通過Variabe的.grad屬性可以獲取到梯度.

下圖是Variable的結(jié)構(gòu)圖:

?

Function類

• 對于實(shí)現(xiàn)自動求梯度還有一個很重要的類就是autograd.Function.
• Variable跟Function一起構(gòu)建了非循環(huán)圖,完成了前向傳播的計(jì)算.
• 每個通過Function函數(shù)計(jì)算得到的變量都有一個.grad_fn屬性.
• 用戶自己定義的變量(不是通過函數(shù)計(jì)算得到的)的.grad_fn值為空.
• 如果想計(jì)算某個變量的梯度,可以調(diào)用.backward()函數(shù):
  1.當(dāng)變量是標(biāo)量的時(shí)候不需要指定任何參數(shù).
  2.當(dāng)變量不是標(biāo)量的時(shí)候,需要指定一個跟該變量同樣大小的張量grad_output用來存放計(jì)算好的梯度.

代碼示例

• import packet

import torch
from torch.autograd import Variable

• Create a variable

x=Variable(torch.ones(2,2),requires_grad=True)
print (x)

• Do an operation of variable

y=x+2
print(y)

• grad_fn attribute
  這里的x是屬于用戶自己定義的,而y屬于函數(shù)產(chǎn)生的,所以y有g(shù)rad_fn屬性,而x沒有.

print (x.grad_fn)
print (y.grad_fn)

• more operations on y

z = y * y * 3
out = z.mean()
print(z, out)

Gradients

如果你跟著上面的代碼做下來的話,上面已經(jīng)完成了變量x及計(jì)算函數(shù)的定義.
現(xiàn)在我們就可以用backward()自動求導(dǎo)啦.

out.backward()
print(x.grad)

反向計(jì)算得到的梯度如下所示:

?

• 這里的out為標(biāo)量,所以直接調(diào)用backward()函數(shù)即可.
• 一定要注意當(dāng)out為數(shù)組時(shí),用先定義一樣大小的Tensor例如grad_output執(zhí)行.backgrad(grad_output)語句.

以上就基本完成了前向傳播建立計(jì)算圖以及反向傳播求梯度的過程.

總結(jié)

以上是生活随笔為你收集整理的PyTorch入门学习（二）：Autogard之自动求梯度的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。