構(gòu)建深度學(xué)習(xí)模型的基本流程就是：搭建計(jì)算圖，求得損失函數(shù)，然后計(jì)算損失函數(shù)對模型參數(shù)的導(dǎo)數(shù)，再利用梯度下降法等方法來更新參數(shù)。

搭建計(jì)算圖的過程，稱為“正向傳播”，這個是需要我們自己動手的，因?yàn)槲覀冃枰O(shè)計(jì)我們模型的結(jié)構(gòu)。由損失函數(shù)求導(dǎo)的過程，稱為“反向傳播”，求導(dǎo)是件辛苦事兒，所以自動求導(dǎo)基本上是各種深度學(xué)習(xí)框架的基本功能和最重要的功能之一，PyTorch也不例外。

我們今天來體驗(yàn)一下PyTorch的自動求導(dǎo)吧，好為后面的搭建模型做準(zhǔn)備。

一、設(shè)置Tensor的自動求導(dǎo)屬性

所有的tensor都有.requires_grad屬性，都可以設(shè)置成自動求導(dǎo)。具體方法就是在定義tensor的時候，讓這個屬性為True：

x = tensor.ones(2,4,requires_grad=True)

In [1]: import torchIn [2]: x = torch.ones(2,4,requires_grad=True)In [3]: print(x)tensor([[1., 1., 1., 1.], [1., 1., 1., 1.]], requires_grad=True)

只要這樣設(shè)置了之后，后面由x經(jīng)過運(yùn)算得到的其他tensor，就都有equires_grad=True屬性了。

可以通過x.requires_grad來查看這個屬性。

In [4]: y = x + 2In [5]: print(y)tensor([[3., 3., 3., 3.], [3., 3., 3., 3.]], grad_fn=)In [6]: y.requires_gradOut[6]: True

如果想改變這個屬性，就調(diào)用tensor.requires_grad_()方法：

In [22]: x.requires_grad_(False)Out[22]:tensor([[1., 1., 1., 1.], [1., 1., 1., 1.]])In [21]: print(x.requires_grad,y.requires_grad)False True

這里，注意區(qū)別tensor.requires_grad和tensor.requires_grad_()兩個東西，前面是調(diào)用變量的屬性值，后者是調(diào)用內(nèi)置的函數(shù)，來改變屬性。

二、求導(dǎo)

下面我們來試試自動求導(dǎo)到底怎么樣。

我們首先定義一個計(jì)算圖(計(jì)算的步驟)：

In [28]: x = torch.tensor([[1.,2.,3.],[4.,5.,6.]],requires_grad=True)In [29]: y = x+1In [30]: z = 2*y*yIn [31]: J = torch.mean(z)

這里需要注意的是，要想使x支持求導(dǎo)，必須讓x為浮點(diǎn)類型，也就是我們給初始值的時候要加個點(diǎn)：“.”。不然的話，就會報錯。

即，不能定義[1,2,3]，而應(yīng)該定義成[1.,2.,3.]，前者是整數(shù)，后者才是浮點(diǎn)數(shù)。

上面的計(jì)算過程可以表示為：

好了，重點(diǎn)注意的地方來了！

x、y、z都是tensor，但是size為(2,3)的矩陣。但是J是對z的每一個元素加起來求平均，所以J是標(biāo)量。

求導(dǎo)，只能是【標(biāo)量】對標(biāo)量，或者【標(biāo)量】對向量/矩陣求導(dǎo)！

所以，上圖中，只能J對x、y、z求導(dǎo)，而z則不能對x求導(dǎo)。

我們不妨試一試：

• PyTorch里面，求導(dǎo)是調(diào)用.backward()方法。直接調(diào)用backward()方法，會計(jì)算對計(jì)算圖葉節(jié)點(diǎn)的導(dǎo)數(shù)。獲取求得的導(dǎo)數(shù)，用.grad方法。

試圖z對x求導(dǎo)：

In [31]: z.backward()# 會報錯：Traceback (most recent call last) in ()----> 1 z.backward()RuntimeError: grad can be implicitly created only for scalar outputs

正確的應(yīng)該是J對x求導(dǎo)：

In [33]: J.backward()In [34]: x.gradOut[34]:tensor([[1.3333, 2.0000, 2.6667], [3.3333, 4.0000, 4.6667]])

檢驗(yàn)一下，求的是不是對的。

J對x的導(dǎo)數(shù)應(yīng)該是什么呢？

檢查發(fā)現(xiàn)，導(dǎo)數(shù)就是：

[[1.3333, 2.0000, 2.6667],

[3.3333, 4.0000, 4.6667]]

總結(jié)一下，構(gòu)建計(jì)算圖(正向傳播，Forward Propagation)和求導(dǎo)(反向傳播，Backward Propagation)的過程就是：

三、關(guān)于backward函數(shù)的一些其他問題：

1. 不是標(biāo)量也可以用backward()函數(shù)來求導(dǎo)？

在看文檔的時候，有一點(diǎn)我半天沒搞懂：

他們給了這樣的一個例子：

我在前面不是說“只有標(biāo)量才能對其他東西求導(dǎo)”么？它這里的y是一個tensor，是一個向量。按道理不能求導(dǎo)呀。這個參數(shù)gradients是干嘛的？

但是，如果看看backward函數(shù)的說明，會發(fā)現(xiàn)，里面確實(shí)有一個gradients參數(shù)：

從說明中我們可以了解到：

• 如果你要求導(dǎo)的是一個標(biāo)量，那么gradients默認(rèn)為None，所以前面可以直接調(diào)用J.backward()就行了如果你要求導(dǎo)的是一個張量，那么gradients應(yīng)該傳入一個Tensor。那么這個時候是什么意思呢？

在StackOverflow有一個解釋很好：

一般來說，我是對標(biāo)量求導(dǎo)，比如在神經(jīng)網(wǎng)絡(luò)里面，我們的loss會是一個標(biāo)量，那么我們讓loss對神經(jīng)網(wǎng)絡(luò)的參數(shù)w求導(dǎo)，直接通過loss.backward()即可。

但是，有時候我們可能會有多個輸出值，比如loss=[loss1,loss2,loss3]，那么我們可以讓loss的各個分量分別對x求導(dǎo)，這個時候就采用：

loss.backward(torch.tensor([[1.0,1.0,1.0,1.0]]))

如果你想讓不同的分量有不同的權(quán)重，那么就賦予gradients不一樣的值即可，比如：

loss.backward(torch.tensor([[0.1,1.0,10.0,0.001]]))

這樣，我們使用起來就更加靈活了，雖然也許多數(shù)時候，我們都是直接使用.backward()就完事兒了。

2. 一個計(jì)算圖只能backward一次

一個計(jì)算圖在進(jìn)行反向求導(dǎo)之后，為了節(jié)省內(nèi)存，這個計(jì)算圖就銷毀了。

如果你想再次求導(dǎo)，就會報錯。

比如你定義了計(jì)算圖：

你先求p求導(dǎo)，那么這個過程就是反向的p對y求導(dǎo)，y對x求導(dǎo)。

求導(dǎo)完畢之后，這三個節(jié)點(diǎn)構(gòu)成的計(jì)算子圖就會被釋放：

那么計(jì)算圖就只剩下z、q了，已經(jīng)不完整，無法求導(dǎo)了。

所以這個時候，無論你是想再次運(yùn)行p.backward()還是q.backward()，都無法進(jìn)行，報錯如下：

RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.

好，怎么辦呢？

遇到這種問題，一般兩種情況：

1. 你的實(shí)際計(jì)算，確實(shí)需要保留計(jì)算圖，不讓子圖釋放。

那么，就更改你的backward函數(shù)，添加參數(shù)retain_graph=True，重新進(jìn)行backward，這個時候你的計(jì)算圖就被保留了，不會報錯。

但是這樣會吃內(nèi)存！，尤其是，你在大量迭代進(jìn)行參數(shù)更新的時候，很快就會內(nèi)存不足，memory out了。

2. 你實(shí)際根本沒必要對一個計(jì)算圖backward多次，而你不小心多跑了一次backward函數(shù)。

通常，你要是在IPython里面聯(lián)系PyTorch的時候，因?yàn)槟銜磸?fù)運(yùn)行一個單元格的代碼，所以很容易一不小心把backward運(yùn)行了多次，就會報錯。這個時候，你就檢查一下代碼，防止backward運(yùn)行多次即可。

文章轉(zhuǎn)自：https://zhuanlan.zhihu.com/p/51385110

總結(jié)

以上是生活随笔為你收集整理的pytorch如何计算导数_PyTorch怎么用？来看这里的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。