pytorch 的 Variable 對象中有兩個方法，detach和 detach_ 本文主要介紹這兩個方法的效果和 能用這兩個方法干什么。

detach

官方文檔中，對這個方法是這么介紹的。

返回一個新的 從當(dāng)前圖中分離的 Variable。
返回的 Variable 永遠(yuǎn)不會需要梯度
如果 被 detach 的Variable volatile=True， 那么 detach 出來的 volatile 也為 True
還有一個注意事項，即：返回的 Variable 和 被 detach 的Variable 指向同一個 tensor
import torch
from torch.nn import init
from torch.autograd import Variable
t1 = torch.FloatTensor([1., 2.])
v1 = Variable(t1)
t2 = torch.FloatTensor([2., 3.])
v2 = Variable(t2)
v3 = v1 + v2
v3_detached = v3.detach()
v3_detached.data.add_(t1) # 修改了 v3_detached Variable中 tensor 的值
print(v3, v3_detached) # v3 中tensor 的值也會改變
1
2
3
4
5
6
7
8
9
10
11
# detach 的源碼
def detach(self):
result = NoGrad()(self) # this is needed, because it merges version counters
result._grad_fn = None
return result
1
2
3
4
5
detach_

官網(wǎng)給的解釋是：將 Variable 從創(chuàng)建它的 graph 中分離，把它作為葉子節(jié)點。

從源碼中也可以看出這一點

將 Variable 的grad_fn 設(shè)置為 None，這樣，BP 的時候，到這個 Variable 就找不到 它的 grad_fn，所以就不會再往后BP了。
將 requires_grad 設(shè)置為 False。這個感覺大可不必，但是既然源碼中這么寫了，如果有需要梯度的話可以再手動 將 requires_grad 設(shè)置為 true
# detach_ 的源碼
def detach_(self):
"""Detaches the Variable from the graph that created it, making it a
leaf.
"""
self._grad_fn = None
self.requires_grad = False
1
2
3
4
5
6
7
能用來干啥

如果我們有兩個網(wǎng)絡(luò) A,BA,B, 兩個關(guān)系是這樣的 y=A(x),z=B(y)y=A(x),z=B(y) 現(xiàn)在我們想用 z.backward()z.backward() 來為 BB 網(wǎng)絡(luò)的參數(shù)來求梯度，但是又不想求 AA 網(wǎng)絡(luò)參數(shù)的梯度。我們可以這樣：

# y=A(x), z=B(y) 求B中參數(shù)的梯度，不求A中參數(shù)的梯度
# 第一種方法
y = A(x)
z = B(y.detach())
z.backward()

# 第二種方法
y = A(x)
y.detach_()
z = B(y)
z.backward()
1
2
3
4
5
6
7
8
9
10
11
在這種情況下，detach 和 detach_ 都可以用。但是如果 你也想用 yy 來對 AA 進(jìn)行 BP 呢？那就只能用第一種方法了。因為 第二種方法 已經(jīng)將 AA 模型的輸出 給 detach（分離）了。
---------------------
作者：ke1th
來源：CSDN
原文：https://blog.csdn.net/u012436149/article/details/76714349
版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請附上博文鏈接！

總結(jié)

以上是生活随笔為你收集整理的pytorch: Variable detach 与 detach_的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。