計算標量函數：$$y=x^3+sin(x)$$
在$x=1,\pi ,5$時的一階導$\frac{dy}{dx}$和二階導$\frac{d^{2}y}{d{x}^2}$，程序代碼如下：

# -*- coding: utf-8 -*- """ Created on Mon Sep 28 08:59:50 2020@author: 周文青利用torch.autograd計算單變量標量函數y=x^3+sin(x)在x分別為1，pi和5時的一階導數和二 階導數""" import torch as tc import numpy as np#%% 方法1：采用torch.autograd.grad x = tc.tensor([1, np.pi, 5],requires_grad=True) y = x**3 + tc.sin(x) dy = 3*x**2 + tc.cos(x) d2y = 6*x - tc.sin(x)dydx = tc.autograd.grad(y, x, grad_outputs=tc.ones(x.shape), #注意這里需要人為指定create_graph=True, retain_graph=True) # 為計算二階導保持計算圖 print(dydx) # 注意輸出是一個tuple，取第一個元素 # (tensor([ 3.5403, 28.6088, 75.2837], grad_fn=<AddBackward0>),) print(dy) # tensor([ 3.5403, 28.6088, 75.2837], grad_fn=<AddBackward0>)d2ydx2 = tc.autograd.grad(dydx[0],x, grad_outputs=tc.ones(x.shape), create_graph=False) # 默認會自動銷毀計算圖 print(d2ydx2) # (tensor([ 5.1585, 18.8496, 30.9589]),) print(d2y) # tensor([ 5.1585, 18.8496, 30.9589], grad_fn=<SubBackward0>)#%% 方法2：采用torch.autograd.backword x = tc.tensor([1, np.pi, 5],requires_grad=True) y = x**3 + tc.sin(x) dy = 3*x**2 + tc.cos(x) d2y = 6*x - tc.sin(x)tc.autograd.backward(y, grad_tensors=tc.ones(x.shape),create_graph=True, retain_graph=False) print(x.grad) #一階導 # tensor([ 3.5403, 28.6088, 75.2837], grad_fn=<CopyBackwards>) tc.autograd.backward(x.grad, grad_tensors=tc.ones(x.shape),create_graph=False, retain_graph=False)#采用backword的方法并且在求一階導的時候設置了create_graph時，該結果是兩次梯度的累加結果 print(x.grad) # tensor([ 8.6988, 47.4584, 106.2426], grad_fn=<CopyBackwards>)

pytorch實現了自動微分功能，可以自動計算梯度，因此后續可以研究使用pytorch實現一些利用梯度信息的優化算法，包括單變量情況和多變量情況的，例如one line search中的牛頓法，梯度下降法，共軛梯度算法等。

總結

以上是生活随笔為你收集整理的pytorch autograd计算标量函数二阶导数的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。