【深度学习】深度学习之Pytorch基础教程！
作者：李祖賢，Datawhale高校群成員，深圳大學
隨著深度學習的發展，深度學習框架開始大量的出現。尤其是近兩年，Google、Facebook、Microsoft等巨頭都圍繞深度學習重點投資了一系列新興項目，他們也一直在支持一些開源的深度學習框架。目前研究人員正在使用的深度學習框架不盡相同，有 TensorFlow 、Pytorch、Caffe、Theano、Keras等。
這其中，TensorFlow和Pytorch占據了深度學習的半壁江山。前幾天分享了TensorFlow的基本教程后，很多人在后臺留言說能不能寫寫Pytorch入門。本著粉絲的訴求必須滿足的原則，熬夜干，有了今天的文章。所以你懂我意思吧，記得轉發、點贊、在看三聯。
本文結合Pytorch官方教程、邱錫鵬老師的《神經網絡與深度學習》和李沐老師的《動手學深度學習》，為大家介紹的一下Pytorch深度學習框架。具體目錄如下：
一、數據操作
import torch1.1 創建TENSOR
# 創建未初始化的Tensor x = torch.empty(5,3) print(x) # 創建隨機初始化的Tensor x = torch.rand(5,3) print(x) # 創建全為0的Tensor x = torch.zeros(5,3,dtype=torch.long) print(x) # 根據數據創建Tensor x = torch.tensor([5.5,3]) print(x) # 修改原Tensor為全1的Tensor x = x.new_ones(5,3,dtype=torch.float64) print(x)# 修改數據類型 x = torch.rand_like(x,dtype=torch.float64) print(x) # 獲取Tensor的形狀 print(x.size()) print(x.shape) # 注意：返回的torch.Size其實就是?一個tuple, ?支持所有tuple的操作。這些創建方法都可以在創建的時候指定數據類型dtype和存放device(cpu/gpu)。
1.2 操作
1.2.1 算術操作
在PyTorch中，同?種操作可能有很多種形式，下?面?用加法作為例子。
# 形式1： y = torch.rand(5,3) print(x+y) # 形式2 print(torch.add(x,y)) # 還可以指定輸出 result = torch.empty(5, 3) torch.add(x, y, out=result) print(result) # 形式3 y.add_(x) print(y)1.2.2 索引
我們還可以使?類似NumPy的索引操作來訪問 Tensor 的一部分，需要注意的是：索引出來的結果與原數據共享內存，也即修改?個，另?個會跟著修改。
y = x[0,:] y += 1 print(y) print(x[0,:]) # 觀察x是否改變了1.2.3 改變形狀
注意 view() 返回的新tensor與源tensor共享內存（其實是同?個tensor），也即更改其中的?個，另 外?個也會跟著改變。(顧名思義，view僅是改變了對這個張量的觀察角度)
y = x.view(15) z = x.view(-1,5) # -1所指的維度可以根據其他維度的值推出來 print(x.size(),y.size(),z.size()) x += 1 print(x) print(y)所以如果我們想返回?個真正新的副本（即不共享內存）該怎么辦呢？Pytorch還提供了? 個 reshape() 可以改變形狀，但是此函數并不能保證返回的是其拷貝，所以不推薦使用。推薦先 ? clone 創造一個副本然后再使? view 。
另外?個常用的函數就是 item() , 它可以將?個標量 Tensor 轉換成?個Python
1.2.4 線性代數
1.3 廣播機制
前?我們看到如何對兩個形狀相同的 Tensor 做按元素運算。當對兩個形狀不同的 Tensor 按元素運算時，可能會觸發廣播（broadcasting）機制：先適當復制元素使這兩個 Tensor 形狀相同后再按元素運算。例如：
x = torch.arange(1,3).view(1,2) print(x) y = torch.arange(1,4).view(3,1) print(y) print(x+y)1.4 Tensor和Numpy相互轉化
我們很容易? numpy() 和 from_numpy() 將 Tensor 和NumPy中的數組相互轉換。但是需要注意的?點是：這兩個函數所產生的的 Tensor 和NumPy中的數組共享相同的內存（所以他們之間的轉換很快），改變其中?個時另?個也會改變！！！
a = torch.ones(5) b = a.numpy() print(a,b) a += 1 print(a,b) b += 1 print(a,b)使? from_numpy() 將NumPy數組轉換成 Tensor :
1.5 GPU運算
# let us run this cell only if CUDA is available # We will use ``torch.device`` objects to move tensors in and out of GPU if torch.cuda.is_available():device = torch.device("cuda") # a CUDA device objecty = torch.ones_like(x, device=device) # directly create a tensor on GPUx = x.to(device) # or just use strings ``.to("cuda")``z = x + yprint(z)print(z.to("cpu", torch.double)) # ``.to`` can also change dtype together!二、自動求梯度（非常重要）
很多人看到這里是懵的，因為為什么會得出導數的結果，在這里我給出自動求導的一些原理性的知識，希望能幫助大家更好的學習pytorch這個重要的框架。
該autograd軟件包是PyTorch中所有神經網絡的核心。讓我們首先簡要地訪問它，然后我們將去訓練我們的第一個神經網絡。
該autograd軟件包可自動區分張量上的所有操作。這是一個按運行定義的框架，這意味著您的backprop是由代碼的運行方式定義的，并且每次迭代都可以不同。
如果想了解數值微分數值積分和自動求導的知識，可以查看邱錫鵬老師的《神經網絡與深度學習》第四章第五節：
下載地址：https://nndl.github.io/
在這里簡單說說自動微分的原理吧：我們的目標是求
??
在??處的導數。我們的做法是利用鏈式法則分解為一系列的操作：
2.1 張量及張量的求導（Tensor）
# 加入requires_grad=True參數可追蹤函數求導 x = torch.ones(2,2,requires_grad=True) print(x) print(x.grad_fn) # 進行運算 y = x + 2 print(y) print(y.grad_fn) # 創建了一個加法操作<AddBackward0 object at 0x0000017AF2F86EF0>像x這種直接創建的稱為葉子節點，葉子節點對應的 grad_fn 是 None 。
a = torch.randn(2,2) # 缺失情況下默認 requires_grad = False a = ((a*3)/(a-1)) print(a.requires_grad) # False a.requires_grad_(True) print(a.requires_grad) b = (a*a).sum() print(b.grad_fn)
2.2 梯度
現在讓我們反向傳播：因為out包含單個標量，out.backward()所以等效于out.backward(torch.tensor(1.))。
out.backward() print(x.grad) # 再來反向傳播?次，注意grad是累加的 out2 = x.sum() out2.backward() print(x.grad)out3 = x.sum() x.grad.data.zero_() out3.backward() print(x.grad)三、神經網絡設計的pytorch版本這是一個簡單的前饋網絡。它獲取輸入，將其一層又一層地饋入，然后最終給出輸出。神經網絡的典型訓練過程如下：
定義具有一些可學習參數（或權重）的神經網絡
遍歷輸入數據集
通過網絡處理輸入
計算損失（輸出正確的距離有多遠）
將梯度傳播回網絡參數
通常使用簡單的更新規則來更新網絡的權重：weight = weight - learning_rate * gradient
3.2 損失函數
output = net(input) target = torch.randn(10) # a dummy target, for example target = target.view(-1,1) # # make it the same shape as output criterion = nn.MSELoss()loss = criterion(output,target) print(loss) 我們現在的網絡結構：# 如果loss使用.grad_fn屬性的屬性向后移動，可查看網絡結構 print(loss.grad_fn) # MSELoss print(loss.grad_fn.next_functions[0][0]) # Linear print(loss.grad_fn.next_functions[0][0].next_functions[0][0]) # ReLU3.3 更新權重
實踐中使用的最簡單的更新規則是隨機梯度下降（SGD）：
weight = weight - learning_rate * gradient
import torch.optim as optim# create your optimizer optimizer = optim.SGD(net.parameters(),lr = 0.01)# in your training loop: optimizer.zero_grad() # zero the gradient buffers output = net(input) loss = criterion(output,target) loss.backward() optimizer.step()576
四、寫到最后
今天，要講的Pytorch基礎教程到這里就結束了，相信大家通過上邊的學習已經對Pytorch基礎教程有了初步的了解。
關于Pytorch的項目實踐，阿里天池「零基礎入門NLP」學習賽中提供了Pytorch版實踐教程，供學習參考（閱讀原文直接跳轉）：
https://tianchi.aliyun.com/competition/entrance/531810/forum
往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯獲取一折本站知識星球優惠券，復制鏈接直接打開：https://t.zsxq.com/yFQV7am本站qq群1003271085。加入微信群請掃碼進群：總結
以上是生活随笔為你收集整理的【深度学习】深度学习之Pytorch基础教程！的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【CV】54篇最新CV领域综述论文速递！
- 下一篇： 【深度学习】array, list, t