前言

torch.nn是專門為神經(jīng)網(wǎng)絡(luò)設(shè)計的模塊化接口。nn構(gòu)建于Autograd之上，可用來定義和運行神經(jīng)網(wǎng)絡(luò)。這里我們主要介紹幾個一些常用的類。
約定：torch.nn 我們?yōu)榱朔奖闶褂?#xff0c;會為他設(shè)置別名為nn，本章除nn以外還有其他的命名約定。

import torch import torch.nn as nn torch.__version__

除了nn別名以外，我們還引用了nn.functional，這個包中包含了神經(jīng)網(wǎng)絡(luò)中使用的一些常用函數(shù)，這些函數(shù)的特點是，不具有可學(xué)習(xí)的參數(shù)(如ReLU，pool，DropOut等)，這些函數(shù)可以放在構(gòu)造函數(shù)中，也可以不放，但是這里建議不放。
一般情況下我們會將nn.functional 設(shè)置為大寫的F，這樣縮寫方便調(diào)用

import torch.nn.functional as F

一、常用操作

操作名介紹

nn.Conv2d	在輸入圖像上應(yīng)用2維卷積
nn.MaxPool2d	在輸入圖像上應(yīng)用2維最大池化
nn.AvgPool2d	在輸入圖像上應(yīng)用2維平均池化
nn.ReLU	應(yīng)用非線性修正單元ReLU
nn.Linear	對輸入數(shù)據(jù)應(yīng)用線性變換，也就是我們常說的全連接層
nn.CrossEntropyLoss	交叉熵損失函數(shù)
nn.Upsample	上采樣，圖像分割用的很多
nn.Dropout	應(yīng)用Dropout層
nn.MSELoss	均方誤差損失函數(shù)
nn.BatchNorm1d	應(yīng)用BN層

因為方法太多，這里只是列舉了一小部分，詳細請自行去PyTorch官網(wǎng)查看。所列舉的常用方法也只是以常用使用方式來進行舉例（由于有些方法的參數(shù)實在是太多了，而且以我自己的能力也不一定能以書面文字的方式解釋清楚）。

• nn.Conv2d(in_channels,out_channels,kernel_size)：可選參數(shù)這里省略了

  • in_channels(int)：輸入圖像的通道數(shù)

  • out_channels(int)：卷積生成的通道數(shù)

  • kernel_size(int or tuple)：卷積核的size，如果是方形，用int；如果非方形，用tuple。

  • 案例

  # With square kernels and equal stride m = nn.Conv2d(16,33,3,stride = 2) # With square kernels and unequal stride and with padding m = nn.Conv2d(16, 33, (3, 5), stride=(2, 1), padding=(4, 2)) input = torch.randn(20,16,50,100) output = m(input)
• nn.MaxPool2d(kernel_size，stride)：這里列舉了常用的幾個參數(shù)，其余省略了
  • kernel_size(int or tuple)：池化窗口size
  • stride(int or tuple)：池化的步長
  • padding(int or tuple)：池化的填充，默認為0
  • 案例
  # pool of square window of size=3, stride=2 m = nn.MaxPool2d(3,stride = 2) # pool of non-square window m = nn.MaxPool2d((3, 2), stride=(2, 1)) input = torch.randn(20, 16, 50, 32) output = m(input)
• nn.AvgPool2d(kernel_size，stride)：這里列舉了常用的幾個參數(shù)，其余省略了
  • kernel_size(int or tuple)：池化窗口size
  • stride(int or tuple)：池化的步長
  • padding(int or tuple)：池化的填充，默認為0
  • 案例
  # pool of square window of size=3, stride=2 m = nn.AvgPool2d(3, stride=2) # pool of non-square window m = nn.AvgPool2d((3, 2), stride=(2, 1)) input = torch.randn(20, 16, 50, 32) output = m(input)
• nn.Linear(in_features, out_features, bias)
  • in_features：輸入特征數(shù)
  • out_features：輸出特征數(shù)
  • bias：偏置
  • 案例
  m = nn.Linear(20, 30) input = torch.randn(128, 20) output = m(input) print(output.size()) torch.Size([128, 30])

二、案例+相關(guān)代碼注釋

在這之前，首先我們需要了解一下PyTorch中已經(jīng)給我們準備好的網(wǎng)絡(luò)模型nn.Module。我們自己定義的網(wǎng)絡(luò)模型只需要繼承nn.Module，并實現(xiàn)它的forward()方法，PyTorch會根據(jù)Autograd，自動實現(xiàn)backward()函數(shù)，在forward函數(shù)中我們可以使用任何Tensor支持的函數(shù)，還可以使用if、for、print等Python語法，寫法與標準Python寫法是一致的。

class Net(nn.Module):def __init__(self):# nn.Module子類的函數(shù)必須在構(gòu)造函數(shù)中執(zhí)行父類的構(gòu)造函數(shù)super(Net, self).__init__()# 卷積層 '1'表示輸入圖片為單通道， '6'表示輸出通道數(shù)，'3'表示卷積核為3*3self.conv1 = nn.Conv2d(1, 6, 3) #線性層，輸入1350個特征，輸出10個特征self.fc1 = nn.Linear(1350, 10) #這里的1350是如何計算的呢？這就要看后面的forward函數(shù)#正向傳播 def forward(self, x): print(x.size()) # 結(jié)果：[1, 1, 32, 32]# 卷積 -> 激活 -> 池化 x = self.conv1(x) #根據(jù)卷積的尺寸計算公式，計算結(jié)果是30，具體計算公式后面第二章第四節(jié) 卷積神經(jīng)網(wǎng)絡(luò) 有詳細介紹。x = F.relu(x)print(x.size()) # 結(jié)果：[1, 6, 30, 30]x = F.max_pool2d(x, (2, 2)) #我們使用池化層，計算結(jié)果是15x = F.relu(x)print(x.size()) # 結(jié)果：[1, 6, 15, 15]# reshape，‘-1’表示自適應(yīng)#這里做的就是壓扁的操作 就是把后面的[1, 6, 15, 15]壓扁，變?yōu)?[1, 1350]x = x.view(x.size()[0], -1) print(x.size()) # 這里就是fc1層的的輸入1350 x = self.fc1(x) return xnet = Net() print(net)

• 運行結(jié)果

Net((conv1): Conv2d(1, 6, kernel_size=(3, 3), stride=(1, 1))(fc1): Linear(in_features=1350, out_features=10, bias=True) )

• 網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)通過net.parameters()返回

for parameters in net.parameters():print(parameters)

• 運行結(jié)果

Parameter containing: tensor([[[[ 0.2745, 0.2594, 0.0171],[ 0.0429, 0.3013, -0.0208],[ 0.1459, -0.3223, 0.1797]]],[[[ 0.1847, 0.0227, -0.1919],[-0.0210, -0.1336, -0.2176],[-0.2164, -0.1244, -0.2428]]],[[[ 0.1042, -0.0055, -0.2171],[ 0.3306, -0.2808, 0.2058],[ 0.2492, 0.2971, 0.2277]]],[[[ 0.2134, -0.0644, -0.3044],[ 0.0040, 0.0828, -0.2093],[ 0.0204, 0.1065, 0.1168]]],[[[ 0.1651, -0.2244, 0.3072],[-0.2301, 0.2443, -0.2340],[ 0.0685, 0.1026, 0.1754]]],[[[ 0.1691, -0.0790, 0.2617],[ 0.1956, 0.1477, 0.0877],[ 0.0538, -0.3091, 0.2030]]]], requires_grad=True) Parameter containing: tensor([ 0.2355, 0.2949, -0.1283, -0.0848, 0.2027, -0.3331],requires_grad=True) Parameter containing: tensor([[ 2.0555e-02, -2.1445e-02, -1.7981e-02, ..., -2.3864e-02,8.5149e-03, -6.2071e-04],[-1.1755e-02, 1.0010e-02, 2.1978e-02, ..., 1.8433e-02,7.1362e-03, -4.0951e-03],[ 1.6187e-02, 2.1623e-02, 1.1840e-02, ..., 5.7059e-03,-2.7165e-02, 1.3463e-03],...,[-3.2552e-03, 1.7277e-02, -1.4907e-02, ..., 7.4232e-03,-2.7188e-02, -4.6431e-03],[-1.9786e-02, -3.7382e-03, 1.2259e-02, ..., 3.2471e-03,-1.2375e-02, -1.6372e-02],[-8.2350e-03, 4.1301e-03, -1.9192e-03, ..., -2.3119e-05,2.0167e-03, 1.9528e-02]], requires_grad=True) Parameter containing: tensor([ 0.0162, -0.0146, -0.0218, 0.0212, -0.0119, -0.0142, -0.0079, 0.0171,0.0205, 0.0164], requires_grad=True)

• net.named_parameters可同時返回可學(xué)習(xí)的參數(shù)及名稱。

for name,parameters in net.named_parameters():print(name,':',parameters.size())

• 我們來簡單測試一下：注意forward函數(shù)的輸入和輸出都是Tensor

input = torch.randn(1, 1, 32, 32) # 這里的對應(yīng)前面fforward的輸入是32 out = net(input) out.size()

• 在反向傳播前，先要將所有參數(shù)的梯度清零

net.zero_grad() out.backward(torch.ones(1,10)) # 反向傳播的實現(xiàn)是PyTorch自動實現(xiàn)的，我們只要調(diào)用這個函數(shù)即可

注意： torch.nn只支持mini-batches，不支持一次只輸入一個樣本，即一次必須是一個batch。
也就是說，就算我們輸入一個樣本，也會對樣本進行分批，所以，所有的輸入都會增加一個維度，我們對比下剛才的input，nn中定義為3維，但是我們?nèi)斯?chuàng)建時多增加了一個維度，變?yōu)榱?維，最前面的1即為batch-size。

三、優(yōu)化器optim

在反向傳播計算完所有參數(shù)的梯度后，還需要使用優(yōu)化方法來更新網(wǎng)絡(luò)的權(quán)重和參數(shù)。這里只簡單介紹優(yōu)化方法。

優(yōu)化方法優(yōu)化更新策略

SGD隨機梯度下降法
帶有Momentum的隨機梯度下降法
Adagrad
Adam	該方法融合了Momentum和Adagrad方法

在torch.optim庫中實現(xiàn)大多數(shù)的優(yōu)化方法，例如RMSProp、Adam、SGD等，下面我們使用SGD做個簡單的樣例。

• 首先導(dǎo)入optim包

import torch.optim

• 對網(wǎng)絡(luò)參數(shù)進行更新

out = net(input) # 這里調(diào)用的時候會打印出我們在forword函數(shù)中打印的x的大小 criterion = nn.MSELoss() loss = criterion(out, y) #新建一個優(yōu)化器，SGD只需要要調(diào)整的參數(shù)和學(xué)習(xí)率 optimizer = torch.optim.SGD(net.parameters(), lr = 0.01) # 先梯度清零(與net.zero_grad()效果一樣) optimizer.zero_grad() loss.backward()#更新參數(shù) optimizer.step()

參考文獻

• https://pytorch.org/docs/stable/nn.html
• https://github.com/zergtant/pytorch-handbook/blob/master/chapter2/2.1.3-pytorch-basics-nerual-network.ipynb

總結(jié)

以上是生活随笔為你收集整理的PyTorch基础（三）-----神经网络包nn和优化器optim的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。