學習筆記，僅供參考，有錯必糾

---

文章目錄

• • 理論
  • • 卷積神經網絡CNN
    • • 局部感受野和權值共享
      • 卷積計算
      • 池化Pooling
      • Padding
    • LeNET-5
  • 代碼
  • • 初始設置
    • 導包
    • 載入數據
    • 模型

---

理論

卷積神經網絡CNN

卷積神經網絡是近年發展起來，并廣泛應用于圖像處理，NLP等領域的一種多層神經網絡。

局部感受野和權值共享

CNN通過局部感受野和權值共享減少了神經網絡需要訓練的參數個數，從而解決了傳統BP權值太多，計算量太大，需要大量樣本進行訓練的問題.

卷積計算

卷積核也叫濾波器，不同的卷積核 對 同樣的圖片做卷積之后會提取出不同的信息. 以下圖的卷積核為例，我們可以對示例Image進行卷積操作.

需要注意的是，卷積核里的參數不是人為設定的，而是算法優化得到的.

池化Pooling

Pooling常用的三種方式：

• max-pooling
• mean-pooling
• stochastic pooling

Padding

• SAME PADDING

給平面外部補0，卷積窗口采樣后可能會得到一個跟原來大小相同的平面.

• VALID PADDING

不會超出平面外部，卷積窗口采樣后得到一個比原來平面小的平面。

LeNET-5

LeNET-5是最早的卷積神經網絡之一. 下圖為LeNET-5的網絡結構.

我們可以看到通過對第3層進行卷積后，第4層得到了16幅圖. 那么第4層的16幅圖是如何計算的呢，操作如下圖所示.

代碼

初始設置

# 支持多行輸出 from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' #默認為'last'

導包

# 導入常用的包 import numpy as np from torch import nn,optim from torch.autograd import Variable from torchvision import datasets, transforms from torch.utils.data import DataLoader import torch

載入數據

# 載入數據 train_dataset = datasets.MNIST(root = './data/', # 載入的數據存放的位置train = True, # 載入訓練集數據transform = transforms.ToTensor(), # 將載入進來的數據變成Tensordownload = True) # 是否下載數據 test_dataset = datasets.MNIST(root = './data/', # 載入的數據存放的位置train = False, # 載入測試集數據transform = transforms.ToTensor(), # 將載入進來的數據變成Tensordownload = True) # 是否下載數據 # 批次大小 batch_size = 64# 裝載訓練集 train_loader = DataLoader(dataset=train_dataset,batch_size=batch_size,shuffle=True)# 裝載訓練集 test_loader = DataLoader(dataset=test_dataset,batch_size=batch_size,shuffle=True)

模型

這里我們使用具有多層網絡結構的模型，并加入Dropout操作.

# 定義網絡結構 class Net(nn.Module):def __init__(self):super(Net, self).__init__()# 定義卷積層和池化# in_channels:int, 因為是黑白圖片，所以輸入通道設置為1，如果為彩色圖像則這里為3# out_channels:int, 這里的輸出通道數也為生成的特征圖的數量，這里我們設置為32# kernel_size:int, 卷積核大小，我們設置為5# stride=1, 步長我們設置為1# padding=0, 我們設置padding為2，也就是在圖片的外圍補2圈0，這里我們要按照自己的需求自己計算# 如果想要卷積后的大小和原始圖像大小相同，則卷積核大小為3*3則填充1圈0，5*5填充2圈，7*7填充3圈.# 因為卷積不是非線性操作，所以我們在卷積后增加非線性激活函數nn.ReLU()# 在卷積后，我們增加一個2*2的池化操作self.conv1 = nn.Sequential(nn.Conv2d(1, 32, 5, 1, 2), nn.ReLU(), nn.MaxPool2d(2, 2))# 再定義一個卷積和池化self.conv2 = nn.Sequential(nn.Conv2d(32, 64, 5, 1, 2), nn.ReLU(), nn.MaxPool2d(2, 2))# 全連接# 全連接的輸入為64個大小為(7*7)的特征圖# 輸出為1000self.fc1 = nn.Sequential(nn.Linear(64*7*7, 1000), nn.Dropout(p = 0.4), nn.ReLU())# 全連接self.fc2 = nn.Sequential(nn.Linear(1000, 10),nn.Softmax(dim = 1))def forward(self, x):# ([64, 1, 28, 28])# 卷積要求的數據格式就是4維的([圖片數量, 圖片通道數, 圖片維度1， 圖片維度2])x = self.conv1(x)x = self.conv2(x)# 進入全連接層時，需要reshape# ([64, 64, 7, 7]) -> ([64, 64*7*7])x = x.view(x.size()[0], -1)x = self.fc1(x)x = self.fc2(x)return x LR = 0.0003 # 定義模型 model = Net() # 定義代價函數為交叉熵代價函數 mse_loss = nn.CrossEntropyLoss() # 定義優化器Adam optimizer = optim.Adam(model.parameters(), LR)

在自定義訓練和測試函數中，我們分別增加兩個方法，model.train()和model.eval() ，這model.train()方法可以使訓練集中的Dropout在訓練模型時發揮作用，而model.eval()則可以使模型在測試過程中不工作.

def train():model.train()for i,data in enumerate(train_loader):# 獲得一個批次的數據和標簽inputs, labels = data# 獲得模型預測結果（64,10）out = model(inputs)# 計算loss,交叉熵代價函數out(batch,C), labels(batch)loss = mse_loss(out, labels)# 梯度清0optimizer.zero_grad()# 計算梯度loss.backward()# 修改權值optimizer.step()def test():model.eval()# 計算訓練集準確率correct = 0for i,data in enumerate(train_loader):# 獲得一個批次的數據和標簽inputs, labels = data# 獲得模型預測結果（64,10）out = model(inputs)# 獲得最大值，以及最大值所在的位置_, predicted = torch.max(out, 1)# 預測正確的數量correct += (predicted == labels).sum()print("Train acc:{0}".format(correct.item()/len(train_dataset)))# 計算測試集準確率correct = 0for i,data in enumerate(test_loader):# 獲得一個批次的數據和標簽inputs, labels = data# 獲得模型預測結果（64,10）out = model(inputs)# 獲得最大值，以及最大值所在的位置_, predicted = torch.max(out, 1)# 預測正確的數量correct += (predicted == labels).sum()print("Test acc:{0}".format(correct.item()/len(test_dataset))) for epoch in range(5):print('epoch:',epoch)train()test() epoch: 0 Train acc:0.9728166666666667 Test acc:0.9755 epoch: 1 Train acc:0.9827666666666667 Test acc:0.983 epoch: 2 Train acc:0.9863 Test acc:0.9863 epoch: 3 Train acc:0.98665 Test acc:0.9842 epoch: 4 Train acc:0.99075 Test acc:0.9896

總結

以上是生活随笔為你收集整理的PyTorch基础(part7)--CNN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。