問題描述

此次作業需要處理的任務在之前的任務中出現過：完成一個多分類器，識別圖像中手勢代表的數字：

與之前作業不同的是，需要在神經網絡中加入卷積層（CONV）和池化層（POOL）,神經網絡的大致結構為：

CONV2D -> RELU -> MAXPOOL -> CONV2D -> RELU -> MAXPOOL -> FLATTEN -> FULLCONNECTED

import torch import h5py import numpy as np from torch import nn from torch.utils.data import DataLoader, TensorDataset from torch.utils.tensorboard import SummaryWriterwriter = SummaryWriter('logs')

1 - 數據預處理

讀取數據并創建數據接口。

Hint：TensorDataset 可以用來對 tensor 進行打包，就好像 python 中的 zip 功能。該類通過每一個 tensor 的第一個維度進行索引。因此，該類中的 tensor 第一維度必須相等。

def load_dataset():# 讀取數據train_dataset = h5py.File('datasets/train_signs.h5', 'r')train_set_x_orig = torch.tensor(train_dataset['train_set_x'][:])train_set_y_orig = torch.tensor(train_dataset['train_set_y'][:])test_dataset = h5py.File('datasets/test_signs.h5', 'r')test_set_x_orig = torch.tensor(test_dataset['test_set_x'][:])test_set_y_orig = torch.tensor(test_dataset['test_set_y'][:])# 數據歸一化train_set_x = train_set_x_orig.permute(0, 3, 1, 2) / 255test_set_x = test_set_x_orig.permute(0, 3, 1, 2) / 255return train_set_x, train_set_y_orig, test_set_x, test_set_y_orig def data_loader(X, Y, batch_size=64):# 創建數據接口dataset = TensorDataset(X, Y)return DataLoader(dataset, batch_size, shuffle=True) train_x, train_y, test_x, test_y = load_dataset() print(f'train_x.shape = {train_x.shape}') print(f'train_y.shape = {train_y.shape}') print(f'test_x.shape = {test_x.shape}') print(f'test_y.shape = {test_y.shape}')

可以看到對應的數據形狀。
注意：數據歸一化時進行了維度變換，因為Conv2d的輸入數據格式為$(N,C_{in},H_{in},W_{in})$

2 - 模型封裝

將整個神經網絡封裝成類CNN，包含兩個卷積層和一個全連接層，卷積層的操作包括：卷積，非線性激活和最大池化。
前向傳播函數forward中，依次計算各層的輸出，需要注意的是第二層卷積層的輸出送到全連接層之前需要進行維度變化，將單個樣本轉換成一維向量。

注意:前向傳播時不需要經過softmax層，因為損失函數包含softmax的功能。

由于Pytorch的padding沒有SAME模式，因此模型構建根據自己的設計進行更改，使用到的數學公式如下：
$$H_{out}\times W_{out}=?\frac{H_{in}+2p?f}{2}+1?\times ?\frac{W_{in}+2p?f}{2}+1?$$

具體的CNN網絡框架如下圖所示：

class CNN(nn.Module):def __init__(self) -> None:super().__init__()self.conv1 = nn.Sequential( # Layer 1, input: (3, 64, 64)nn.Conv2d(in_channels=3, out_channels=8, kernel_size=3, stride=1, padding=1),nn.ReLU(),nn.MaxPool2d(kernel_size=4, stride=4, padding=0))self.conv2 = nn.Sequential( # Layer 2nn.Conv2d(in_channels=8, out_channels=16, kernel_size=5, stride=1, padding=2),nn.ReLU(),nn.MaxPool2d(kernel_size=4, stride=4, padding=0))self.fc = nn.Linear(16 * 4 * 4, 6)self.softmax = nn.Softmax(dim=1)def forward(self, x):x = self.conv1(x)x = self.conv2(x)# 展平x = x.reshape(x.shape[0], -1)x = self.fc(x)return xdef predict(self, x):output = self.forward(x)pred = self.softmax(output)return torch.max(pred, dim=1)[1]

3 - 構建訓練模型

def model(train_x, train_y, lr = 0.0009, epochs = 100, batch_size = 64, pc = True):cnn = CNN()# 加載數據train_loader = data_loader(train_x, train_y)# 使用交叉熵損失函數，包含softmaxloss_fn = nn.CrossEntropyLoss()# 使用Adam優化算法optimizer = torch.optim.Adam(cnn.parameters(), lr=lr)# 迭代更新for e in range(epochs):epoch_cost = 0for step, (batch_x, batch_y) in enumerate(train_loader):# 前向傳播y_pred = cnn.forward(batch_x)# 損失函數loss = loss_fn(y_pred, batch_y)epoch_cost += loss# 梯度歸零optimizer.zero_grad()# 反向傳播loss.backward()# 更新參數optimizer.step()epoch_cost /= step + 1if e % 5 == 0:writer.add_scalar(tag=f'CNN-lr={lr},epochs={epochs}', scalar_value=epoch_cost, global_step=e)if pc:print(f'epoch={e},loss={epoch_cost}')# 評估準確度y_pred = cnn.predict(train_x)print(f'Train Accuracy: {torch.sum(y_pred == train_y) / y_pred.shape[0] * 100:.2f}%')# 保存學習后的參數torch.save(cnn.state_dict(), 'cnn_params.pkl')print('參數已保存到本地pkl文件')return cnn cnn = model(train_x, train_y, epochs=200)

損失函數圖像如下

對模型進行評估

train_pred = cnn.predict(train_x) test_pred = cnn.predict(test_x) print(f'Test Accuracy: {torch.sum(train_pred == train_y) / train_pred.shape[0] * 100:.2f}%') print(f'Test Accuracy: {torch.sum(test_pred == test_y) / test_pred.shape[0] * 100:.2f}%')

參考：實現卷積神經網絡：吳恩達Course 4-卷積神經網絡-week1作業 pytorch版

總結

以上是生活随笔為你收集整理的吴恩达深度学习C4W1（Pytorch）实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。