目錄

加載和預處理數據

轉換數據

數據加載器和數據可視化

定義模型

最終分類器層

指定損失函數和優化器

訓練

測試

可視化樣本測試結果

---

大多數時候，你不會想自己訓練一個完整的卷積網絡。像ImageNet這樣的大型數據集上的現代卷積網絡訓練需要在多個gpu上花費數周時間。

作為替代，大多數人使用預先訓練好的網絡作為固定的特征提取器，或者作為初始網絡進行微調。

在本筆記本中，您將使用在ImageNet數據集上訓練的VGGNet作為特征提取器。下面是VGGNet體系結構的示意圖，有一系列卷積層和最大池層，最后是三個完全連接的層，它們對ImageNet數據庫中的1000個類進行了分類。

VGGNet之所以偉大，是因為它簡單且性能優異，在ImageNet的競爭中曾名列第二。這里的想法是我們保留所有的卷積層，但是用我們自己的分類器替換最后一個完全連接的層。通過這種方式，我們可以使用VGGNet作為圖像的固定特征提取器，然后在此基礎上輕松地訓練一個簡單的分類器。

• 使用除最后一個全連接層以外的所有層作為固定的特征提取器。
• 定義一個新的、最終的分類層，并將其應用到我們選擇的任務中！

你可以從CS231n斯坦福課程筆記中關于遷移學習的內容。

這里我們將使用VGGNet對花的圖像進行分類。我們將像往常一樣，從導入我們通常的數據集開始。然后檢查是否可以在GPU上訓練我們的模型。

加載和預處理數據

我們將使用PyTorch的ImageFolder類，這使得從目錄加載數據非常容易。例如，訓練圖像都存儲在如下目錄路徑中：

其中，在本例中，training的根文件夾是flower_photos/train/，類別名是花類型的名稱。

轉換數據

當我們進行遷移學習時，我們必須將輸入數據改造成預先訓練好的模型所期望的形狀。VGG16需要224維度的正方形圖像作為輸入，因此，我們調整每個花圖像的大小以適應這個模型。

數據加載器和數據可視化

定義模型

為了定義一個訓練模型，我們將遵循以下步驟：

• 1.加載一個預先訓練過的VGG16模型
• 2.凍結所有參數，使網絡充當一個固定的特征提取器
• 3.刪除最后一層
• 4.用我們自己的線性分類器替換最后一層

凍結僅僅意味著預訓練模型中的參數在訓練過程中不會改變。

打印結果：

Downloading: "https://download.pytorch.org/models/vgg16-397923af.pth" to C:\Users\yinm/.cache\torch\hub\checkpoints\vgg16-397923af.pth
100%|██████████| 528M/528M [03:56<00:00, 2.34MB/s]
VGG((features): Sequential((0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(1): ReLU(inplace=True)(2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(3): ReLU(inplace=True)(4): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(5): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(6): ReLU(inplace=True)(7): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(8): ReLU(inplace=True)(9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(10): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(11): ReLU(inplace=True)(12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(13): ReLU(inplace=True)(14): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(15): ReLU(inplace=True)(16): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(17): Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(18): ReLU(inplace=True)(19): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(20): ReLU(inplace=True)(21): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(22): ReLU(inplace=True)(23): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)(24): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(25): ReLU(inplace=True)(26): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(27): ReLU(inplace=True)(28): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(29): ReLU(inplace=True)(30): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False))(avgpool): AdaptiveAvgPool2d(output_size=(7, 7))(classifier): Sequential((0): Linear(in_features=25088, out_features=4096, bias=True)(1): ReLU(inplace=True)(2): Dropout(p=0.5, inplace=False)(3): Linear(in_features=4096, out_features=4096, bias=True)(4): ReLU(inplace=True)(5): Dropout(p=0.5, inplace=False)(6): Linear(in_features=4096, out_features=1000, bias=True))
)

最終分類器層

您可以通過名稱和（有時）編號訪問預訓練網絡中的任何層，例如：vgg16.classifier[6]是名為 “classifier” 層組中的第六層。

TODO:將最后一個全連接的層替換為適當數量的類輸出層。

指定損失函數和優化器

下面我們將使用交叉熵損失和小學習率的隨機梯度下降。注意，優化器只接受可訓練參數vgg.classifier.parameters（）作為輸入。

訓練

在這里，我們將訓練網絡。

練習：到目前為止，我們已經為您提供了訓練代碼。在這里，我將給你一個更大的挑戰，讓你寫代碼來訓練網絡。當然，如果你需要幫助，你可以看到我的解決方案。

# number of epochs to train the model
n_epochs = 2## TODO complete epoch and training batch loops
## These loops should update the classifier-weights of this model
## And track (and print out) the training loss over timefor epoch in range(1, n_epochs + 1):train_loss = 0.0 # 每n個batch的平均損失for batch_i, (data, target) in enumerate(train_loader):if train_on_gpu:data, target = data.cuda(), target.cuda()optimizer.zero_grad() #清除優化器中梯度output = vgg16(data) #前向傳播loss = criterion(output, target)#計算損失loss.backward() #反向傳播optimizer.step() # 參數更新train_loss += loss.item() #累計本批次損失if batch_i % 20 == 19:print('Epoch %d, Batch %d loss: %.16f' % (epoch, batch_i + 1, train_loss/20))train_loss = 0.0

結果：

測試

下面是每個flower類的測試精度。

# track test loss 
# over 5 flower classes
test_loss = 0.0
class_correct = list(0. for i in range(5))
class_total = list(0. for i in range(5))vgg16.eval() # eval mode# iterate over test data
for data, target in test_loader:# move tensors to GPU if CUDA is availableif train_on_gpu:data, target = data.cuda(), target.cuda()# forward pass: compute predicted outputs by passing inputs to the modeloutput = vgg16(data)# calculate the batch lossloss = criterion(output, target)# update  test loss test_loss += loss.item()*data.size(0)# convert output probabilities to predicted class_, pred = torch.max(output, 1)    # compare predictions to true labelcorrect_tensor = pred.eq(target.data.view_as(pred))correct = np.squeeze(correct_tensor.numpy()) if not train_on_gpu else np.squeeze(correct_tensor.cpu().numpy())# calculate test accuracy for each object classfor i in range(batch_size):if i >= len(target): #防止最后一個batch不夠20個。continuelabel = target.data[i]class_correct[label] += correct[i].item()class_total[label] += 1# calculate avg test loss
test_loss = test_loss/len(test_loader.dataset)
print('Test Loss: {:.6f}\n'.format(test_loss))for i in range(5):if class_total[i] > 0:print('Test Accuracy of %5s: %2d%% (%2d/%2d)' % (classes[i], 100 * class_correct[i] / class_total[i],np.sum(class_correct[i]), np.sum(class_total[i])))else:print('Test Accuracy of %5s: N/A (no training examples)' % (classes[i]))print('\nTest Accuracy (Overall): %2d%% (%2d/%2d)' % (100. * np.sum(class_correct) / np.sum(class_total),np.sum(class_correct), np.sum(class_total)))

結果：

可視化樣本測試結果

?

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的优达学城《DeepLearning》2-2：迁移学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。