【pytorch torchvision源码解读系列—1】Alexnet
最近開始學習一個新的深度學習框架PyTorch。
框架中有一個非常重要且好用的包:torchvision,顧名思義這個包主要是關于計算機視覺cv的。這個包主要由3個子包組成,分別是:torchvision.datasets、torchvision.models、torchvision.transforms。
具體介紹可以參考官網(wǎng):https://pytorch.org/docs/master/torchvision
具體代碼可以參考github:https://github.com/pytorch/vision
torchvision.models這個包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用經(jīng)典的網(wǎng)絡結構,并且提供了預訓練模型,可以通過簡單調(diào)用來讀取網(wǎng)絡結構和預訓練模型。
今天我們來解讀一下Alexnet的源碼實現(xiàn)。如果對AlexNet不是很了解 可以查看這里的論文筆記https://blog.csdn.net/sinat_33487968/article/details/83543406
如何使用呢?
import torchvision model = torchvision.models.Alexnet(pretrained=True)這樣就可以獲得網(wǎng)絡的結構了,pretrained參數(shù)的意思是是否預訓練,如果為True就會從網(wǎng)上下載好已經(jīng)訓練參數(shù)的模型。改參數(shù)默認是False。
import torch.utils.model_zoo as model_zoo__all__ = ['AlexNet', 'alexnet']model_urls = {'alexnet': 'https://download.pytorch.org/models/alexnet-owt-4df8aa71.pth', }首先是導入必要的庫,其中model_zoo是和導入預訓練模型相關的包,另外all變量定義了可以從外部import的函數(shù)名或類名。這也是前面為什么可以用torchvision.models.alexnet()來調(diào)用的原因。model_urls這個字典是預訓練模型的下載地址。
接下來就是Alexnet這個類
class AlexNet(nn.Module):def __init__(self, num_classes=1000):super(AlexNet, self).__init__()self.feature = nn.Sequential(nn.Conv2d(3, 64, kernel_size=11, stride=4, padding=2),nn.ReLU(inplace=True), # inplace為True,將會改變輸入的數(shù)據(jù) ,否則不會改變原輸入,只會產(chǎn)生新的輸出nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(64, 192, kernel_size=5, padding=2),nn.ReLU(inplace=True),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(192, 384, kernel_size=3, padding=1),nn.ReLU(inplace=True),nn.Conv2d(384, 256, kernel_size=3, padding=1),nn.ReLU(inplace=True),nn.Conv2d(256, 256, kernel_size=3, padding=1),nn.ReLU(inplace=True),nn.MaxPool2d(kernel_size=3, stride=2),)self.classifer = nn.Sequential(nn.Dropout(),nn.Linear(256 * 6 * 6, 4096),nn.ReLU(inplace=True),nn.Dropout(),nn.Linear(4096, 4096),nn.ReLU(inplace=True),nn.Linear(4096, num_classes),)def forward(self, x):x = self.feature(x)x = x.view(x.size(0), 256 * 6 * 6) # reshapex = self.classifer(x)return xAlexNet網(wǎng)絡是通過AlexNet這個類實例化的。首先還是繼承PyTorch中網(wǎng)絡的基類:torch.nn.Module,其次主要的是重寫初始化__init__和forward方法。在初始化__init__中主要是定義一些層的參數(shù)。forward方法中主要是定義數(shù)據(jù)在層之間的流動順序,也就是層的連接順序。基本上就是五層卷積加上三層全連接(不算relu和max max pooling)。注意到ReLU的inplace為True,將會改變輸入的數(shù)據(jù) ,否則不會改變原輸入,只會產(chǎn)生新的輸出。而?x = x.view(x.size(0), 256 * 6 * 6) ?的意思是reshape卷積層得到的結果,為了匹配后面的全連接層。
具體結構可以參照下圖:
最后呈現(xiàn)上源碼
import torch.nn as nn import torch.utils.model_zoo as model_zoo__all__ = ['Alexnet', 'alexnet']model_urls = {'alexnet': 'https://download.pytorch.org/models/alexnet-owt-4df8aa71.pth', }class AlexNet(nn.Module):def __init__(self, num_classes=1000):super(AlexNet, self).__init__()self.feature = nn.Sequential(nn.Conv2d(3, 64, kernel_size=11, stride=4, padding=2),nn.ReLU(inplace=True), # inplace為True,將會改變輸入的數(shù)據(jù) ,否則不會改變原輸入,只會產(chǎn)生新的輸出nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(64, 192, kernel_size=5, padding=2),nn.ReLU(inplace=True),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(192, 384, kernel_size=3, padding=1),nn.ReLU(inplace=True),nn.Conv2d(384, 256, kernel_size=3, padding=1),nn.ReLU(inplace=True),nn.Conv2d(256, 256, kernel_size=3, padding=1),nn.ReLU(inplace=True),nn.MaxPool2d(kernel_size=3, stride=2),)self.classifer = nn.Sequential(nn.Dropout(),nn.Linear(256 * 6 * 6, 4096),nn.ReLU(inplace=True),nn.Dropout(),nn.Linear(4096, 4096),nn.ReLU(inplace=True),nn.Linear(4096, num_classes),)def forward(self, x):x = self.feature(x)x = x.view(x.size(0), 256 * 6 * 6) # reshapex = self.classifer(x)return xdef alexnet(pretrained = False,**kwargs):r"""AlexNet model architecture from the"One werid trick..."<https://arxiv.org/abs/1404.5997>_papper.Args:pretrained(bool):if True,returns a model pre-trained on ImagetNet"""model = AlexNet(**kwargs)if pretrained:model.load_state_dict(model_zoo.load_url(model_urls['alexnet']))return modelif __name__ == '__main__':alexnet()?
總結
以上是生活随笔為你收集整理的【pytorch torchvision源码解读系列—1】Alexnet的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ubuntu14/ubuntu16/ce
- 下一篇: 動詞文型調査