1、3D卷積t簡介

2、C3D模型原理與PyTorch實現

????2.1、C3D模型結構

????2.2、C3D視頻動作識別（附PyTorch代碼）

????2.3、測試結果

參考

?

1、3D卷積的簡介

????在圖像處理領域，被卷積的都是靜態圖像，所以使用2D卷積網絡就足以。而在視頻理解領域，為了同時保留時序信息，就需要同時學習時空特征，如果用2DCNN來處理視頻，那么將不能考慮編碼在連續多幀之間的運動信息，而C3D網絡就在這樣的背景下橫空出世了。

?

??? 3D convolution 最早應該是在“3D convolutional neural networks for human action”中被提出并用于行為識別的。該論文提出的模型嘗試從空間和時間維度中提取特征，從而捕獲在多個相鄰幀中編碼的運動信息。

?

主要貢獻如下：

?

??? 1、我們提出應用3D卷積運算從視頻數據中提取空間和時間特征以進行動作識別。這些3D特征提取器在空間和時間維度上操作，從而捕獲視頻流中的運動信息。

?

??? 2、我們開發了基于3D卷積特征提取器的3D卷積神經網絡架構。該CNN架構從相鄰視頻幀生成多個信息信道，并在每個信道中分別執行卷積和子采樣。最終的特征表示是通過組合所有頻道的信息獲得的。

?

??? 3、我們提出通過增加具有作為高級運動特征計算的輔助輸出的模型來規范3D CNN模型。我們進一步提出通過組合各種不同架構的輸出來提高3D CNN模型的性能。

?

具體操作：通過同時堆疊多個連續幀形成的立方體與一個3D核進行卷積。通過這個構建，卷積層上的特征圖連接到了前一層的多個連續幀，從而捕捉動作信息。

?

?

2、C3D模型原理與PyTorch實現

2.1、C3D模型結構

?

?

? ? 3D ConvNets 更適合學習時空特征，通過3D卷積和3D池化，可以對時間信息建模，而2D卷積只能在空間上學習特征。3D和2D的區別如下：

?

????2D卷積網絡輸入圖像會產生圖像，輸入視頻輸出的也是圖像，3D卷積網絡輸入視頻會輸出另外一個視頻，保留輸入的時間信息。

2D和3D卷積運算。a)在一個圖像上應用2D卷積會產生一個圖像。b)在視頻卷上應用2D卷積(多個幀作為多個通道)也會產生一個圖像。c)在視頻卷上應用3D卷積可產生另一個卷，保留輸入信號的時間信息。

?

3D卷積核時間深度搜索。不同卷積核時間深度設置在UCF101測試集split-1上的精度。2D ConvNet效果最差，3×3×3卷積核的3D ConvNet在實驗中表現最佳。

?

結構如下圖：

C3D架構。C3D網絡有8個卷積層，5個最大池化層和2個全連接層，最后是softmax輸出層。所有的3D卷積核都是3×3×3，在空間和時間上都有步長1。濾波器的數量表示在每個框中。3D池化層由pool1到pool5表示。所有池化核為2×2×2，除了pool1為1×2×2。每個全連接層有4096個輸出單元。

?

網絡架構：上圖的發現表明，3×3×3卷積核的均勻設置是3D ConvNets的最佳選擇。這個發現與2D ConvNets一致。使用大型數據集，可以根據機器內存限制和計算承受能力，盡可能深入地訓練具有3×3×3核的3D ConvNet。使用目前的GPU內存，我們設計了3D ConvNet，具有8個卷積層、5個池化層、兩個全連接層，以及一個softmax輸出層。網絡架構如圖3所示。為了簡單起見，我們從現在開始將這個網絡稱為C3D。所有3D卷積濾波器均為3×3×3，步長為1×1×1。為了保持早期的時間信息設置pool1核大小為1×2×2、步長1×2×2，其余所有3D池化層均為2×2×2，步長為2×2×2。每個全連接層有4096個輸出單元。

import torchimport torch.nn as nnfrom mypath import Pathclass C3D(nn.Module): """ The C3D network. """ def __init__(self, num_classes, pretrained=False): super(C3D, self).__init__() self.conv1 = nn.Conv3d(3, 64, kernel_size=(3, 3, 3), padding=(1, 1, 1)) self.pool1 = nn.MaxPool3d(kernel_size=(1, 2, 2), stride=(1, 2, 2)) self.conv2 = nn.Conv3d(64, 128, kernel_size=(3, 3, 3), padding=(1, 1, 1)) self.pool2 = nn.MaxPool3d(kernel_size=(2, 2, 2), stride=(2, 2, 2)) self.conv3a = nn.Conv3d(128, 256, kernel_size=(3, 3, 3), padding=(1, 1, 1)) self.conv3b = nn.Conv3d(256, 256, kernel_size=(3, 3, 3), padding=(1, 1, 1)) self.pool3 = nn.MaxPool3d(kernel_size=(2, 2, 2), stride=(2, 2, 2)) self.conv4a = nn.Conv3d(256, 512, kernel_size=(3, 3, 3), padding=(1, 1, 1)) self.conv4b = nn.Conv3d(512, 512, kernel_size=(3, 3, 3), padding=(1, 1, 1)) self.pool4 = nn.MaxPool3d(kernel_size=(2, 2, 2), stride=(2, 2, 2)) self.conv5a = nn.Conv3d(512, 512, kernel_size=(3, 3, 3), padding=(1, 1, 1)) self.conv5b = nn.Conv3d(512, 512, kernel_size=(3, 3, 3), padding=(1, 1, 1)) self.pool5 = nn.MaxPool3d(kernel_size=(2, 2, 2), stride=(2, 2, 2), padding=(0, 1, 1)) self.fc6 = nn.Linear(8192, 4096) self.fc7 = nn.Linear(4096, 4096) self.fc8 = nn.Linear(4096, num_classes) self.dropout = nn.Dropout(p=0.5) self.relu = nn.ReLU() self.__init_weight() if pretrained: self.__load_pretrained_weights() def forward(self, x): # print ('1:',x.size()) x = self.relu(self.conv1(x)) # print ('2:',x.size()) x = self.pool1(x) # print ('3:',x.size()) x = self.relu(self.conv2(x)) # print ('4:',x.size()) x = self.pool2(x) # print ('5:',x.size()) x = self.relu(self.conv3a(x)) # print ('6:',x.size()) x = self.relu(self.conv3b(x)) # print ('7:',x.size()) x = self.pool3(x) # print ('8:',x.size()) x = self.relu(self.conv4a(x)) # print ('9:',x.size()) x = self.relu(self.conv4b(x)) # print ('10:',x.size()) x = self.pool4(x) # print ('11:',x.size()) x = self.relu(self.conv5a(x)) # print ('12:',x.size()) x = self.relu(self.conv5b(x)) # print ('13:',x.size()) x = self.pool5(x) # print ('14:',x.size()) x = x.view(-1, 8192) # print ('15:',x.size()) x = self.relu(self.fc6(x)) # print ('16:',x.size()) x = self.dropout(x) x = self.relu(self.fc7(x)) x = self.dropout(x) logits = self.fc8(x) # print ('17:',logits.size()) return logits def __load_pretrained_weights(self): """Initialiaze network.""" corresp_name = { # Conv1 "features.0.weight": "conv1.weight", "features.0.bias": "conv1.bias", # Conv2 "features.3.weight": "conv2.weight", "features.3.bias": "conv2.bias", # Conv3a "features.6.weight": "conv3a.weight", "features.6.bias": "conv3a.bias", # Conv3b "features.8.weight": "conv3b.weight", "features.8.bias": "conv3b.bias", # Conv4a "features.11.weight": "conv4a.weight", "features.11.bias": "conv4a.bias", # Conv4b "features.13.weight": "conv4b.weight", "features.13.bias": "conv4b.bias", # Conv5a "features.16.weight": "conv5a.weight", "features.16.bias": "conv5a.bias", # Conv5b "features.18.weight": "conv5b.weight", "features.18.bias": "conv5b.bias", # fc6 "classifier.0.weight": "fc6.weight", "classifier.0.bias": "fc6.bias", # fc7 "classifier.3.weight": "fc7.weight", "classifier.3.bias": "fc7.bias", } p_dict = torch.load(Path.model_dir()) s_dict = self.state_dict() for name in p_dict: if name not in corresp_name: continue s_dict[corresp_name[name]] = p_dict[name] self.load_state_dict(s_dict) def __init_weight(self): for m in self.modules(): if isinstance(m, nn.Conv3d): # n = m.kernel_size[0] * m.kernel_size[1] * m.out_channels # m.weight.data.normal_(0, math.sqrt(2. / n)) torch.nn.init.kaiming_normal_(m.weight) elif isinstance(m, nn.BatchNorm3d): m.weight.data.fill_(1) m.bias.data.zero_()def get_1x_lr_params(model): """ This generator returns all the parameters for conv and two fc layers of the net. """ b = [model.conv1, model.conv2, model.conv3a, model.conv3b, model.conv4a, model.conv4b, model.conv5a, model.conv5b, model.fc6, model.fc7] for i in range(len(b)): for k in b[i].parameters(): if k.requires_grad: yield kdef get_10x_lr_params(model): """ This generator returns all the parameters for the last fc layer of the net. """ b = [model.fc8] for j in range(len(b)): for k in b[j].parameters(): if k.requires_grad: yield kif __name__ == "__main__": inputs = torch.rand(1, 3, 16, 112, 112) net = C3D(num_classes=101, pretrained=True) outputs = net.forward(inputs)????print(outputs.size())

C3D卷積網絡將完整的視頻幀作為輸入，并不依賴于任何處理，可以輕松地擴展到大數據集。

?

2.2、C3D視頻動作識別

?

?

2.2.1、UCF101數據集

?

?

?

數據集由101個人類動作類別的13,320個視頻組成。我們使用此數據集提供的三個拆分設置。

train_dataloader = DataLoader(VideoDataset(dataset=dataset, split='train', clip_len=16), batch_size=4, shuffle=True, num_workers=0) val_dataloader = DataLoader(VideoDataset(dataset=dataset, split='val', clip_len=16), batch_size=4, num_workers=0) test_dataloader = DataLoader(VideoDataset(dataset=dataset, split='test', clip_len=16), batch_size=4, num_workers=0) trainval_loaders = {'train': train_dataloader, 'val': val_dataloader} trainval_sizes = {x: len(trainval_loaders[x].dataset) for x in ['train', 'val']} test_size = len(test_dataloader.dataset)

?

2.2.2、分類模型

?

?

?

提取C3D特征并將其輸入到用于訓練模型

?

2.3、測試結果

?

?

?

參考：

https://www.jianshu.com/p/09d1d8ffe8a4

https://zhuanlan.zhihu.com/p/61570133

?

關注公眾號，回復【C3D】即可獲得完整的項目代碼以及文檔說明。

?

注意：數據集為UCF101數據集，可以自行下載。

?

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的pyTorch实现C3D模型的视频行为识别实践的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。