文章標(biāo)題：A Multi-Stream Bi-Directional Recurrent Neural Network for Fine-Grained Action Detection引用：Singh B, Marks T K, Jones M, et al. A multi-stream bi-directional recurrent neural network for fine-grained action detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 1961-1970.

文章鏈接：https://openaccess.thecvf.com/content_cvpr_2016/papers/Singh_A_Multi-Stream_Bi-Directional_CVPR_2016_paper.pdf

1 介紹

本文展示了一種檢測視頻中動作的方法。

定義：

1. 動作檢測：是指在一個長視頻中從時間和空間兩個維度定位已知動作集里的每個動作的每一次出現(xiàn)。這和之前研究的視頻動作分析主要集中在動作識別 (也稱作動作分類)不同。

2. 動作識別：輸入一個被剪輯的視頻段，把它分類為N個已知動作中的一個。不需要在時間維度上定位。每個輸入視頻段被剪輯為精確的包含一個動作的持續(xù)時間。而且不需要考慮視頻段可能不包含任何動作。

難點：總的來說，動作檢測更難。然而，這些困難是值得被克服的，因為動作檢測和真實世界的應(yīng)用更相關(guān)。本文關(guān)注精細的動作檢測，意味著被檢測的動作類別之間的不同很小。例如廚房中的切和剝皮。

簡要介紹本文網(wǎng)絡(luò)：作者提出的了一個多路雙向遞歸神經(jīng)網(wǎng)絡(luò)(MSB-RNN)。我們稱這個網(wǎng)絡(luò)為多路是因為開始的卷積神經(jīng)網(wǎng)絡(luò)有4路：兩路處理動作和外表信息，而每類信息又分別來自整個圖片和以人為中心的剪輯圖片。動作信息使用像素位移，或稱作像素跟蹤，而不是光流(optical flow)。輸入視頻被分割為一系列只有6幀的視頻塊。4路卷積的輸出為雙向LSTM的輸入。本文展示了在人周圍使用跟蹤邊界框的重要性。

2 網(wǎng)絡(luò)框架

我們的網(wǎng)絡(luò)框架如圖1和圖2所示。我們使用VGG訓(xùn)練4個卷積神經(jīng)網(wǎng)絡(luò)。圖1：框架。視頻塊輸入到多路網(wǎng)絡(luò)(MSN)中生成特征表示。接下來這些特征輸入雙向LSTM，用來預(yù)測動作標(biāo)簽。多路網(wǎng)絡(luò)的細節(jié)在圖2中。圖2：多路網(wǎng)絡(luò)(MSN)。網(wǎng)絡(luò)CNN-T計算像素跟蹤(動作)特征。網(wǎng)絡(luò)CNN計算RGB圖像特征。

介紹網(wǎng)絡(luò)：一個小的視頻塊包含6個連續(xù)的幀。在圖2中，其中兩個網(wǎng)絡(luò)訓(xùn)練整幀的視頻塊(分別用于圖像和動作)。另兩個網(wǎng)絡(luò)訓(xùn)練剪輯后的跟蹤邊界框。在4路網(wǎng)絡(luò)的fc7輸出層之后，學(xué)習(xí)一個fully-connected映射層整合這4個獨立網(wǎng)絡(luò)的輸出。映射層的輸出被輸入到雙向LSTM。在LSTM隱藏狀態(tài)上應(yīng)用一個fully connected層和softmax層，就可以得到對應(yīng)每個動作的中間分?jǐn)?shù)。雙向LSTM的Forward和backward都對每個動作類給出了分?jǐn)?shù)。最后，平均兩個LSTM的分?jǐn)?shù)就可以得到每個動作的最后分?jǐn)?shù)。在訓(xùn)練長序列時，back-propagation只能完成固定步數(shù)，所以我們保留前一個視頻的最后一個隱藏狀態(tài)作為下一個視頻隱藏狀態(tài)的初始值。

選擇人體追蹤的原因：我們需要獲取空間和長時間的時序信息。人體追蹤移除了位置方差，所以更容易學(xué)習(xí)。有些動作是依賴所處的位置的。對于靜止相機的畫面，這些動作永遠發(fā)生在相同的圖片位置。例如洗刷永遠在水槽附近。正是由于這個原因，我們?yōu)橄袼馗櫤蛨D像訓(xùn)練了兩個獨立的神經(jīng)網(wǎng)絡(luò)。像素跟蹤中每一個像素點在視頻塊的幾幀中都位于相同位置。這個排列使像素跟蹤可以比堆疊光流獲取更豐富的信息。

2.1 跟蹤方法

任何好的人體跟蹤算法都可以提供邊界框。我們使用一個簡單的基于狀態(tài)的跟蹤。保持邊界框的大小不變，更新邊界框的位置使邊界框內(nèi)的流強度保持最大。

2.2 訓(xùn)練光流網(wǎng)絡(luò)

選擇像素跟蹤的原因：在堆疊光流中，畫面上一個移動點的動作向量改變這個點在每幀中的位置。因此為了分類一個動作，卷積網(wǎng)絡(luò)需要學(xué)習(xí)光流的空間移動，需要更多的參數(shù)和數(shù)據(jù)。一個表示視頻幀移動的替代方法是計算從中間幀 t 到它前K幀和后K幀的光流。我們稱這種表示為像素跟蹤，如圖3所示。圖3：中間行的方塊表示圖像序列，箭頭表示光流計算的一對圖像。第一行計算像素跟蹤中光流的y值；第三行計算堆疊光流的y值。在像素跟蹤中，只有強度改變，圖像的空間格局保持不變，因此一個時序上卷積層就足夠用來學(xué)習(xí)動作特征。在堆疊光流中，剪影向左上方移動。

如何通過像素跟蹤生成動作信息：在所有2K幀中，每個點到t幀上的對應(yīng)點的光流值都位于t幀上點的位置。在圖3第一行，只有光流圖像的強度改變。因此，對比堆疊光流，網(wǎng)絡(luò)更容易學(xué)習(xí)每個像素的時序濾波器。

為了學(xué)習(xí)每個像素的動作模式，使用一個1*2K的卷積核生成每個像素點移動的特征映射。而堆疊光流的網(wǎng)絡(luò)不能在第一個卷積層學(xué)習(xí)那些在2K幀內(nèi)移動超過3個像素的像素點的動作模式。

2.3 訓(xùn)練雙向LSTM網(wǎng)絡(luò)

輸入：

RNN隱藏狀態(tài)：

輸出：

通過下面遞歸方程迭代：

，

是激活函數(shù)(activation function)

是映射輸入到隱藏狀態(tài)的權(quán)值矩陣。

是相鄰時間隱藏狀態(tài)間的轉(zhuǎn)換矩陣。

是映射隱藏狀態(tài)到輸出的矩陣。

和

是偏差項。

LSTM的權(quán)值更新方程為：

這些參數(shù)的定義都和標(biāo)準(zhǔn)的LSTM相同，

分別是input gate, forget gate, output gate, memory cell向量。

動作檢測選擇LSTM的原因：

1. 在動作識別數(shù)據(jù)中，視頻段被剪輯后只包含一個動作，通常很短(2-20秒)。因此，沒有足夠的上下文可以通過LSTM學(xué)習(xí)。而長時間的上下文學(xué)習(xí)可以包含一些特性，比如動作持續(xù)時間，接下來是哪個動作等。所以LSTM更適合我們現(xiàn)在的任務(wù)。

2. 動作識別只分配一個標(biāo)簽給一個視頻，假設(shè)一個視頻有100幀，就算只有50幀預(yù)測正確，這個視頻也會得到正確的動作識別結(jié)果。而動作檢測需要給每幀分配一個標(biāo)簽。如果50個預(yù)測正確的幀不連續(xù)，將產(chǎn)生很多動作段，而只有其中一段能被分配正確的標(biāo)簽，其他都是false positive。雙向LSTM更傾向于生成連續(xù)的動作段，因此，有較少的false positives。然而，LSTM對動作識別沒有任何幫助。

結(jié)尾：本文是2016年的CVPR，輸出是對視頻的每一幀都預(yù)測了動作標(biāo)簽，和我們定義的Action Segmentation相似。但是還是延續(xù)之前Action Recognition的做法對視頻分塊處理，感覺像是兩者之間的過渡。隨后幾年的文章則是直接使用視頻特征設(shè)計神經(jīng)網(wǎng)絡(luò)。繼續(xù)閱讀，期待下一篇。

歡迎關(guān)注，每天一起學(xué)習(xí)視頻動作檢測和動作分割的知識

總結(jié)

以上是生活随笔為你收集整理的双向卷积神经网络_一个用于精细动作检测的多路双向递归神经网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。