代碼地址code
文章地址Object Detection from Video Tubelets with Convolutional Neural Networks

這篇是港大的Kai Kang 16年發(fā)表在CVPR上的，講了視頻中的目標檢測。這篇是我畢設(shè)要看的論文，并且我也沒有看到有好的翻譯，大多數(shù)是Tubelets with Convolutional Neural Networks for Object Detection from Videos這篇文章的翻譯，所以這篇應(yīng)該屬于翻譯類別。這個tubelet我不知道怎么翻譯，查看了csdn上的一些博客都沒有介紹，這里直接用英文了。最后的Results和conclusion就不翻譯了。

1. Introduction

深度學習被廣泛運用在圖像識別、目標檢測、語義分割、人體姿態(tài)估計等方面，在過去的幾年中，得益于深度卷積神經(jīng)網(wǎng)絡(luò)deep CNN的發(fā)展，目標檢測在ImageNet和PASCAL VOC等數(shù)據(jù)集上都取得了很好的成績。最新的方法可以訓練CNN以將目標區(qū)域object proposals進行分類，但是這些方法都是關(guān)注靜態(tài)圖像的檢測，之后出現(xiàn)的ImageNet比賽提出了新的問題：如何高效魯棒的解決視頻VID中的目標檢測問題？對于視頻中的每一幀，都要求對其中的目標進行標注并得到確信值。盡管已經(jīng)有了許多方法進行視頻檢測，但是很多都只針對于一種分類，比如行人或者車輛，而ImageNet卻要求檢測出值得進一步研究的所有目標群體。就像靜態(tài)圖像的目標檢測可以幫助其他識別任務(wù)一樣，在視頻中的目標檢測也可以提高視頻分類、視頻抓取和其他相關(guān)工作的性能，通過對視頻中目標的定位和分析，視頻的語義semantic會更加清晰，得到更加魯棒的性能。
現(xiàn)有的方法沒有辦法解決這個問題，因為視頻中的目標會有很大的變動。比如在Figure 1 (a)中，如果一只貓先面對鏡頭然后轉(zhuǎn)身背對鏡頭，它背面的圖像可能不會被識別成貓，因為背面包含的信息很少，不適合用作訓練樣本。正確的結(jié)果應(yīng)該是根據(jù)視頻上下幀的信息推斷的，因為視頻中的目標是有連續(xù)性的。由于視頻中目標的位置是變化的，相關(guān)的圖像應(yīng)該有一條軌跡，從這個軌跡中我們可以得到時間上的信息。同時，檢測結(jié)果的時間連續(xù)性應(yīng)該被調(diào)整，因為目標bounding-box tubelet的檢測值detection score不應(yīng)該有劇烈的波動（Figure 1 (a)）。
這些問題要求我們將目標跟蹤object tracking融入目標檢測中，deep CNN在這項任務(wù)上表現(xiàn)很好，大量的檢測方法表明時間信息可以應(yīng)用在校準檢測結(jié)果上。但是，直接在VID上應(yīng)用目標跟蹤并不能很好的解決這個問題（Figure 1 (b)），在實驗中，我們注意到在目標跟蹤上直接應(yīng)用靜態(tài)圖像目標檢測只有37.4%的mAP，相較于45.3%mAP的object proposals來說可以說并不好。這種問題產(chǎn)生的原因是由于檢測器對位置改變的敏感度和bounding box在軌跡和proposals之間的匹配出現(xiàn)錯誤。為了解決這個問題，我們應(yīng)用一個tubelet box perturbation和最大池化過程，將mAP提高到45.2%，僅用1/38的邊框就可以得到和object proposals同樣的準確率。

在此，我們建造了一個基于deep CNN的檢測和跟蹤的多層級的框架，主要有兩個模塊：1、一個結(jié)合了目標檢測和目標跟蹤的tubelet proposal模塊。2、一個tubelet classification and re-scoring模塊，這個模塊用空間最大池化spatial max pooling來得到魯棒的邊框得分，用時間卷積temporal convolution來得到時間上的連續(xù)性。檢測和跟蹤是緊密結(jié)合的：一方面，目標檢測可以使跟蹤變得高信，而且可以減少空間最大池化的的跟蹤失敗率；另一方面，跟蹤也可以為檢測指明新的候選區(qū)域。
這篇論文的貢獻有三個方面：1、建立了一個上述的多層級架構(gòu)；2、分析了靜態(tài)目標檢測和目標跟蹤的關(guān)系，以及它們對于視頻目標檢測的影響；3、運用一個特殊的temporal CNN將時間信息結(jié)合到目標檢測之中。

2. Related work

現(xiàn)在目標檢測最好的方法基本都是基于deep CNN的。Girshirk等人用一種多層次的方法R-CNN來選出候選區(qū)域進行目標識別，這種方法將目標檢測問題分解為bounding-box區(qū)域、CNN預(yù)訓練、CNN微調(diào)、SVM訓練、bounding-box回歸等小問題；Szegedy等人建立了一個22層結(jié)構(gòu)的GoogleNet，將R-CNN中的CNN用“inception”模塊代替，贏得了ILSVRC 2014目標檢測挑戰(zhàn)；除了R-CNN，還有一個Fast R-CNN，喂給CNN的圖片不再是變形成一樣尺寸的圖片了，還用了很多方法提高速度。但是這些都只是在靜態(tài)圖片上的目標檢測，在視頻檢測中，這些方法不一定可以捕捉所有的真實目標，因為有些幀中的目標并不在最容易檢測到的姿勢或者狀態(tài)。
基于YouTube Object Dataset(YTO)的目標定位和協(xié)同定位與VID任務(wù)類似，但這兩者又有一些不同：1、YTO假設(shè)每一個VID只有一個已知的或未知的目標類別，只要求每一幀檢測出一個目標，但是VID每一幀包含未知數(shù)量的目標，更接近于真實情況；2、YTO用localization metric來做衡量標準，而VID使用mean average precision(mAP)作為性能衡量標準。對于評估不同種類和閾值的總體性能，mAP更有挑戰(zhàn)性。基于這些不同，VID任務(wù)難度更大，更接近真實情況，所以之前的目標定位并不能直接應(yīng)用于VID。
還有一些方法是關(guān)于動作定位的，在動作視頻的每一幀，要求系統(tǒng)將人物動作的區(qū)域用bounding box標注出來，這些關(guān)于動作proposal的工作與這篇論文的工作有關(guān)系。Yu和Yuang等人通過計算actionness scoring來確定這些bounding box，并解決了最大集覆蓋問題maximum set coverage problem；Jain等人的工作是使用Selective Search方法來確定tubelet proposals，并且產(chǎn)生區(qū)分人的動作和背景的新特征；在CVPR2014的Finding action tubes一文中，候選區(qū)域被喂給兩個CNN來學習特征，接著用SVM來對動作進行預(yù)測，這些候選區(qū)域可以通過預(yù)測和空間上的重疊連接起來。
目標跟蹤的研究已經(jīng)進行很久了，最近，將deep CNN運用在目標檢測上得到了很好的效果：Wang研究了一種特定目標跟蹤器，從ImageNet預(yù)訓練網(wǎng)絡(luò)中選擇最有影響力的特征；Nam訓練了一種多領(lǐng)域的CNN來做目標跟蹤，在跟蹤新目標時，創(chuàng)造一個新的網(wǎng)絡(luò)，將原有的預(yù)訓練CNN的共享層與一個新的二分層結(jié)合。但是，即使是基于CNN的跟蹤器，性能依舊不是很好，因為它們還是依靠目標外表信息而不是理解目標種類的語義。

3. Method

在這一部分，我們會介紹視頻目標檢測和我們這個網(wǎng)絡(luò)架構(gòu)的細節(jié)，框架的總體結(jié)構(gòu)如Figure 2所示，主要包含兩個模塊：一個spatio-temporal tubelet proposal模塊和一個tubelet分類和重得分模塊。這兩個主要部分將會在3.2和3.3詳細闡述。

3.1 Task setting

在靜態(tài)圖片中，視頻目標檢測任務(wù)VID與圖像識別任務(wù)DET是類似的，從圖像識別任務(wù)的200個類別中取30個類別進行目標檢測，每一個視頻中的所有類別都是完全標注的。對于每一個視頻段，算法需要得到一個標注數(shù)組(f_i, c_i, s_i, b_i)，f_i代表幀數(shù)，c_i代表種類標簽，s_i代表確信值，b_i代表bounding box。在VID中，我們也用與DET一樣的評價標準：mAP。

3.2 Spatio-temporal tubelet proposal

視頻中的目標有時間和空間上的連續(xù)性，在相鄰的幀中，同一個目標有相似的表現(xiàn)和位置。而用現(xiàn)有的目標檢測和目標跟蹤的方法并不能有效的解決VID任務(wù)，一方面，一個簡單的方法就是把視頻當做多個圖像的組合，對每一張圖像進行獨立的目標檢測，這個策略只考慮到了目標外表的相似性而沒有考慮到時間上的連續(xù)性，所以從Figure 1 (a)中看到，即使是相鄰的幀，其檢測score也有很大的波動；另一方面，普遍的目標檢測方法將正在檢測的bounding box當做樣本來更新檢測器，檢測器會集中于視頻中的樣本，由于目標的大幅度變化而出現(xiàn)漂移現(xiàn)象（Figure 1 (b)）。
spatio-temporal tubelet proposal模塊將靜態(tài)圖像的識別和目標檢測、目標跟蹤結(jié)合起來，模塊對于目標檢測器和目標跟蹤的時間連續(xù)性是有區(qū)分能力的。有三個主要步驟：image object proposal, object proposal scoring和high-confidence object tracking。

step 1 Image object proposal object proposals是由Selective Search(SS)算法得到的，對于視頻的每一幀，SS輸出大約2000個proposals，大多數(shù)是負樣本，不包含目標。當一個proposal對于ImageNet的所有分類的detection score都低于一個閾值時，用R-CNN中提供的預(yù)訓練的AlexNet模型將這些顯而易見是負樣本的樣本移除。實驗中使用-1.1作為閾值，大概會剩下6.1%的候選區(qū)域。這一步驟見Figure 2 (a)。

step 2 Object proposal scoring 由于VID的30個分類是從DET的200個分類的子集，所以為DET任務(wù)訓練的網(wǎng)絡(luò)可以直接用于VID任務(wù)，網(wǎng)絡(luò)是一個在ImageNet上預(yù)訓練的GoogLeNet，然后根據(jù)DET任務(wù)進行微調(diào)。同R-CNN一樣，對于每一個DET分類，用模型中提取的“pool5”特征來做hard negative mining，用于SVM的訓練。在VID任務(wù)中，用30個SVM來對proposals進行分類，SVM得分越高，proposal中含有目標的可能性就越大。

step 3 High-confidence proposal tracking 對于每個分類，我們雙向跟蹤高置信度的detection proposals。所用追蹤器是Visual tracking with fully convolutional networks這篇論文提到的，在實驗中有更加魯棒的性能。從step 2中選擇最高置信度的proposal，作為檢測開始的位置，被稱為“anchors”，從一個anchor開始，前至第一幀，后至最后一幀，用兩個tracklet連接出了目標的軌跡。當目標運動，從anchor中離開時，追蹤器有可能會飄到背景或者其他目標上，或者跟不上原先目標的尺寸和狀態(tài)，所以，當確信度低于一個閾值時（通常取0.1），我們盡早停止追蹤，以防出現(xiàn)錯誤的tracklet。在得到一條軌跡之后，從剩下的檢測目標中挑選一個新的anchor，一般來說，高確信的目標通常會成群出現(xiàn)，所以直接選取下一個高確信度的目標很可能會與原先的tracklet有重合，為了減少冗余，我們用一些抑制方法，比如非最大值抑制。當step 2中的檢測目標與現(xiàn)有的軌跡有超過一個閾值的重合度時（通常采用0.3IoU），不會將其選為新的anchor。這個追蹤-抑制過程持續(xù)到所有剩下的目標都低于一個閾值為止（通常選取SVM得分小于0）。每一個視頻中，這個過程要對所有的30個類別都進行一次。

基于以上三個步驟，我們得到了從高確信anchor開始的軌跡，這個軌跡就是tubelet proposals。

3.3 Tubelet classification and rescoring

在tubelet proposal模塊之后，對于每一個分類，我們都有了含有高確信值的anchor的tubelet，一種簡單的方法是對于這些tubelets中的bounding-box采用step 2中的方法進行分類，但是這種方法的性能比靜態(tài)圖像識別要差，有以下四條原因：
1、在tubelet中的proposal數(shù)量遠遠少于Selective Search之后的proposal，有可能會錯過一些目標，降低召回率。
2、在靜態(tài)圖像識別中訓練的檢測器對于目標的移動是很敏感的（Figure 2 (d)），即使一個軌跡邊框與目標的重合度很大，它也可能沒有合理的檢測得分。
3、在追蹤過程中，我們?yōu)榱藴p少冗余tubelets會進行抑制操作，所以相對于圖像proposal來說，tubelet會更稀少。這種抑制方法與非最大值抑制(NMS)有沖突，因為在傳統(tǒng)NMS中，即使一個正邊框的確信值很低，但它與其他高確信值的邊框有很大的重合，它就會被抑制，不會影響總平均精確度。而早期抑制導(dǎo)致有一些低確信值的正邊框與高確信值的檢測結(jié)果沒有重合，所以沒有被抑制。
4、即使在已經(jīng)標注過的數(shù)據(jù)上，tubelet上的檢測得分也是波動很大（Figure 1 (a)），所以我們還需要利用時間信息得到連續(xù)的檢測得分。

step 4 Tubelet box perturbation and max-pooling 這一步驟中的擾動是將tubelet中的box用更高確信度的box替換，有兩種擾動方法。
第一種擾動方法是隨機擾動tubelet box的邊框以在每一幀的每一個box旁邊產(chǎn)生新的box，就是指我們隨機對一個tubelet box的左上角和右下角的坐標進行采樣。隨機偏置的值來自于下面兩個分布：

U是均勻分布，w和h是box的寬度和高度，r是采樣率參數(shù)，r越高代表原來的box確信值越低。
第二種擾動方法是用與這個tubelet box的重合度高于一個閾值的object detections代替這個tubelet box。這個步驟模擬NMS過程：如果這個box是一個有低確信度的正邊框，這個過程可以恢復(fù)一些其他的正邊框來抑制這個邊框。衡量重合度的閾值越高，tubelet box的確信度就越高。
上述兩種方法都在4. Experiments中。
在perturbation結(jié)束后，每一個增強后的邊框和原來的tubelet box都用step 2中的方法得到score。對于每一個tubelet box，只有檢測確信值最大的、增強后的box被保留下來，并替代原來的tubelet box。這種最大值池化的過程是為了增強檢測器的空間魯棒性，并利用tubelet周圍的object detections。

step 5 Temporal convolution and re-scoring 即使有max-pooling這個步驟，同一軌跡上的detection scores也會有很大的波動，會導(dǎo)致性能損失。例如，如果在相鄰幀上的tubelet boxes都有高檢測得分，那這一幀上的同樣的物體的tubelet box很可能也有高檢測得分，而靜態(tài)圖片目標檢測沒有考慮這種時間連續(xù)性。
在我們的框架中，添加了一個Temporal Convolutional Network(TCN)，TCN使用一維特征，包括檢測得分detection scores、跟蹤得分tracking scores、anchor offsets，還對每一個tubelet box標注temporally dense prediction（dense prediction要求不但給出具體目標的位置，還要描繪物體的邊界，如圖像分割、語義分割、邊緣檢測等等，翻譯取密集標注）。
TCN的結(jié)構(gòu)見Figure 3，它是一個四層一維全卷積網(wǎng)絡(luò)，輸出每一個tubelet box的temporally dense prediction score。對于每一個分類，我們都用tubelet特征作為輸入，訓練一個針對類別的TCN。輸入值是時間序列，包括檢測得分、跟蹤得分和anchor offsets，輸出值是tubelet box是否包含目標的可能性。如果box與已經(jīng)標定為真的數(shù)據(jù)重合度大于0.5，則監(jiān)督標簽為1，反之則為0。
這種temporal convolution基于感受野中的時間特征來產(chǎn)生分類預(yù)測，而一維密集標注提供了比單一標注更復(fù)雜的信息。在測試中，我們用連續(xù)score代替了二值分類。

4. Experiments

4.1 Datasets

ImageNet VID 我們使用ImageNet中視頻目標檢測（VID）任務(wù)數(shù)據(jù)集來評價所有的管道機制和框架中的組成部分，最初發(fā)行的VID有三個組成部分：訓練集含有1952個全標注的視頻片段，每一個片段從6幀到5213幀不止；驗證集集含有281個全標注的視頻片段，每一個片段從11幀到2898幀不止；測試集含有458個視頻片段，在這篇論文發(fā)表的時候測試集的標簽還沒有得到。
YTO dataset 除了ImageNet VID，還使用YTO數(shù)據(jù)集對框架進行評價。YTO數(shù)據(jù)集有10個目標分類，是ImageNet數(shù)據(jù)集的子集，與VID不同的是，YTO并不是完全標注的，每個視頻只保證含有一個分類中的目標，而且只有幾幀有標注。這種標注使得我們不能再YTO上訓練我們的數(shù)據(jù)集，但是我們可以在框架上應(yīng)用這個YTO數(shù)據(jù)集。

4.2 Parameter setting

Image object proposal 我們使用Selective Search中的“fast”模式來檢測proposals，并且把輸入圖像都變形成寬度為500像素，然后將變形后的proposal映射到原來的輸入圖像坐標中。
R-CNN提供的AlexNet模型是為了移除那些顯而易見是不包含目標的候選區(qū)域，當這個proposal對于DET中的兩百個分類的檢測值都低于一個閾值的時候（閾值選擇-1.1），這個步驟可以保留大概6.1%的proposals（大概每張圖片96個proposals）。
Tracking 跟蹤早期結(jié)束閾值設(shè)置成0.1，也就是說，如果tracking的確信值低于0.1，則這個tracklet會被終止。產(chǎn)生新的anchor的閾值是0，如果沒有proposal的檢測得分高于0的話，這個分類的整體檢測過程即中止。每個視頻段，每種分類都選擇20個anchor。
Tubelet perturbation 我們記隨機擾動為R(n, r)，r是擾動比率參數(shù)，n是每一個tubelet box所取的樣本，記O(t)為添加與box重合度達到0.5以上的original proposals。
擾動比率和采樣數(shù)目的不同組合在Table 1和Figure 4，O(t)在Table 2和Figure 4：


選擇R(20, 0.1)、R(20, 0.2)、O(0.5)作為后續(xù)工作的參數(shù)。
Temporal convolutional network TCN有四層卷積層，結(jié)構(gòu)見Table 3。網(wǎng)絡(luò)的初始化參數(shù)和優(yōu)化參數(shù)，比如學習率，在一個類別中手動調(diào)整，之后的30個類別保持不變。

未經(jīng)處理的檢測值、跟蹤值和絕對anchor offset（由跟蹤的長度正則化）作為TCN的輸入，而不經(jīng)過其他的預(yù)處理步驟。

撒花~~下篇論文見！

總結(jié)

以上是生活随笔為你收集整理的Object detection from video tubelets with CNN翻译的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。