大牛講堂 | 鄔書哲：物體檢測算法的革新與傳承

本文作者：大牛講堂

2016-11-10 10:01

導語：?鄔書哲博士對山世光博士此前講到的內容在細節上做了補充：R-CNN系列、YOLO和SSD、Cascade CNN。

雷鋒網(公眾號：雷鋒網)按：本文作者鄔書哲博士，師從中科院計算所山世光博士。

鄔書哲博士對山世光博士講到的內容在細節上做了補充。其補充內容主要包含三個部分：首先是深度學習在物體檢測領域點燃的星星之火，即R-CNN系列的工作，其次是針對檢測器的速度問題所提出的兩個代表性方法：YOLO和SSD，最后是傳承了經典檢測方法的Cascade CNN。

?

R-CNN系列

R-CNN的出現帶來檢測精度的一次巨大提升，在Pascal VOC 2010上，全面超越了之前的方法，mAP提高了20%；在ImageNet的物體檢測競賽上，刷新了之前的冠軍記錄，mAP提高了10%。然而R-CNN的檢測速度非常慢，在GPU上處理一張圖需要13s，在CPU上處理一張圖需要長達53s。

Fast R-CNN是R-CNN的加速版本，其借鑒了SPP-net的做法，在提取每個窗口的特征之前，直接在全圖上進行卷積，避免了大量重復計算，同時采用SVD分解對分類所用的全連接層進行壓縮，將一個大的全連接層拆解成兩個小的全連接層。通過這樣的策略，Fast R-CNN相比R-CNN能夠有213倍的加速比。

總的來看，Fast R-CNN還是不夠快，因為其采用了Selective Search來提取候選窗口，這部分處理一張圖在CPU上需要2s，而即使是采用EdgeBox，在GPU上也需要0.3s，這個時間和分類的時間相當。于是Faster R-CNN進一步引了RPN網絡，并且讓其和分類網絡共享卷積層，實現進一步的加速。從R-CNN到Faster R-CNN，這是一個化零為整的過程，從不同的模塊不同的方法來做，到最后整合到同一個網絡中來做，精度不斷提高，速度也是在不斷提高的。

Faster R-CNN中有一個非常關鍵的設計，也就是anchor box，相比于之前的滑動窗口+圖像金字塔的方式，采用anchor box實際上是固定輸入圖像不變，而改成去變化窗口，采用不同大小和長寬比的窗口來掃描圖像。Faster R-CNN在Pascal VOC 2012、ILSVRC 2015和MS COCO 2015的檢測任務上都獲得了最好成績，并且在絕大多數類別上都獲得了最高的AP。

在Faster R-CNN中，如果采用ResNet這樣的網絡結構，那么每一個候選窗口都要經過其最后一組卷積層的計算，這會帶來巨大的時間開銷，這部分時間大概會占到總的檢測時間的三分之一，因此出現了一個改進版：R-FCN，其將RoIPooling后移，最后一組卷積繼續在整個特征圖上做，從而進一步避免了重復計算。R-FCN中有一個比較巧妙的設計，叫做位置敏感得分圖，以這張圖為例，在判斷候選框里面是不是一個人的時候，其會分別觀察這個框的各個位置，如左上角、右上角等，然后分別作出判斷，之后再投票整合得到最終的分類結果。可以看到這個跟DPM稍微有點相似，但是不同的是這里各個部分的幾何關系是固定的，而DPM會推斷各個部件的位置。

R-FCN相比于Faster R-CNN在達到類似精度的條件下在速度上能夠有3倍左右的提升，在某些情況下甚至能夠有20倍的提升。

YOLO和SSD

R-CNN系列方法經過一系列的加速，在很多情況下，還是無法達到實時的25fps這個要求，影響速度的因素有很多，包括輸入大小、候選窗口的數量等。并且這一系列方法還有一個特點，就是要看兩次，一看定候選窗口，二看才定檢測結果。為了提高檢測速度，出現了YOLO和SSD這樣的方法，其特點就是只看一次，直接得到檢測結果。

另外輸入圖像的尺寸也減小了，從Faster R-CNN的1000x600減小到了YOLO的446x446，網絡規模也進行了一定的控制。可以看到在YOLO的網絡最后是兩個全連接層，直接用全圖的信息來預測檢測框，這可以看成是對上下文的信息進行了利用，還有就是全連接層的計算本身比較快。YOLO使得檢測速度得到了很大提升，快速版本在GPU可以達到150fps，然而其精度下降得非常厲害，因此實用性大大降低了。

有兩個因素是比較影響精度的，一是網格劃分，其使得位置過于粗糙，二是網絡深度，太深層的特征使得特征過于粗糙。SSD一方面控制了網絡深度，另一方面在回歸窗口的時候會同時采用不同層的特征，在較淺層上回歸小的窗口，在較深層上回歸大的窗口。SSD速度相比沒有YOLO那么快，但是換來了精度上的提升。如果和前面提到的Faster R-CNN相對比，SSD可以看成是一個RPN網絡。個人認為，在完全相同的條件下，SSD速度會更快，但是Faster R-CNN精度會更好。

Cascade CNN

最后要講的方法是經典上的一個傳承：Cascade CNN。當考慮一些特定類別目標的檢測的時候，尤其是人臉和人體，對速度的要求會更高，而如果只考慮單一類別的物體，傳統的級聯結構分類器仍然是非常有效的方法。而RPN加上Fast R-CNN的形式本身看起來也是一種級聯。Cascade CNN是3組一共6個網絡進行級聯，交替進行分類和邊框校準。分類網絡的輸入圖像的分辨率是隨著輸入規模動態調整的，在最開始輸入規模比較大的時候，用比較小的輸入圖像，這樣可以盡量的節約時間，然后逐漸從12x12變化到24x24，再到48x48。

Cascade CNN在做窗口校準的時候，還不是采取回歸的方式，而是人為的設置了45種不同的模式，然后采用分類的方式來對窗口進行校準。Cascade CNN后續也有一些跟進的工作，例如采用多任務協同學習，這種做法在網絡比較小的時候，能夠讓它的精度得到提升。再有比方說把多級分類器協同訓練，這樣可以采用類似于Faster R-CNN那樣端到端的訓練方式，這可以使精度再進一步往上提。

總結

從之前的工作到現在的工作，有一些基本的策略，包括難例挖掘，多尺度，相關任務協同學習，上下文建模等，這些策略都被廣泛驗證是有效的。當出現一個新的方法之后，大家往往會把同樣的策略應用到這個新方法上去，做出一系列的工作。

物體檢測領域現在還有很多其它的工作，比如說DenseBox、尺度相關池化、Inside-Outside Net、Multi-region CNN等等，這些方法很多都體現了以上提到的策略，同時也使基于深度學習的物體檢測方法走得更遠。?

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的大牛讲堂 | 邬书哲：物体检测算法的革新与传承的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。