轉(zhuǎn)載自：

http://blog.csdn.net/cv_family_z/article/details/46864473

摘要：SPPNet和Fast R-CNN降低了網(wǎng)絡(luò)學(xué)習(xí)特征的時間，SS由于需耗時1~2s，EdgeBoxes
耗時約0.2s，提取proposal的方法成為檢測的瓶頸。本文提出了Region Proposal Networks(RPNs)實(shí)現(xiàn)實(shí)時提取proposals，它能與檢測網(wǎng)絡(luò)共享全圖像卷積特征。RPNs是一個能夠預(yù)測某位置上的目標(biāo)bbox和objectness的全卷積網(wǎng)絡(luò)。對于VGG-16網(wǎng)絡(luò)，檢測系統(tǒng)在GPU上的速度為5fps。VOC2007的mAP為73.2%，每幅圖像大約300個proposals。

靈感：基于區(qū)域的檢測使用的卷積特征圖，如FRCN，同樣可以用來生成proposals。在這些卷積層之后，作者通過增加兩個卷積層構(gòu)建了RPNs，一個將卷積圖編碼為低維（256d）向量，另外一個在每個卷積圖的位置上生成一個objectness score和k個proposals的回歸bbox，k=9。

RPNs網(wǎng)絡(luò)
RPNs將圖像作為輸入，輸出帶有objectness score的bbox。使用一個小的網(wǎng)絡(luò)在最后一個卷積層輸出的卷積特征圖上產(chǎn)生區(qū)域proposals，這個小網(wǎng)絡(luò)與輸入的特征圖以n*n的窗口進(jìn)行全連接，每個滑動窗之后映射到一個低維向量（ZF5-256d,VGG-512d），之后將向量送入兩個全連接的子層：一個bbox回歸層和一個bbox分類層。網(wǎng)絡(luò)的結(jié)構(gòu)如下圖所示：

平移不變的錨點(diǎn)
每一個滑動窗滑過的位置有k個proposals，cls子層輸出每個proposal的object\non-object的2k個scores，reg子層輸出對應(yīng)坐標(biāo)的4k個節(jié)點(diǎn)。k個proposals根據(jù)k個錨點(diǎn)進(jìn)行參數(shù)化，每個錨點(diǎn)是對應(yīng)尺度和長寬比的中心，文中使用3個尺度，3個長寬比，得到9個錨點(diǎn)。如果特征圖大小為W×H，則共有WHk個錨點(diǎn)。

Proposals學(xué)習(xí)的損失函數(shù)
按照以下規(guī)則對錨點(diǎn)分配二值類別標(biāo)記。正樣本標(biāo)記：（1）與groundtruth的IoU最高的錨點(diǎn)，（2）與任意groundtruth IoU>0.7的錨點(diǎn)，某個groundtruth有可能對應(yīng)幾個正錨點(diǎn)。負(fù)樣本：與groundtruth的IoU<0.3的錨點(diǎn)。其余的錨點(diǎn)不在訓(xùn)練使用的范圍內(nèi)。使用FRCN的multi-task loss最小化目標(biāo)函數(shù)，某個錨點(diǎn)box的損失函數(shù)為：

式中pi 是錨點(diǎn)i為物體的預(yù)測概率，Lcls 是而分類object/non-object的softmax loss。

優(yōu)化
RPN是一個全卷積網(wǎng)絡(luò)，可使用bp及SGD訓(xùn)練，使用FRCN中的image-centric進(jìn)行訓(xùn)練，為了避免樣本偏斜，每幅圖采樣256個樣本計算loss，正負(fù)樣本為1：1。

Region proposal與目標(biāo)檢測共享卷積特征
使用交替優(yōu)化學(xué)習(xí)共享特征的4步訓(xùn)練法：
1）訓(xùn)練RPN，使用ImageNet初訓(xùn)練的網(wǎng)絡(luò)進(jìn)行end-to-end的微調(diào)；
2）使用FRCN及RPN生成的proposal訓(xùn)練一個檢測網(wǎng)絡(luò)，該步未共享特征；
3）使用檢測網(wǎng)絡(luò)初始化RPNs訓(xùn)練，固定共享的卷積層只微調(diào)為RPN新增的層；
4）固定共享層，微調(diào)FRCN的全連接層

實(shí)現(xiàn)細(xì)節(jié)
使用單尺度圖像訓(xùn)練RPNs和FRCN，縮放圖像使得短邊為600像素。對于每個錨點(diǎn)，三個尺度對應(yīng)的box面積分別為1282，2562 和5122，3個長寬比分別為1：1，1：2，2：1，學(xué)習(xí)到的平均proposal大小如下表所示：

對于1000×600 的輸入圖像，約有20k個錨點(diǎn)，如果忽略cross-boundary的錨點(diǎn)，約有6k個用來訓(xùn)練。檢測時，基于cls score使用NMS將proposal壓縮至2k個，之后用top-N個proposal來檢測。

實(shí)驗(yàn)結(jié)果
使用SS，EB，RBN生成proposal的實(shí)驗(yàn)結(jié)果及ablation的實(shí)驗(yàn)結(jié)果如下表所示：

ablation實(shí)驗(yàn)結(jié)果表明共享卷積特征mAP能提升1.2%，主要是在共享的第三步使用了微調(diào)的檢測特征來微調(diào)RPN。

每一步的運(yùn)行時間如下表所示

總結(jié)

以上是生活随笔為你收集整理的Faster R-CNN的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。