當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Faster R-CNN论文及源码解读

發(fā)布時(shí)間：2024/9/21 编程问答 48 豆豆

生活随笔收集整理的這篇文章主要介紹了 Faster R-CNN论文及源码解读小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

R-CNN是目標(biāo)檢測領(lǐng)域中十分經(jīng)典的方法，相比于傳統(tǒng)的手工特征，R-CNN將卷積神經(jīng)網(wǎng)絡(luò)引入，用于提取深度特征，后接一個(gè)分類器判決搜索區(qū)域是否包含目標(biāo)及其置信度，取得了較為準(zhǔn)確的檢測結(jié)果。Fast R-CNN和Faster R-CNN是R-CNN的升級(jí)版本，在準(zhǔn)確率和實(shí)時(shí)性方面都得到了較大提升。在Fast R-CNN中，首先需要使用Selective Search的方法提取圖像的候選目標(biāo)區(qū)域(Proposal)。而新提出的Faster R-CNN模型則引入了RPN網(wǎng)絡(luò)(Region Proposal Network)，將Proposal的提取部分嵌入到內(nèi)部網(wǎng)絡(luò)，實(shí)現(xiàn)了卷積層特征共享，Fast R-CNN則基于RPN提取的Proposal做進(jìn)一步的分類判決和回歸預(yù)測，因此，整個(gè)網(wǎng)絡(luò)模型可以完成端到端的檢測任務(wù)，而不需要先執(zhí)行特定的候選框搜索算法，顯著提升了算法模型的實(shí)時(shí)性。

模型概述

??Faster R-CNN模型主要由兩個(gè)模塊組成：RPN候選框提取模塊和Fast R-CNN檢測模塊，如下圖所示，又可細(xì)分為4個(gè)部分；Conv Layer，Region Proposal Network(RPN)，RoI Pooling，Classification and Regression。

Faster R-CNN網(wǎng)絡(luò)模型

Conv Layer: 卷積層包括一系列卷積(Conv + Relu)和池化(Pooling)操作，用于提取圖像的特征(feature maps)，一般直接使用現(xiàn)有的經(jīng)典網(wǎng)絡(luò)模型ZF或者VGG16，而且卷積層的權(quán)值參數(shù)為RPN和Fast RCNN所共享，這也是能夠加快訓(xùn)練過程、提升模型實(shí)時(shí)性的關(guān)鍵所在。
Region Proposal Network: RPN網(wǎng)絡(luò)用于生成區(qū)域候選框Proposal，基于網(wǎng)絡(luò)模型引入的多尺度Anchor，通過Softmax對(duì)anchors屬于目標(biāo)(foreground)還是背景(background)進(jìn)行分類判決，并使用Bounding Box Regression對(duì)anchors進(jìn)行回歸預(yù)測，獲取Proposal的精確位置，并用于后續(xù)的目標(biāo)識(shí)別與檢測。
RoI Pooling: 綜合卷積層特征feature maps和候選框proposal的信息，將propopal在輸入圖像中的坐標(biāo)映射到最后一層feature map(conv5-3)中，對(duì)feature map中的對(duì)應(yīng)區(qū)域進(jìn)行池化操作，得到固定大小(7×77×7)輸出的池化結(jié)果，并與后面的全連接層相連。
Classification and Regression: 全連接層后接兩個(gè)子連接層——分類層(cls)和回歸層(reg)，分類層用于判斷Proposal的類別，回歸層則通過bounding box regression預(yù)測Proposal的準(zhǔn)確位置。

??下圖為Faster R-CNN測試網(wǎng)絡(luò)結(jié)構(gòu)(網(wǎng)絡(luò)模型文件為faster_rcnn_test.pt)，可以清楚地看到圖像在網(wǎng)絡(luò)中的前向計(jì)算過程。對(duì)于一幅任意大小P×QP×Q的圖像，首先縮放至固定大小M×NM×N(源碼中是要求長邊不超過1000，短邊不超過600)，然后將縮放后的圖像輸入至采用VGG16模型的Conv Layer中，最后一個(gè)feature map為conv5-3，特征數(shù)(channels)為512。RPN網(wǎng)絡(luò)在特征圖conv5-3上執(zhí)行3×33×3卷積操作，后接一個(gè)512維的全連接層，全連接層后接兩個(gè)子連接層，分別用于anchors的分類和回歸，再通過計(jì)算篩選得到proposals。RoIs Pooling層則利用Proposal從feature maps中提取Proposal feature進(jìn)行池化操作，送入后續(xù)的Fast R-CNN網(wǎng)絡(luò)做分類和回歸。RPN網(wǎng)絡(luò)和Fast R-CNN網(wǎng)絡(luò)中均有分類和回歸，但兩者有所不同，RPN中分類是判斷conv5-3中對(duì)應(yīng)的anchors屬于目標(biāo)和背景的概率(score)，并通過回歸獲取anchors的偏移和縮放尺度，根據(jù)目標(biāo)得分值篩選用于后續(xù)檢測識(shí)別的Proposal；Fast R-CNN是對(duì)RPN網(wǎng)絡(luò)提取的Proposal做分類識(shí)別，并通過回歸參數(shù)調(diào)整得到目標(biāo)(Object)的精確位置。具體的訓(xùn)練過程會(huì)在后面詳述。接下來會(huì)重點(diǎn)介紹RPN網(wǎng)絡(luò)和Fast R-CNN網(wǎng)絡(luò)這兩個(gè)模塊，包括RPN網(wǎng)絡(luò)中引入的Anchor機(jī)制、訓(xùn)練數(shù)據(jù)的生成、分類和回歸的損失函數(shù)(Loss Function)計(jì)算以及RoI Pooling等。

Fast R-CNN test網(wǎng)絡(luò)結(jié)構(gòu)

Region Proposal Network(RPN)

??傳統(tǒng)的目標(biāo)檢測方法中生成候選框都比較耗時(shí)，例如使用滑動(dòng)窗口加圖像金字塔的方式遍歷圖像，獲取多尺度的候選區(qū)域；以及R-CNN、Fast R-CNN中均使用到的Selective Search的方法生成候選框。而Faster R-CNN則直接使用RPN網(wǎng)絡(luò)，將檢測框Proposal的提取嵌入到網(wǎng)絡(luò)內(nèi)部，通過共享卷積層參數(shù)的方式提升了Proposal的生成速度。

Anchor

??Anchor是RPN網(wǎng)絡(luò)中一個(gè)較為重要的概念，傳統(tǒng)的檢測方法中為了能夠得到多尺度的檢測框，需要通過建立圖像金字塔的方式，對(duì)圖像或者濾波器(滑動(dòng)窗口)進(jìn)行多尺度采樣。RPN網(wǎng)絡(luò)則是使用一個(gè)3×33×3的卷積核，在最后一個(gè)特征圖(conv5-3)上滑動(dòng)，將卷積核中心對(duì)應(yīng)位置映射回輸入圖像，生成3種尺度(scale){1282,2562,5122}{1282,2562,5122}和3種長寬比(aspect ratio){1:1,1:2,2:1}{1:1,1:2,2:1}共9種Anchor，如下圖所示。特征圖conv5-3每個(gè)位置都對(duì)應(yīng)9個(gè)anchors，如果feature map的大小為W×HW×H，則一共有W×H×9W×H×9個(gè)anchors，滑動(dòng)窗口的方式保證能夠關(guān)聯(lián)conv5-3的全部特征空間，最后在原圖上得到多尺度多長寬比的anchors。

Anchor示意圖

??最后一個(gè)feature map后面會(huì)接一個(gè)全連接層，如下圖所示，全連接的維數(shù)和feature map的特征數(shù)(channels)相同。對(duì)于原論文中采用的ZF模型，conv5的特征數(shù)為256，全連接層的維數(shù)也為256；對(duì)于VGG模型，conv5-3的特征數(shù)為512，全連接的的維數(shù)則為512，相當(dāng)于feature map上的每一個(gè)點(diǎn)都輸出一個(gè)512維的特征向量。

RPN網(wǎng)絡(luò)結(jié)構(gòu)

關(guān)于anchors還有幾點(diǎn)需要說明：

conv5-3上使用了3×33×3的卷積核，每個(gè)點(diǎn)都可以關(guān)聯(lián)局部鄰域的空間信息。
conv5-3上每個(gè)點(diǎn)前向映射得到k(k=9)個(gè)anchors，并且后向輸出512維的特征向量，而anchors的作用是分類和回歸得到Proposal，因此全連接層后須接兩個(gè)子連接層————分類層(cls)和回歸層(reg)，分類層用于判斷anchors屬于目標(biāo)還是背景，向量維數(shù)為2k；回歸層用于計(jì)算anchors的偏移量和縮放量，共4個(gè)參數(shù)[dx,dy,dw,dh][dx,dy,dw,dh]，向量維數(shù)為4k。

訓(xùn)練樣本的生成

??一般而言，特征圖conv5-3的實(shí)際尺寸大致為60×4060×40，那么一共可以生成60×40×9≈20k60×40×9≈20k個(gè)anchors，顯然不會(huì)將所有anchors用于訓(xùn)練，而是篩選一定數(shù)量的正負(fù)樣本。對(duì)于數(shù)據(jù)集中包含有人工標(biāo)定ground truth的圖像，考慮一張圖像上所有anchors:

首先過濾掉超出圖像邊界的anchors
對(duì)每個(gè)標(biāo)定的ground truth，與其重疊比例IoU最大的anchor記為正樣本，這樣可以保證每個(gè)ground truth至少對(duì)應(yīng)一個(gè)正樣本anchor
對(duì)每個(gè)anchors，如果其與某個(gè)ground truth的重疊比例IoU大于0.7，則記為正樣本(目標(biāo))；如果小于0.3，則記為負(fù)樣本(背景)
再從已經(jīng)得到的正負(fù)樣本中隨機(jī)選取256個(gè)anchors組成一個(gè)minibatch用于訓(xùn)練，而且正負(fù)樣本的比例為1:1,；如果正樣本不夠，則補(bǔ)充一些負(fù)樣本以滿足256個(gè)anchors用于訓(xùn)練，反之亦然。

Multi-task Loss Function

??由于涉及到分類和回歸，所以需要定義一個(gè)多任務(wù)損失函數(shù)(Multi-task Loss Function)，包括Softmax Classification Loss和Bounding Box Regression Loss，公式定義如下：

L({pi},{ti})=1NclsΣiLcls(pi,p?i)+λ1NregΣip?iLreg(ti,t?i)L({pi},{ti})=1NclsΣiLcls(pi,pi?)+λ1NregΣipi?Lreg(ti,ti?)

Softmax Classification：對(duì)于RPN網(wǎng)絡(luò)的分類層(cls)，其向量維數(shù)為2k = 18，考慮整個(gè)特征圖conv5-3，則輸出大小為W×H×18W×H×18，正好對(duì)應(yīng)conv5-3上每個(gè)點(diǎn)有9個(gè)anchors，而每個(gè)anchor又有兩個(gè)score(fg/bg)輸出，對(duì)于單個(gè)anchor訓(xùn)練樣本，其實(shí)是一個(gè)二分類問題。為了便于Softmax分類，需要對(duì)分類層執(zhí)行reshape操作，這也是由底層數(shù)據(jù)結(jié)構(gòu)決定的。在caffe中，Blob的數(shù)據(jù)存儲(chǔ)形式為Blob=[batch_size,channel,height,width]Blob=[batch_size,channel,height,width]，而對(duì)于分類層(cls)，其在Blob中的實(shí)際存儲(chǔ)形式為[1,2k,H,W][1,2k,H,W]，而Softmax針對(duì)每個(gè)anchor進(jìn)行二分類，所以需要在分類層后面增加一個(gè)reshape layer，將數(shù)據(jù)組織形式變換為[1,2,k?H,W][1,2,k?H,W]，之后再reshape回原來的結(jié)構(gòu)，caffe中有對(duì)softmax_loss_layer.cpp的reshape函數(shù)做如下解釋：

"Number of labels must match number of predictions; "

"e.g., if softmax axis == 1 and prediction shape is (N, C, H, W), "

"label count (number of labels) must be N*H*W, "

"with integer values in {0, 1, ..., C-1}.";

在上式中，pipi為樣本分類的概率值，p?ipi?為樣本的標(biāo)定值(label)，anchor為正樣本時(shí)p?ipi?為1，為負(fù)樣本時(shí)p?ipi?為0，LclsLcls為兩種類別的對(duì)數(shù)損失(log loss)。
Bounding Box Regression：RPN網(wǎng)絡(luò)的回歸層輸出向量的維數(shù)為4k = 36，回歸參數(shù)為每個(gè)樣本的坐標(biāo)[x,y,w,h][x,y,w,h]，分別為box的中心位置和寬高，考慮三組參數(shù)預(yù)測框(predicted box)坐標(biāo)[x,y,w,h][x,y,w,h]，anchor坐標(biāo)[xa,ya,wa,ha][xa,ya,wa,ha]，ground truth坐標(biāo)[x?,y?,w?,h?][x?,y?,w?,h?]，分別計(jì)算預(yù)測框相對(duì)anchor中心位置的偏移量以及寬高的縮放量{t}{t}，ground truth相對(duì)anchor的偏移量和縮放量{t?}{t?}

tx=(x?xa)/wa,?ty=(y?ya)/ha,?tw=log(w/wa),?th=log(h/ha)?(1)tx=(x?xa)/wa,?ty=(y?ya)/ha,?tw=log(w/wa),?th=log(h/ha)?(1)

t?x=(x??xa)/wa,?t?y=(y??ya)/ha,?t?w=log(w?/wa),?t?h=log(h?/ha)?(2)tx?=(x??xa)/wa,?ty?=(y??ya)/ha,?tw?=log(w?/wa),?th?=log(h?/ha)?(2)

回歸目標(biāo)就是讓{t}{t}盡可能地接近{t?}{t?}，所以回歸真正預(yù)測輸出的是{t}{t}，而訓(xùn)練樣本的標(biāo)定真值為{t?}{t?}。得到預(yù)測輸出{t}{t}后，通過上式(1)即可反推獲取預(yù)測框的真實(shí)坐標(biāo)。在損失函數(shù)中，回歸損失采用Smooth L1函數(shù)

SmoothL1(x)={0.5x2?|x|≤1|x|?0.5?otherwiseSmoothL1(x)={0.5x2?|x|≤1|x|?0.5?otherwise

Lreg=SmoothL1(t?t?)Lreg=SmoothL1(t?t?)

Smooth L1損失函數(shù)曲線如下圖所示，相比于L2損失函數(shù)，L1對(duì)離群點(diǎn)或異常值不敏感，可控制梯度的量級(jí)使訓(xùn)練更易收斂。

Smooth L1損失函數(shù)

在損失函數(shù)中，p?iLregpi?Lreg這一項(xiàng)表示只有目標(biāo)anchor(p?i=1pi?=1)才有回歸損失，其他anchor不參與計(jì)算。這里需要注意的是，當(dāng)樣本bbox和ground truth比較接近時(shí)(IoU大于某一閾值)，可以認(rèn)為上式的坐標(biāo)變換是一種線性變換，因此可將樣本用于訓(xùn)練線性回歸模型，否則當(dāng)bbox與ground truth離得較遠(yuǎn)時(shí)，就是非線性問題，用線性回歸建模顯然不合理，會(huì)導(dǎo)致模型不work。分類層(cls)和回歸層(reg)的輸出分別為{p}{p}和{t}{t}，兩項(xiàng)損失函數(shù)分別由NclsNcls和NregNreg以及一個(gè)平衡權(quán)重λλ歸一化。分類損失的歸一化值為minibatch的大小，即Ncls=256Ncls=256；回歸損失的歸一化值為anchor位置的數(shù)量，即Nreg≈2400Nreg≈2400；λλ一般取值為10，這樣分類損失和回歸損失差不多是等權(quán)重的。

Proposal的生成

??Proposal的生成就是將圖像輸入到RPN網(wǎng)絡(luò)中進(jìn)行一次前向(forward)計(jì)算，處理流程如下：

計(jì)算特征圖conv5-3映射到輸入圖像的所有anchors，并通過RPN網(wǎng)絡(luò)前向計(jì)算得到anchors的score輸出和bbox回歸參數(shù)
由anchors坐標(biāo)和bbox回歸參數(shù)計(jì)算得到預(yù)測框proposal的坐標(biāo)
處理proposal坐標(biāo)超出圖像邊界的情況(使得坐標(biāo)最小值為0，最大值為寬或高)
濾除掉尺寸(寬高)小于給定閾值的proposal
對(duì)剩下的proposal按照目標(biāo)得分(fg score)從大到小排序，提取前pre_nms_topN(e.g. 6000)個(gè)proposal
對(duì)提取的proposal進(jìn)行非極大值抑制(non-maximum suppression,nms)，再根據(jù)nms后的foreground score，篩選前post_nms_topN(e.g. 300)個(gè)proposal作為最后的輸出

Fast R-CNN

??對(duì)于RPN網(wǎng)絡(luò)中生成的proposal，需要送入Fast R-CNN網(wǎng)絡(luò)做進(jìn)一步的精確分類和坐標(biāo)回歸，但proposal的尺寸可能大小不一，所以需要做RoI Pooling，輸出統(tǒng)一尺寸的特征，再與后面的全連接層相連。

RoI Pooling

??對(duì)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，當(dāng)網(wǎng)絡(luò)訓(xùn)練好后輸入圖像的尺寸必須是固定值，同時(shí)網(wǎng)絡(luò)輸出的固定大小的向量或矩陣。如果輸入圖像大小不統(tǒng)一，則需要進(jìn)行特殊處理，如下圖所示：

從圖像中crop一部分傳入網(wǎng)絡(luò)
將圖像warp成需要的大小后傳入網(wǎng)絡(luò)

crop與warp操作

可以從圖中看出，crop操作破壞了圖像的完整結(jié)構(gòu)，warp操作破壞了圖像的原始形狀信息，兩種方法的效果都不太理想。RPN網(wǎng)絡(luò)生成的proposal也存在尺寸不一的情況，但論文中提出了RoI Pooling的方法解決這個(gè)問題。

??RoI Pooling結(jié)合特征圖conv5-3和proposal的信息，proposal在輸入圖像中的坐標(biāo)[x1,y1,x2,y2][x1,y1,x2,y2]對(duì)應(yīng)M×NM×N尺度，將proposal的坐標(biāo)映射到M16×N16M16×N16大小的conv5-3中，然后將Proposal在conv5-3的對(duì)應(yīng)區(qū)域水平和豎直均分為7等份，并對(duì)每一份進(jìn)行Max Pooling或Average Pooling處理，得到固定大小(7×77×7)輸出的池化結(jié)果，實(shí)現(xiàn)固定長度輸出(fixed-length output)，如下圖所示。

RoI Pooling示意圖

Classification and Regression

??RoI Pooling層后接多個(gè)全連接層，最后為兩個(gè)子連接層——分類層(cls)和回歸層(reg)，如下圖所示，和RPN的輸出類似，只不過輸出向量的維數(shù)不一樣。如果類別數(shù)為N+1(包括背景)，分類層的向量維數(shù)為N+1，回歸層的向量維數(shù)則為4(N+1)。還有一個(gè)關(guān)鍵問題是RPN網(wǎng)絡(luò)輸出的proposal如何組織成Fast R-CNN的訓(xùn)練樣本：

對(duì)每個(gè)proposal，計(jì)算其與所有g(shù)round truth的重疊比例IoU
篩選出與每個(gè)proposal重疊比例最大的ground truth
如果proposal的最大IoU大于0.5則為目標(biāo)(前景)，標(biāo)簽值(label)為對(duì)應(yīng)ground truth的目標(biāo)分類；如果IoU小于0.5且大于0.1則為背景，標(biāo)簽值為0
從2張圖像中隨機(jī)選取128個(gè)proposals組成一個(gè)minibatch，前景和背景的比例為1:3
計(jì)算樣本proposal與對(duì)應(yīng)ground truth的回歸參數(shù)作為標(biāo)定值，并且將回歸參數(shù)從(4,)拓展為(4(N+1),)，只有對(duì)應(yīng)類的標(biāo)定值才為非0。
設(shè)定訓(xùn)練樣本的回歸權(quán)值，權(quán)值同樣為4(N+1)維，且只有樣本對(duì)應(yīng)標(biāo)簽類的權(quán)值才為非0。

在源碼實(shí)現(xiàn)中，用于訓(xùn)練Fast R-CNN的Proposal除了RPN網(wǎng)絡(luò)生成的，還有圖像的ground truth，這兩者歸并到一起，然后通過篩選組成minibatch用于迭代訓(xùn)練。Fast R-CNN的損失函數(shù)也與RPN類似，二分類變成了多分類，背景同樣不參與回歸損失計(jì)算，且只考慮proposal預(yù)測為標(biāo)簽類的回歸損失。

Classification and Regression

Faster R-CNN的訓(xùn)練

??對(duì)于提取proposals的RPN，以及分類回歸的Fast R-CNN，如何將這兩個(gè)網(wǎng)絡(luò)嵌入到同一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中，訓(xùn)練一個(gè)共享卷積層參數(shù)的多任務(wù)(Multi-task)網(wǎng)絡(luò)模型。源碼中有實(shí)現(xiàn)交替訓(xùn)練(Alternating training)和端到端訓(xùn)練(end-to-end)兩種方式，這里介紹交替訓(xùn)練的方法。

訓(xùn)練RPN網(wǎng)絡(luò)，用ImageNet模型M0初始化，訓(xùn)練得到模型M1
利用第一步訓(xùn)練的RPN網(wǎng)絡(luò)模型M1，生成Proposal P1
使用上一步生成的Proposal，訓(xùn)練Fast R-CNN網(wǎng)絡(luò)，同樣用ImageNet模型初始化，訓(xùn)練得到模型M2
訓(xùn)練RPN網(wǎng)絡(luò)，用Fast R-CNN網(wǎng)絡(luò)M2初始化，且固定卷積層參數(shù)，只微調(diào)RPN網(wǎng)絡(luò)獨(dú)有的層，訓(xùn)練得到模型M3
利用上一步訓(xùn)練的RPN網(wǎng)絡(luò)模型M3，生成Proposal P2
訓(xùn)練Fast R-CNN網(wǎng)絡(luò)，用RPN網(wǎng)絡(luò)模型M3初始化，且卷積層參數(shù)和RPN參數(shù)不變，只微調(diào)Fast R-CNN獨(dú)有的網(wǎng)絡(luò)層，得到最終模型M4

由訓(xùn)練流程可知，第4步訓(xùn)練RPN網(wǎng)絡(luò)和第6步訓(xùn)練Fast R-CNN網(wǎng)絡(luò)實(shí)現(xiàn)了卷積層參數(shù)共享。總體上看，訓(xùn)練過程只循環(huán)了2次，但每一步訓(xùn)練(M1，M2，M3，M4)都迭代了多次(e.g. 80k，60k)。對(duì)于固定卷積層參數(shù)，只需將學(xué)習(xí)率(learning rate)設(shè)置為0即可。

源碼解析

??以上關(guān)于RPN的訓(xùn)練，Proposal的生成，以及Fast R-CNN的訓(xùn)練做了的詳細(xì)講解，接下來結(jié)合網(wǎng)絡(luò)模型圖和部分源碼，對(duì)這些模塊做進(jìn)一步的分析。

train RPN

??訓(xùn)練RPN的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，首先加載參數(shù)文件，并改動(dòng)一些參數(shù)適應(yīng)當(dāng)前訓(xùn)練任務(wù)。在train_rpn函數(shù)中調(diào)用get_roidb、get_imdb、get_train_imdb_roidb等獲取訓(xùn)練數(shù)據(jù)集，并通過調(diào)用gt_roidb和prepare_roidb方法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，為樣本增添一些屬性，數(shù)據(jù)集roidb中的每個(gè)圖像樣本，主要有以下屬性：

'image':圖像存儲(chǔ)路徑

'width':圖像寬

'height':圖像高

'boxes':圖像中bbox(groundtruth or proposal)的坐標(biāo)[x1,y1,x2,y2]

'gt_classes':每個(gè)bbox對(duì)應(yīng)的類索引(1~20)

'gt_overlaps':二維數(shù)組，shape=[num_boxes * num_classes]，每個(gè)bbox(ground truth)對(duì)應(yīng)的類索引處取值為1，其余為0

'flipped':取值為True/False，用于標(biāo)記有無將圖像水平翻轉(zhuǎn)

'seg_area':bbox的面積

'max_classes':bbox與所有g(shù)round truth的重疊比例IoU最大的類索引(gt_overlaps.argmax(axis=1))

'max_overlaps':bbox與所有g(shù)round truth的IoU最大值(gt_overlaps.max(axis=1))

train_rpn_model

獲取數(shù)據(jù)集roidb中字典的屬性后，設(shè)置輸出路徑output_dir，用來保存中間訓(xùn)練結(jié)果，然后調(diào)用train_net函數(shù)。在train_net函數(shù)中，首先調(diào)用filter_roidb，濾除掉既沒有前景又沒有背景的roidb。然后調(diào)用layer.py中的set_roidb方法，打亂訓(xùn)練樣本roidb的順序，將roidb中長寬比近似的圖像放在一起。之后開始訓(xùn)練模型train_model，這里需要實(shí)例化每個(gè)層，對(duì)于第一層RoIDataLayer，通過setup方法進(jìn)行實(shí)例化，并且在訓(xùn)練過程中通過forward方法，調(diào)用get_minibatch函數(shù)，獲取每一次迭代訓(xùn)練的數(shù)據(jù)，在讀取數(shù)據(jù)時(shí)，主要獲取了3個(gè)屬性組成Layer中的Blob

'data':單張圖像數(shù)據(jù)im_blob=[1,3,H,W]

'gt_boxes':一幅圖像中所有g(shù)round truth的坐標(biāo)和類別[x1,y1,x2,y2,cls]

'im_info':圖像的寬高和縮放比例 height,width,scale = [[im_blob.shape[2], im_blob.shape[2], im_scale[0]]]

從網(wǎng)絡(luò)結(jié)構(gòu)圖中可以看出，input-data(RoIDataLayer)的下一層是rpn-data(AnchorTargetLayer)，rpn-data計(jì)算所有anchors與ground truth的重疊比例IoU，從中篩選出一定數(shù)量(256)的正負(fù)樣本組成一個(gè)minibatch，用于RPN網(wǎng)絡(luò)的訓(xùn)練，這一層的輸出有如下屬性：

'rpn_label':每個(gè)anchor對(duì)應(yīng)的類別(1——fg，0——bg，-1——ignored)，shape=[1,1,A*height,width]

'rpn_bbox_targets':anchor與ground truth的回歸參數(shù)[dx,dy,dw,dh]，shape=[1,A*4,height,width]

'rpn_box_inside_targets':回歸損失函數(shù)中的樣本權(quán)值，正樣本為1，負(fù)樣本為0，相當(dāng)于損失函數(shù)中的p*，shape=[1,A*4,height,width]

'rpn_box_outside_targets':分類損失函數(shù)和回歸損失函數(shù)的平衡權(quán)重，相當(dāng)于λ，shape=[1,A*4,height,width]

注：height、width為特征圖conv5-3的高寬，A=9為Anchor種數(shù)

對(duì)于分類損失rpn_loss_cls，輸入的rpn_cls_scors_reshape和rpn_labels分別對(duì)應(yīng)pp與p?p?；對(duì)于回歸損失，輸入的rpn_bbox_pred和rpn_bbox_targets分別對(duì)應(yīng){t}{t}與{t?}{t?}，pn_bbox_inside_weigths對(duì)應(yīng)p?p?，rpn_bbox_outside_weights對(duì)應(yīng)λλ。

generate proposals

??Proposal的生成只需將圖像輸入到RPN網(wǎng)絡(luò)中，進(jìn)行前向(forward)計(jì)算然后經(jīng)過篩選即可得到，網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示

generate proposals

從rpn_proposals = imdb_proposals(rpn_net, imdb)開始，使用im = cv2.imread(imdb.image_path_at(i))讀入圖片數(shù)據(jù)，調(diào)用 im_proposals生成單張圖片的rpn proposals，以及得分。im_proposals函數(shù)會(huì)調(diào)用網(wǎng)絡(luò)的forward方法，從而得到想要的boxes和scores，最后將獲取的proposal保存在python pickle文件中。

train Fast R-CNN

??訓(xùn)練Fast R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，首先設(shè)置參數(shù)適應(yīng)訓(xùn)練任務(wù)，在預(yù)處理數(shù)據(jù)時(shí)，調(diào)用的不再是gt_roidb方法，而是rpn_roidb，通過使用類imdb的靜態(tài)方法merge_roidb，將rpn_roidb和gt_roidb歸并為一個(gè)roidb，因此數(shù)據(jù)集中的’boxes’屬性除了包含ground truth，還有RPN網(wǎng)絡(luò)生成的proposal，可通過上一步保存的文件直接讀取。通過add_bbox_regression_targets方法給roidb的樣本增添了額外的屬性’bbox_targets’，用于表示回歸參數(shù)的標(biāo)定值。屬性’gt_overlaps’是所有proposal與ground truth通過計(jì)算IoU得到的。最后就是調(diào)用get_minibatch方法從2張圖像中選取128個(gè)proposal作為一次迭代的訓(xùn)練樣本，讀取數(shù)據(jù)時(shí)，獲取如下屬性組成Layer中的Blob

'data':圖像數(shù)據(jù)

'rois':proposals的坐標(biāo)[batch_inds,x1,y1,x2,y2]

'label':proposals對(duì)應(yīng)的類別(0~20)

'bbox_targets':proposal回歸參數(shù)的標(biāo)定值，shape = [128, 4(N+1)]

'box_inside_targets':回歸損失函數(shù)中的樣本權(quán)值，正樣本為1，負(fù)樣本為0，相當(dāng)于損失函數(shù)中的p*

'rpn_box_outside_targets':分類損失函數(shù)和回歸損失函數(shù)的平衡權(quán)重，相當(dāng)于λ

train_fast_rcnn_model

損失函數(shù)的計(jì)算與RPN網(wǎng)絡(luò)類似。在Faster R-CNN中，自定義的Python Layer包括RoIDataLayer、AnchorTargetLay、ProposalLayer，都只實(shí)現(xiàn)了前向計(jì)算forward，因?yàn)檫@些Layer的作用是獲取用于訓(xùn)練網(wǎng)絡(luò)的數(shù)據(jù)，而對(duì)網(wǎng)絡(luò)本身沒有貢獻(xiàn)任何權(quán)值參數(shù)，也不傳播梯度值，因此不需要實(shí)現(xiàn)反向傳播backward。

reference

Paper: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
Paper: R-CNN：Rich feature hierarchies for accurate object detection and semantic segmentation
Paper: SPP-Net: Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
Paper: Fast R-CNN
Code: Caffe implement of Faster RCNN
Code: Tensorflow implement of Faster RCNN
http://blog.csdn.net/iamzhangzhuping/article/category/6230157
http://www.infocool.net/kb/Python/201611/209696.html
http://www.cnblogs.com/venus024/p/5717766.html
http://blog.csdn.net/zy1034092330/article/details/62044941

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的Faster R-CNN论文及源码解读的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇： Faster R-CNN 英文论文翻译笔
下一篇： Faster R-CNN改进篇（一）：