Contents?[hide]

• 1?論文原文
• 2?介紹
• 3?Anchors
  • 3.1?如何確定一個anchor是正樣本還是負樣本？
• 4?實現細節
• 5?調試信息
• 6?參考資料

論文原文

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

介紹

　　Faster RCNN由Ross B. Girshick在2016年提出，是RCNN系列的延續和經典版本。由于圖像中的目標數量和位置并不確定，卷積神經網絡本身是難以處理檢測這樣的問題的。

　　為了解決這個問題，Faster RCNN使用Anchor和分類器將原本的檢測任務巧妙地轉換成了卷積神經網絡善于處理的分類和回歸任務。數以萬計事先指定好位置和大小的Anchor在圖像上滑動，由一個RPN (Region Proposal Network) 來判斷每個Anchor中是否有物體，這樣就將不確定數量的目標檢測問題變成了一個確定的幾萬個子區域的二分類問題。

　　RPN網絡接收的輸入是圖像經過backbone(如resnet50)的特征圖，根據事先指定好的Anchor，輸出這些Anchor中有物體的概率，要注意RPN只能夠區分有沒有物體，而無法知道物體具體是什么類別的，這也是兩階段檢測器的特性。

?

?　　　　　　　　(上圖為Anchor在圖片中滑動)

　　由于Anchor的大小是事先指定的，可能并不完全與目標的位置重合，因此RPN還有另外一項重要的任務：給輸出的檢測框做回歸，修正Anchor的位置。最終RPN的輸出結果是這樣的：(為了便于演示省略了很多概率為0的區域)

　　

　　在論文中，RPN網絡為CNN后面接一個3×3的卷積層，再接兩個并列的(sibling)1×1的卷積層，其中一個是用來給softmax層進行分類(2分類，有物體還是沒有物體)，另一個用于給候選區域精確定位(框位置的偏移)。

Anchors

　　Anchors是一些預設大小的框，論文中Anchors的面積有三種?ANCHOR_AREAS = [128**2,256**2,512**2], 長寬比也有三種?ANCHOR_RATIOS = [0.5,1,2]，所以一共有9種大小的Anchors，即k=9。Anchors的大小如下圖所示：

?

　　寫成坐標的形式為：

1 2 3 4 5 6 7 8 9 10

[[ -84.??-40.?? 99.?? 55.] [-176.??-88.??191.??103.] [-360. -184.??375.??199.] [ -56.??-56.?? 71.?? 71.] [-120. -120.??135.??135.] [-248. -248.??263.??263.] [ -36.??-80.?? 51.?? 95.] [ -80. -168.?? 95.??183.] [-168. -344.??183.??359.]]

　　原文中Anchors的stride為16，也就是Anchor以步長16在原圖中滑動。對于一張1000*600的圖像，總共大約有20000個anchors(≈60×40×9)，如果忽略越過圖像邊界的anchor，在訓練時每張圖像總共有約6000個anchor。

　　一張圖片中有這么多的Anchor，一次全部訓練是不太現實的，這相當于6000張小圖像的二分類問題在一個batch中完成，（當然你要是有幾百個G的顯存可以忽略）。另外，這些Anchor的正負樣本也是不均勻的，大部分的Anchor都是沒有物體的背景，如果同時訓練可能會造成偏差。

　　解決這兩個問題的方法是每次只隨機選取一部分Anchor進行訓練，在原論文中，每次在所有的Anchor中隨機選取256個，并讓它們盡量保持正樣本和負樣本為1:1，這個參數可以看成是每張圖片的batch_size，在程序中也一般命名為batch_size_per_image。

如何確定一個anchor是正樣本還是負樣本？

　　一個anchor如果滿足以下兩個條件之一的被認為是正樣本：
　　(i) 這個anchor和ground truth的方框有著最大的IoU重疊。
　　(ii) 這個anchor和ground truth的方框有超過0.7的IoU重疊。
　　

?

　　一個anchor如果滿足以下條件的被認為是負樣本：
　　(i) 這個anchor和ground truth的方框的IoU重疊小于0.3。
　　

?

?

　　既不是正樣本也不是負樣本的anchor在訓練中不被使用。

實現細節

?

　　1.所有輸入圖像都被縮放成短邊600像素(長邊不超過1000像素)。
　　假設輸入圖像尺寸為354(寬)×480，會被縮放為600×814，(記為image_scale)，然后按照[batch, height, width, channel]即[1, 814, 600, 3]的尺寸輸入網絡。

　　2.對于vgg16網絡，輸入圖像會被映射成512維的特征圖。
　　由vgg網絡的代碼(conv5層之前)：

?

1 2 3 4 5 6 7 8 ? 9 10 11 12 ? 13 14 15

net = slim.repeat(self._image, 2, slim.conv2d, 64, [3, 3], ??????????????????trainable=False, scope='conv1') net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool1') ? net = slim.repeat(net, 2, slim.conv2d, 128, [3, 3], ??????????????????trainable=False, scope='conv2') net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool2') net = slim.repeat(net, 3, slim.conv2d, 256, [3, 3], ??????????????????trainable=is_training, scope='conv3') net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool3') net = slim.repeat(net, 3, slim.conv2d, 512, [3, 3], ??????????????????trainable=is_training, scope='conv4') net = slim.max_pool2d(net, [2, 2], padding='SAME', scope='pool4') net = slim.repeat(net, 3, slim.conv2d, 512, [3, 3], ??????????????????trainable=is_training, scope='conv5')

　　image_scale經過了4個池化層(卷積層由于有padding不會改變feature maps長和寬)，所以得到的feature maps的尺寸為image_scale的1/16，也就是[1, 51, 38, 512]。

　　3.Anchors的個數為51×38×9(已知k=9)。
　　因此rpn網絡分類的輸出尺寸為[1, 51, 38, 18]，其中后一半[:, :, :, 9:]表示正樣本的概率，前一半[:, :, :, :9]表示負樣本的概率。
　　而矩形框偏移回歸的輸出尺寸為[1, 51, 38, 36]，(36=9×4)，每個proposed region的4個參數是輸出的矩形框(roi)相對于anchor進行平移縮放的4個系數。
　　rpn網絡最終輸出的矩形框位置是anchor的位置和偏移位置計算出來的，具體計算方式見參考資料。
　　由于roi網絡輸出的方框很多(51×38×9≈17000個)，原文中的做法是先clip_boxes，即去掉與邊界交叉的方框(剩下5000個左右的anchor)，然后使用非極大值抑制(NMS)來去掉重疊的方框，最終只保留2000或300個方框(取決于訓練還是測試)。
　　非極大值抑制(NMS)的原理：

　　

　　用普通話翻譯一下非極大值抑制就是：不是局部的最大值的那些值都滾蛋
　　由于score越大越接近期待值，因此將與score最大的方框IoU>0.7的都去除。

　　4.ROI pooling的詳細過程。

　　由于分類器的輸入尺寸需要是統一的，但是RPN給出的檢測框大小并不相同，因此需要ROI pooling的操作。

　　將rpn輸出的300個大小不同的方框從feature maps上對應的位置裁剪(crop)下來，然后縮放(resize)成14×14大小，這時候所有的方框可以表示為尺寸為[300, 14, 14, 512]的張量，再使用一個2×2的max_pool，得到的roi_pooling的結果尺寸為[300, 7, 7, 512]。

　　５.測試的詳細過程。
　　測試過程中，輸入的圖像經過預測模型會輸出[300 21]的分值以及[300 84]的方框位置。(設置網絡保留300個方框，需要預測的種類為20類(pascal voc)，加上背景一類)。
　　然后設定一個得分的閾值(比如0.95)，大于該閾值的方框會被保留。如下圖所示： 　　

?

　　最后再使用一次NMS，對于多個重合的方框只保留一個。結果如下圖所示：

?

調試信息

1 2 3 4 5 6 7 8 9

_image shape: (1, 814, 600, 3) feature_maps shape: [??1??51??38 512] rpn_cls_score shape: [ 1 51 38 18]??# 2k=18 rpn_bbox_pred shape: [ 1 51 38 36]??# 4k=36 rois shape: [300?? 5]??# [:,0]全是0 roi_pooling shape: [300?? 7?? 7 512] cls_prob shape: [300??21] bbox_pred shape: [300??84]

參考資料

　　GitHub - endernewton/tf-faster-rcnn: Tensorflow Faster RCNN for Object Detection
　　https://web.cs.hacettepe.edu.tr/~aykut/classes/spring2016/bil722/slides/w05-FasterR-CNN.pdf
　　一文讀懂Faster RCNN - 知乎

總結

以上是生活随笔為你收集整理的[图解]小白都能看懂的FASTER R-CNN – 原理和实现细节的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。