R-CNN系列学习笔记
迄今為止，我也沒有用過R-CNN系列。。。看理論是一回事，實際用是另外一回事。
之前準備用，看理論時候的一些摘錄筆記，都忘的差不多了。
實際用的時候，里面的每一個細節就很關鍵了，尤其是在自己項目需要的特定應用場景下。
細節包括理論細節和代碼處理細節，都挺花時間，也都挺關鍵。
?
?
一文讀懂目標檢測：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
https://cloud.tencent.com/developer/news/281788
?
R-CNN文章詳細解讀
https://www.jianshu.com/p/5056e6143ed5
?
R-CNN（Selective Search + CNN + SVM）
SPP-net（ROI Pooling）
Fast R-CNN（Selective Search + CNN + ROI）
Faster R-CNN（RPN + CNN + ROI）
?
R-CNN
先Selective Search許多候選框Region Proposal（比如兩千個）-->CNN-->得到每個候選框的特征-->SVM分類-->?box regression
（注意：每個候選框都要進行一次CNN）
?
Fast R-CNN??（借鑒了SPPNet的思想，通過ROI Pooling的結構）
一張完整圖片-->CNN-->得到Selective Search（原圖）的每張候選框的特征-->多任務損失函數：softmax分類+邊框回歸
（注意：仍然要對原圖進行Selective Search許多候選框Region Proposal。并把這些候選區域按照空間位置關系映射到最后的卷積特征層。）
?
Faster?R-CNN??
一張完整圖片-->CNN-->Region Proposal Network（RPN）得到每張候選框的特征-->多任務損失函數：softmax分類+邊框回歸
?
Mask?R-CNN??
Fine-tuning
https://www.julyedu.com/question/big/kp_id/26/ques_id/2137
通常，前面的層提取的是圖像的通用特征（generic features）（例如邊緣檢測，色彩檢測），這些特征對許多任務都有用。后面的層提取的是與特定類別有關的特征，因此fine-tune時常常只需要Fine-tuning后面的層。
網絡前幾層學到的是通用特征，后面幾層學到的是與類別相關的特征。
?
關于什么是邊框回歸，請參看本深度學習分類下第56題：https://www.julyedu.com/question/big/kp_id/26/ques_id/2139
?
SPP Net（spatial pyramid pooling layer）
ROI pooling layer實際上是SPP-NET的一個精簡版，SPP-NET對每個proposal使用了不同大小的金字塔映射。
加入這個神奇的ROI Pooling層，對每個region都提取一個固定維度的特征表示，再通過正常的softmax進行類型識別。
?
ROI Pooling 與 SPP 理解：https://blog.csdn.net/qq_35586657/article/details/97885290
ROI Pooling是針對RoIs的Pooling，其特點是輸入特征圖尺寸不固定，但是輸出特征圖尺寸固定。
ROI Pooling的思想來自于SPPNet中的Spatial Pyramid Pooling，在Fast RCNN中使用時，將SPPNet中多尺度的池化簡化了為單尺度。
ROI Pooling 與 SPP 的區別：
兩者起到的作用是相同的，把不同尺寸的特征輸入轉化為相同尺寸的特征輸出。SPP針對同一個輸入使用了多個不同尺寸的池化操作，把不同尺度的結果拼接作為輸出；而ROI Pooling可看作單尺度的SPP，對于一個輸入只進行一次池化操作。
在Fast RCNN中， RoI是指Selective Search完成后得到的“候選框”在特征圖上的映射。
在Faster RCNN中，候選框是經過RPN產生的，然后再把各個“候選框”映射到特征圖上，得到RoIs。
?
Region Proposal Networks(RPN)
其實RPN最終就是在原圖尺度上，設置了密密麻麻的候選Anchor。然后用cnn去判斷哪些Anchor是里面有目標的positive anchor，哪些是沒目標的negative anchor。所以，僅僅是個二分類而已。
?
Feature Pyramid Network (FPN)?（maskRNN中使用）
FPN的提出是為了實現更好的feature maps融合，一般的網絡都是直接使用最后一層的feature maps，雖然最后一層的feature maps 語義強，但是位置和分辨率都比較低，容易檢測不到比較小的物體。FPN的功能就是融合了底層到高層的feature maps ，從而充分的利用了提取到的各個階段的特征（ResNet中的C2-C5）。
FPN是一種精心設計的多尺度檢測方法。FPN實際上是一種通用架構，可以結合各種骨架網絡使用，比如VGG，ResNet等。
?
物體探測的兩類方法：
two stage 的目標檢測算法是先由算法生成一系列作為樣本的候選框，再通過卷積神經網絡進行樣本分類；
one stage 的目標檢測算法。則不用產生候選框，直接將目標邊框定位的問題轉化為回歸問題處理。
正是由于兩種方法的差異，在性能上也有不同，前者在檢測準確率和定位精度上占優，后者在算法速度上占優。
?
一文讀懂Faster RCNN
https://zhuanlan.zhihu.com/p/31426458
?
令人拍案稱奇的Mask RCNN
https://zhuanlan.zhihu.com/p/37998710
?
Code：
https://github.com/matterport/Mask_RCNN
https://github.com/facebookresearch/Detectron
?
?
?
?
總結
以上是生活随笔為你收集整理的R-CNN系列学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： SppNet 多尺度训练
- 下一篇： Pytorch 怎么构建自己的数据集。怎