R-CNN系列学习笔记
迄今為止，我也沒有用過R-CNN系列。。。看理論是一回事，實際用是另外一回事。
之前準備用，看理論時候的一些摘錄筆記，都忘的差不多了。
實際用的時候，里面的每一個細節(jié)就很關(guān)鍵了，尤其是在自己項目需要的特定應(yīng)用場景下。
細節(jié)包括理論細節(jié)和代碼處理細節(jié)，都挺花時間，也都挺關(guān)鍵。
?
?
一文讀懂目標檢測：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
https://cloud.tencent.com/developer/news/281788
?
R-CNN文章詳細解讀
https://www.jianshu.com/p/5056e6143ed5
?
R-CNN（Selective Search + CNN + SVM）
SPP-net（ROI Pooling）
Fast R-CNN（Selective Search + CNN + ROI）
Faster R-CNN（RPN + CNN + ROI）
?
R-CNN
先Selective Search許多候選框Region Proposal（比如兩千個）-->CNN-->得到每個候選框的特征-->SVM分類-->?box regression
（注意：每個候選框都要進行一次CNN）
?
Fast R-CNN??（借鑒了SPPNet的思想，通過ROI Pooling的結(jié)構(gòu)）
一張完整圖片-->CNN-->得到Selective Search（原圖）的每張候選框的特征-->多任務(wù)損失函數(shù)：softmax分類+邊框回歸
（注意：仍然要對原圖進行Selective Search許多候選框Region Proposal。并把這些候選區(qū)域按照空間位置關(guān)系映射到最后的卷積特征層。）
?
Faster?R-CNN??
一張完整圖片-->CNN-->Region Proposal Network（RPN）得到每張候選框的特征-->多任務(wù)損失函數(shù)：softmax分類+邊框回歸
?
Mask?R-CNN??
Fine-tuning
https://www.julyedu.com/question/big/kp_id/26/ques_id/2137
通常，前面的層提取的是圖像的通用特征（generic features）（例如邊緣檢測，色彩檢測），這些特征對許多任務(wù)都有用。后面的層提取的是與特定類別有關(guān)的特征，因此fine-tune時常常只需要Fine-tuning后面的層。
網(wǎng)絡(luò)前幾層學(xué)到的是通用特征，后面幾層學(xué)到的是與類別相關(guān)的特征。
?
關(guān)于什么是邊框回歸，請參看本深度學(xué)習(xí)分類下第56題：https://www.julyedu.com/question/big/kp_id/26/ques_id/2139
?
SPP Net（spatial pyramid pooling layer）
ROI pooling layer實際上是SPP-NET的一個精簡版，SPP-NET對每個proposal使用了不同大小的金字塔映射。
加入這個神奇的ROI Pooling層，對每個region都提取一個固定維度的特征表示，再通過正常的softmax進行類型識別。
?
ROI Pooling 與 SPP 理解：https://blog.csdn.net/qq_35586657/article/details/97885290
ROI Pooling是針對RoIs的Pooling，其特點是輸入特征圖尺寸不固定，但是輸出特征圖尺寸固定。
ROI Pooling的思想來自于SPPNet中的Spatial Pyramid Pooling，在Fast RCNN中使用時，將SPPNet中多尺度的池化簡化了為單尺度。
ROI Pooling 與 SPP 的區(qū)別：
兩者起到的作用是相同的，把不同尺寸的特征輸入轉(zhuǎn)化為相同尺寸的特征輸出。SPP針對同一個輸入使用了多個不同尺寸的池化操作，把不同尺度的結(jié)果拼接作為輸出；而ROI Pooling可看作單尺度的SPP，對于一個輸入只進行一次池化操作。
在Fast RCNN中， RoI是指Selective Search完成后得到的“候選框”在特征圖上的映射。
在Faster RCNN中，候選框是經(jīng)過RPN產(chǎn)生的，然后再把各個“候選框”映射到特征圖上，得到RoIs。
?
Region Proposal Networks(RPN)
其實RPN最終就是在原圖尺度上，設(shè)置了密密麻麻的候選Anchor。然后用cnn去判斷哪些Anchor是里面有目標的positive anchor，哪些是沒目標的negative anchor。所以，僅僅是個二分類而已。
?
Feature Pyramid Network (FPN)?（maskRNN中使用）
FPN的提出是為了實現(xiàn)更好的feature maps融合，一般的網(wǎng)絡(luò)都是直接使用最后一層的feature maps，雖然最后一層的feature maps 語義強，但是位置和分辨率都比較低，容易檢測不到比較小的物體。FPN的功能就是融合了底層到高層的feature maps ，從而充分的利用了提取到的各個階段的特征（ResNet中的C2-C5）。
FPN是一種精心設(shè)計的多尺度檢測方法。FPN實際上是一種通用架構(gòu)，可以結(jié)合各種骨架網(wǎng)絡(luò)使用，比如VGG，ResNet等。
?
物體探測的兩類方法：
two stage 的目標檢測算法是先由算法生成一系列作為樣本的候選框，再通過卷積神經(jīng)網(wǎng)絡(luò)進行樣本分類；
one stage 的目標檢測算法。則不用產(chǎn)生候選框，直接將目標邊框定位的問題轉(zhuǎn)化為回歸問題處理。
正是由于兩種方法的差異，在性能上也有不同，前者在檢測準確率和定位精度上占優(yōu)，后者在算法速度上占優(yōu)。
?
一文讀懂Faster RCNN
https://zhuanlan.zhihu.com/p/31426458
?
令人拍案稱奇的Mask RCNN
https://zhuanlan.zhihu.com/p/37998710
?
Code：
https://github.com/matterport/Mask_RCNN
https://github.com/facebookresearch/Detectron
?
?
?
?
總結(jié)
以上是生活随笔為你收集整理的R-CNN系列学习笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： SppNet 多尺度训练
- 下一篇： Pytorch 怎么构建自己的数据集。怎