R-CNN详解
paper鏈接：Rich feature hierarchies for accurate object detection and semantic segmentation
&創新點
采用CNN網絡提取圖像特征，從經驗驅動的人造特征范式HOG、SIFT到數據驅動的表示學習范式，提高特征對樣本的表示能力；
采用大樣本下有監督預訓練+小樣本微調的方式解決小樣本難以訓練甚至過擬合等問題。
&問題是什么
近10年以來，以人工經驗特征為主導的物體檢測任務mAP【物體類別和位置的平均精度】提升緩慢；
隨著ReLu激勵函數、dropout正則化手段和大規模圖像樣本集ILSVRC的出現，在2012年ImageNet大規模視覺識別挑戰賽中，Hinton及他的學生采用CNN特征獲得了最高的圖像識別精確度；
上述比賽后，引發了一股“是否可以采用CNN特征來提高當前一直停滯不前的物體檢測準確率“的熱潮。
【寫給小白：一圖理解圖像分類，圖像定位，目標檢測和實例分割】?
&如何解決問題
。測試過程
輸入一張多目標圖像，采用selective search算法提取約2000個建議框；
先在每個建議框周圍加上16個像素值為建議框像素平均值的邊框，再直接變形為227×227的大小；
先將所有建議框像素減去該建議框像素平均值后【預處理操作】，再依次將每個227×227的建議框輸入AlexNet CNN網絡獲取4096維的特征【比以前的人工經驗特征低兩個數量級】，2000個建議框的CNN特征組合成2000×4096維矩陣；
將2000×4096維特征與20個SVM組成的權值矩陣4096×20相乘【20種分類，SVM是二分類器，則有20個SVM】，獲得2000×20維矩陣表示每個建議框是某個物體類別的得分；
分別對上述2000×20維矩陣中每一列即每一類進行非極大值抑制剔除重疊建議框，得到該列即該類中得分最高的一些建議框；
分別用20個回歸器對上述20個類別中剩余的建議框進行回歸操作，最終得到每個類別的修正后的得分最高的bounding box。
。解釋分析
selective search?
采取過分割手段，將圖像分割成小區域，再通過顏色直方圖，梯度直方圖相近等規則進行合并，最后生成約2000個建議框的操作，具體見博客。
為什么要將建議框變形為227×227？怎么做？?
本文采用AlexNet CNN網絡進行CNN特征提取，為了適應AlexNet網絡的輸入圖像大小：227×227，故將所有建議框變形為227×227。?
那么問題來了，如何進行變形操作呢？作者在補充材料中給出了四種變形方式：
① 考慮context【圖像中context指RoI周邊像素】的各向同性變形，建議框像周圍像素擴充到227×227，若遇到圖像邊界則用建議框像素均值填充，下圖第二列；?
② 不考慮context的各向同性變形，直接用建議框像素均值填充至227×227，下圖第三列；?
③ 各向異性變形，簡單粗暴對圖像就行縮放至227×227，下圖第四列；?
④ 變形前先進行邊界像素填充【padding】處理，即向外擴展建議框邊界，以上三種方法中分別采用padding=0下圖第一行，padding=16下圖第二行進行處理；
經過作者一系列實驗表明采用padding=16的各向異性變形即下圖第二行第三列效果最好，能使mAP提升3-5%。?
?
CNN特征如何可視化？?
文中采用了巧妙的方式將AlexNet CNN網絡中Pool5層特征進行了可視化。該層的size是6×6×256，即有256種表示不同的特征，這相當于原始227×227圖片中有256種195×195的感受視野【相當于對227×227的輸入圖像，卷積核大小為195×195，padding=4，step=8，輸出大小(227-195+2×4)/8+1=6×6】；
文中將這些特征視為”物體檢測器”，輸入10million的Region Proposal集合，計算每種6×6特征即“物體檢測器”的激活量，之后進行非極大值抑制【下面解釋】，最后展示出每種6×6特征即“物體檢測器”前幾個得分最高的Region Proposal，從而給出了這種6×6的特征圖表示了什么紋理、結構，很有意思。
為什么要進行非極大值抑制？非極大值抑制又如何操作？?
先解釋什么叫IoU。如下圖所示IoU即表示(A∩B)/(A∪B)?
?
在測試過程完成到第4步之后，獲得2000×20維矩陣表示每個建議框是某個物體類別的得分情況，此時會遇到下圖所示情況，同一個車輛目標會被多個建議框包圍，這時需要非極大值抑制操作去除得分較低的候選框以減少重疊框。?
?
具體怎么做呢？?
① 對2000×20維矩陣中每列按從大到小進行排序；?
② 從每列最大的得分建議框開始，分別與該列后面的得分建議框進行IoU計算，若IoU>閾值，則剔除得分較小的建議框，否則認為圖像中存在多個同一類物體；?
③ 從每列次大的得分建議框開始，重復步驟②；?
④ 重復步驟③直到遍歷完該列所有建議框；?
⑤ 遍歷完2000×20維矩陣所有列，即所有物體種類都做一遍非極大值抑制；?
⑥ 最后剔除各個類別中剩余建議框得分少于該類別閾值的建議框。【文中沒有講，博主覺得有必要做】
為什么要采用回歸器？回歸器是什么有什么用？如何進行操作？?
首先要明確目標檢測不僅是要對目標進行識別，還要完成定位任務，所以最終獲得的bounding-box也決定了目標檢測的精度。?
這里先解釋一下什么叫定位精度：定位精度可以用算法得出的物體檢測框與實際標注的物體邊界框的IoU值來近似表示。
如下圖所示，綠色框為實際標準的卡宴車輛框，即Ground Truth；黃色框為selective search算法得出的建議框，即Region Proposal。即使黃色框中物體被分類器識別為卡宴車輛，但是由于綠色框和黃色框IoU值并不大，所以最后的目標檢測精度并不高。采用回歸器是為了對建議框進行校正，使得校正后的Region Proposal與selective search更接近， 以提高最終的檢測精度。論文中采用bounding-box回歸使mAP提高了3~4%。?
?
那么問題來了，回歸器如何設計呢？?
?
如上圖，黃色框口P表示建議框Region Proposal，綠色窗口G表示實際框Ground Truth，紅色窗口表示Region Proposal進行回歸后的預測窗口，現在的目標是找到P到的線性變換【當Region Proposal與Ground Truth的IoU>0.6時可以認為是線性變換】，使得與G越相近，這就相當于一個簡單的可以用最小二乘法解決的線性回歸問題，具體往下看。?
讓我們先來定義P窗口的數學表達式：，其中表示第一個i窗口的中心點坐標，，分別為第i個窗口的寬和高；G窗口的數學表達式為：；窗口的數學表達式為：。以下省去i上標。?
這里定義了四種變換函數，，，，。和通過平移對x和y進行變化，和通過縮放對w和h進行變化，即下面四個式子所示：?
每一個【*表示x，y，w，h】都是一個AlexNet CNN網絡Pool5層特征的線性函數，即?，這里就是所需要學習的回歸參數。損失函數即為：
損失函數中加入正則項是為了避免歸回參數過大。其中，回歸目標由訓練輸入對按下式計算得來：
①構造樣本對。為了提高每類樣本框回歸的有效性，對每類樣本都僅僅采集與Ground Truth相交IoU最大的Region Proposal，并且IoU>0.6的Region Proposal作為樣本對，一共產生20對樣本對【20個類別】；?
②每種類型的回歸器單獨訓練，輸入該類型樣本對N個：以及所對應的AlexNet CNN網絡Pool5層特征；?
③利用(6)-(9)式和輸入樣本對計算；?
④利用和，根據損失函數(5)進行回歸，得到使損失函數最小的參數。
。訓練過程
有監督預訓練
| 正樣本 | ILSVRC2012 |
| 負樣本 | ILSVRC2012 |
ILSVRC樣本集上僅有圖像類別標簽，沒有圖像物體位置標注；?
采用AlexNet CNN網絡進行有監督預訓練，學習率=0.01；?
該網絡輸入為227×227的ILSVRC訓練集圖像，輸出最后一層為4096維特征->1000類的映射，訓練的是網絡參數。
特定樣本下的微調
| 正樣本 | Ground Truth+與Ground Truth相交IoU>0.5的建議框【由于Ground Truth太少了】 |
| 負樣本 | 與Ground Truth相交IoU≤0.5的建議框 |
PASCAL VOC 2007樣本集上既有圖像中物體類別標簽，也有圖像中物體位置標簽；?
采用訓練好的AlexNet CNN網絡進行PASCAL VOC 2007樣本集下的微調，學習率=0.001【0.01/10為了在學習新東西時不至于忘記之前的記憶】；?
mini-batch為32個正樣本和96個負樣本【由于正樣本太少】；?
該網絡輸入為建議框【由selective search而來】變形后的227×227的圖像，修改了原來的1000為類別輸出，改為21維【20類+背景】輸出，訓練的是網絡參數。
SVM訓練
| 正樣本 | Ground Truth |
| 負樣本 | 與Ground Truth相交IoU＜0.3的建議框 |
由于SVM是二分類器，需要為每個類別訓練單獨的SVM；?
SVM訓練時輸入正負樣本在AlexNet CNN網絡計算下的4096維特征，輸出為該類的得分，訓練的是SVM權重向量；?
由于負樣本太多，采用hard negative mining的方法在負樣本中選取有代表性的負樣本，該方法具體見。
Bounding-box regression訓練
| 正樣本 | 與Ground Truth相交IoU最大的Region Proposal，并且IoU>0.6的Region Proposal |
輸入數據為某類型樣本對N個：以及所對應的AlexNet CNN網絡Pool5層特征，輸出回歸后的建議框Bounding-box，訓練的是，，，四種變換操作的權重向量。具體見前面分析。
。解釋分析
什么叫有監督預訓練？為什么要進行有監督預訓練？
有監督預訓練也稱之為遷移學習，舉例說明：若有大量標注信息的人臉年齡分類的正負樣本圖片，利用樣本訓練了CNN網絡用于人臉年齡識別；現在要通過人臉進行性別識別，那么就可以去掉已經訓練好的人臉年齡識別網絡CNN的最后一層或幾層，換成所需要的分類層，前面層的網絡參數直接使用為初始化參數，修改層的網絡參數隨機初始化，再利用人臉性別分類的正負樣本圖片進行訓練，得到人臉性別識別網絡，這種方法就叫做有監督預訓練。這種方式可以很好地解決小樣本數據無法訓練深層CNN網絡的問題，我們都知道小樣本數據訓練很容易造成網絡過擬合，但是在大樣本訓練后利用其參數初始化網絡可以很好地訓練小樣本，這解決了小樣本訓練的難題。?
這篇文章最大的亮點就是采用了這種思想，ILSVRC樣本集上用于圖片分類的含標注類別的訓練集有1millon之多，總共含有1000類；而PASCAL VOC 2007樣本集上用于物體檢測的含標注類別和位置信息的訓練集只有10k，總共含有20類，直接用這部分數據訓練容易造成過擬合，因此文中利用ILSVRC2012的訓練集先進行有監督預訓練。
ILSVRC 2012與PASCAL VOC 2007數據集有冗余嗎？
即使圖像分類與目標檢測任務本質上是不同的，理論上應該不會出現數據集冗余問題，但是作者還是通過兩種方式測試了PASCAL 2007測試集和ILSVRC 2012訓練集、驗證集的重合度：第一種方式是檢查網絡相冊IDs，4952個PASCAL 2007測試集一共出現了31張重復圖片，0.63%重復率；第二種方式是用GIST描述器匹配的方法，4952個PASCAL 2007測試集一共出現了38張重復圖片【包含前面31張圖片】，0.77%重復率，這說明PASCAL 2007測試集和ILSVRC 2012訓練集、驗證集基本上不重合，沒有數據冗余問題存在。
可以不進行特定樣本下的微調嗎？可以直接采用AlexNet CNN網絡的特征進行SVM訓練嗎？
文中設計了沒有進行微調的對比實驗，分別就AlexNet CNN網絡的pool5、fc6、fc7層進行特征提取，輸入SVM進行訓練，這相當于把AlexNet CNN網絡當做萬精油使用，類似HOG、SIFT等做特征提取一樣，不針對特征任務。實驗結果發現f6層提取的特征比f7層的mAP還高，pool5層提取的特征與f6、f7層相比mAP差不多；?
在PASCAL VOC 2007數據集上采取了微調后fc6、fc7層特征較pool5層特征用于SVM訓練提升mAP十分明顯；?
由此作者得出結論：不針對特定任務進行微調，而將CNN當成特征提取器，pool5層得到的特征是基礎特征，類似于HOG、SIFT，類似于只學習到了人臉共性特征；從fc6和fc7等全連接層中所學習到的特征是針對特征任務特定樣本的特征，類似于學習到了分類性別分類年齡的個性特征。
為什么微調時和訓練SVM時所采用的正負樣本閾值【0.5和0.3】不一致？
微調階段是由于CNN對小樣本容易過擬合，需要大量訓練數據，故對IoU限制寬松：Ground Truth+與Ground Truth相交IoU>0.5的建議框為正樣本，否則為負樣本；?
SVM這種機制是由于其適用于小樣本訓練，故對樣本IoU限制嚴格：Ground Truth為正樣本，與Ground Truth相交IoU＜0.3的建議框為負樣本。
為什么不直接采用微調后的AlexNet CNN網絡最后一層SoftMax進行21分類【20類+背景】？
因為微調時和訓練SVM時所采用的正負樣本閾值不同，微調階段正樣本定義并不強調精準的位置，而SVM正樣本只有Ground Truth；并且微調階段的負樣本是隨機抽樣的，而SVM的負樣本是經過hard negative mining方法篩選的；導致在采用SoftMax會使PSACAL VOC 2007測試集上mAP從54.2%降低到50.9%。
&結果怎么樣
PASCAL VOC 2010測試集上實現了53.7%的mAP；
PASCAL VOC 2012測試集上實現了53.3%的mAP；
計算Region Proposals和features平均所花時間：13s/image on a GPU；53s/image on a CPU。
&還存在什么問題
很明顯，最大的缺點是對一張圖片的處理速度慢，這是由于一張圖片中由selective search算法得出的約2k個建議框都需要經過變形處理后由CNN前向網絡計算一次特征，這其中涵蓋了對一張圖片中多個重復區域的重復計算，很累贅；
知乎上有人說R-CNN網絡需要兩次CNN前向計算，第一次得到建議框特征給SVM分類識別，第二次對非極大值抑制后的建議框再次進行CNN前向計算獲得Pool5特征，以便對建議框進行回歸得到更精確的bounding-box，這里文中并沒有說是怎么做的，博主認為也可能在計算2k個建議框的CNN特征時，在硬盤上保留了2k個建議框的Pool5特征，雖然這樣做只需要一次CNN前向網絡運算，但是耗費大量磁盤空間；
訓練時間長，雖然文中沒有明確指出具體訓練時間，但由于采用RoI-centric sampling【從所有圖片的所有建議框中均勻取樣】進行訓練，那么每次都需要計算不同圖片中不同建議框CNN特征，無法共享同一張圖的CNN特征，訓練速度很慢；
整個測試過程很復雜，要先提取建議框，之后提取每個建議框CNN特征，再用SVM分類，做非極大值抑制，最后做bounding-box回歸才能得到圖片中物體的種類以及位置信息；同樣訓練過程也很復雜，ILSVRC 2012上預訓練CNN，PASCAL VOC 2007上微調CNN，做20類SVM分類器的訓練和20類bounding-box回歸器的訓練；這些不連續過程必然涉及到特征存儲、浪費磁盤空間等問題。
版權聲明：本文為博主原創文章，未經博主允許不得轉載。
http://blog.csdn.net/u011534057/article/details/51218250
基于R-CNN的物體檢測
參考地址：http://blog.csdn.NET/hjimce/article/details/50187029
一、相關理論
? ?本篇博文主要講解2014年CVPR上的經典paper：《Rich feature hierarchies?for?Accurate Object Detection and Segmentation》，這篇文章的算法思想又被稱之為：R-CNN（Regions with Convolutional Neural Network Features），是物體檢測領域曾經獲得state-of-art精度的經典文獻。
? ?這篇paper的思想，改變了物體檢測的總思路，現在好多文獻關于深度學習的物體檢測的算法，基本上都是繼承了這個思想，比如：《Spatial Pyramid Pooling in Deep Convolutional?Networks for Visual Recognition》，所以學習經典算法，有助于我們以后搞物體檢測的其它paper。
? ? 之前剛開始接觸物體檢測算法的時候，老是分不清deep learning中，物體檢測和圖片分類算法上的區別，弄得我頭好暈，終于在這篇paper上，看到了解釋。物體檢測和圖片分類的區別：圖片分類不需要定位，而物體檢測需要定位出物體的位置，也就是相當于把物體的bbox檢測出來，還有一點物體檢測是要把所有圖片中的物體都識別定位出來。
(筆記后感by ym：
個人理解testing整個流程即：先將region通過ss檢測出來(2k+)，然后根據cnn提取的region特征丟入svm進行分類(compute score)，得到的就是一個region-bbox以及對應的類別,再利用(IoU->nms)得到具體的框，目的防止泛濫，為了精確bbox，再根據pool5 feature做了個bbox regression來decrease location error，training的trick則為hnm＋finetuning)
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Selective Search
因為研究RCNN的需要，在這里看一下Selective Search的操作流程
原文鏈接：http://koen.me/research/pub/uijlings-ijcv2013-draft.pdf
選擇性搜索遵循如下的原則：
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
二、基礎知識
1、有監督預訓練與無監督預訓練
(1)無監督預訓練(Unsupervised pre-training)
無監督預訓練這個名詞我們比較熟悉，棧式自編碼、DBM采用的都是采用無監督預訓練。因為預訓練階段的樣本不需要人工標注數據，所以就叫做無監督預訓練。
(2)有監督預訓練(Supervised pre-training)
所謂的有監督預訓練，我們也可以把它稱之為遷移學習。比如你已經有一大堆標注好的人臉年齡分類的圖片數據，訓練了一個CNN，用于人臉的年齡識別。然后當你遇到新的項目任務是：人臉性別識別，那么這個時候你可以利用已經訓練好的年齡識別CNN模型，去掉最后一層，然后其它的網絡層參數就直接復制過來，繼續進行訓練。這就是所謂的遷移學習，說的簡單一點就是把一個任務訓練好的參數，拿到另外一個任務，作為神經網絡的初始參數值,這樣相比于你直接采用隨機初始化的方法，精度可以有很大的提高。
圖片分類標注好的訓練數據非常多，但是物體檢測的標注數據卻很少，如何用少量的標注數據，訓練高質量的模型，這就是文獻最大的特點，這篇paper采用了遷移學習的思想。文獻就先用了ILSVRC2012這個訓練數據庫（這是一個圖片分類訓練數據庫），先進行網絡的圖片分類訓練。這個數據庫有大量的標注數據，共包含了1000種類別物體，因此預訓練階段cnn模型的輸出是1000個神經元，或者我們也直接可以采用Alexnet訓練好的模型參數。
2、IOU的定義
因為沒有搞過物體檢測不懂IOU這個概念，所以就簡單介紹一下。物體檢測需要定位出物體的bounding box，就像下面的圖片一樣，我們不僅要定位出車輛的bounding box 我們還要識別出bounding box 里面的物體就是車輛。對于bounding box的定位精度，有一個很重要的概念，因為我們算法不可能百分百跟人工標注的數據完全匹配，因此就存在一個定位精度評價公式：IOU。
IOU定義了兩個bounding box的重疊度，如下圖所示：
矩形框A、B的一個重合度IOU計算公式為：
IOU=(A∩B)/(A∪B)
就是矩形框A、B的重疊面積占A、B并集的面積比例:
IOU=SI/(SA+SB-SI)
3、非極大值抑制
因為一會兒講RCNN算法，會從一張圖片中找出n多個可能是物體的矩形框，然后為每個矩形框為做類別分類概率：
就像上面的圖片一樣，定位一個車輛，最后算法就找出了一堆的方框，我們需要判別哪些矩形框是沒用的。非極大值抑制：先假設有6個矩形框，根據分類器類別分類概率做排序，從小到大分別屬于車輛的概率分別為A、B、C、D、E、F。
(1)從最大概率矩形框F開始，分別判斷A~E與F的重疊度IOU是否大于某個設定的閾值;
(2)假設B、D與F的重疊度超過閾值，那么就扔掉B、D；并標記第一個矩形框F，是我們保留下來的。
(3)從剩下的矩形框A、C、E中，選擇概率最大的E，然后判斷E與A、C的重疊度，重疊度大于一定的閾值，那么就扔掉；并標記E是我們保留下來的第二個矩形框。
就這樣一直重復，找到所有被保留下來的矩形框。
非極大值抑制（NMS）非極大值抑制顧名思義就是抑制不是極大值的元素，搜索局部的極大值。這個局部代表的是一個鄰域，鄰域有兩個參數可變，一是鄰域的維數，二是鄰域的大小。這里不討論通用的NMS算法，而是用于在目標檢測中用于提取分數最高的窗口的。例如在行人檢測中，滑動窗口經提取特征，經分類器分類識別后，每個窗口都會得到一個分數。但是滑動窗口會導致很多窗口與其他窗口存在包含或者大部分交叉的情況。這時就需要用到NMS來選取那些鄰域里分數最高（是行人的概率最大），并且抑制那些分數低的窗口。
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
canny detection(canny NMS)：對梯度幅值進行非極大值抑制
?? ? ? ?圖像梯度幅值矩陣中的元素值越大，說明圖像中該點的梯度值越大，但這不不能說明該點就是邊緣（這僅僅是屬于圖像增強的過程）。在Canny算法中，非極大值抑制是進行邊緣檢測的重要步驟，通俗意義上是指尋找像素點局部最大值，將非極大值點所對應的灰度值置為0，這樣可以剔除掉一大部分非邊緣的點（這是本人的理解）。圖1 非極大值抑制原理
?? ? ? ?根據圖1 可知，要進行非極大值抑制，就首先要確定像素點C的灰度值在其8值鄰域內是否為最大。圖1中藍色的線條方向為C點的梯度方向，這樣就可以確定其局部的最大值肯定分布在這條線上，也即出了C點外，梯度方向的交點dTmp1和dTmp2這兩個點的值也可能會是局部最大值。因此，判斷C點灰度與這兩個點灰度大小即可判斷C點是否為其鄰域內的局部最大灰度點。如果經過判斷，C點灰度值小于這兩個點中的任一個，那就說明C點不是局部極大值，那么則可以排除C點為邊緣。這就是非極大值抑制的工作原理。
?? ? ? ?作者認為，在理解的過程中需要注意以下兩點：
?? ? ? ?1）中非最大抑制是回答這樣一個問題：“當前的梯度值在梯度方向上是一個局部最大值嗎？” 所以,要把當前位置的梯度值與梯度方向上兩側的梯度值進行比較；
?? ? ? ?2）梯度方向垂直于邊緣方向。
?? ? ? ?但實際上，我們只能得到C點鄰域的8個點的值，而dTmp1和dTmp2并不在其中，要得到這兩個值就需要對該兩個點兩端的已知灰度進行線性插值，也即根據圖1中的g1和g2對dTmp1進行插值，根據g3和g4對dTmp2進行插值，這要用到其梯度方向，這是上文Canny算法中要求解梯度方向矩陣Thita的原因。
?? ? ? ?完成非極大值抑制后，會得到一個二值圖像，非邊緣的點灰度值均為0，可能為邊緣的局部灰度極大值點可設置其灰度為128。根據下文的具體測試圖像可以看出，這樣一個檢測結果還是包含了很多由噪聲及其他原因造成的假邊緣。因此還需要進一步的處理。------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
4、VOC物體檢測任務
這個就相當于一個競賽，里面包含了20個物體類別：http://host.robots.ox.ac.uk/pascal/VOC/voc2012/examples/index.html? 還有一個背景，總共就相當于21個類別，因此一會設計fine-tuning CNN的時候，我們softmax分類輸出層為21個神經元。
三、算法總體思路?
? ? 開始講解paper前，我們需要先把握總體思路，才容易理解paper的算法。
(作者通過在recongnition using regions操作的方法來解決CNN的定位問題，這個方法在目標檢測和語義分割中都取得了成功。測試階段，這個方法對每一個輸入的圖片產生近2000個不分種類的“region proposals，使用CNNs從每個region proposals”中提取一個固定長度的特征向量，然后對每個region proposal(SS for Detction)提取的特征向量使用特定種類的線性SVM進行分類(CNN+SVM for classification)。)
? ? 圖片分類與物體檢測不同，物體檢測需要定位出物體的位置，這種就相當于回歸問題，求解一個包含物體的方框。而圖片分類其實是邏輯回歸。這種方法對于單物體檢測還不錯，但是對于多物體檢測就……
? ? 因此paper采用的方法是：首先輸入一張圖片，我們先定位出2000個物體候選框，然后采用CNN提取每個候選框中圖片的特征向量，特征向量的維度為4096維，接著采用svm算法對各個候選框中的物體進行分類識別。也就是總個過程分為三個程序：a、找出候選框；b、利用CNN提取特征向量；c、利用SVM進行特征向量分類。具體的流程如下圖片所示：
后面我們將根據這三個過程，進行每個步驟的詳細講解。
四、候選框搜索階段
(作者也考慮過使用一個滑動窗口的方法，然而由于更深的網絡，更大的輸入圖片和滑動步長，使得使用滑動窗口來定位的方法充滿了挑戰)
1、實現方式
當我們輸入一張圖片時，我們要搜索出所有可能是物體的區域，這個采用的方法是傳統文獻的算法：《search for object recognition》，通過這個算法我們搜索出2000個候選框。然后從上面的總流程圖中可以看到，搜出的候選框是矩形的，而且是大小各不相同。然而CNN對輸入圖片的大小是有固定的，如果把搜索到的矩形選框不做處理，就扔進CNN中，肯定不行。因此對于每個輸入的候選框都需要縮放到固定的大小。下面我們講解要怎么進行縮放處理，為了簡單起見我們假設下一階段CNN所需要的輸入圖片大小是個正方形圖片227*227。因為我們經過selective search 得到的是矩形框，paper試驗了兩種不同的處理方法：
(1)各向異性縮放
這種方法很簡單，就是不管圖片的長寬比例，管它是否扭曲，進行縮放就是了，全部縮放到CNN輸入的大小227*227，如下圖(D)所示；
(2)各向同性縮放
因為圖片扭曲后，估計會對后續CNN的訓練精度有影響，于是作者也測試了“各向同性縮放”方案。這個有兩種辦法
A、直接在原始圖片中，把bounding box的邊界進行擴展延伸成正方形，然后再進行裁剪；如果已經延伸到了原始圖片的外邊界，那么就用bounding box中的顏色均值填充；如下圖(B)所示;
B、先把bounding box圖片裁剪出來，然后用固定的背景顏色填充成正方形圖片(背景顏色也是采用bounding box的像素顏色均值),如下圖(C)所示;
對于上面的異性、同性縮放，文獻還有個padding處理，上面的示意圖中第1、3行就是結合了padding=0,第2、4行結果圖采用padding=16的結果。經過最后的試驗，作者發現采用各向異性縮放、padding=16的精度最高，具體不再啰嗦。
OK，上面處理完后，可以得到指定大小的圖片，因為我們后面還要繼續用這2000個候選框圖片，繼續訓練CNN、SVM。然而人工標注的數據一張圖片中就只標注了正確的bounding box，我們搜索出來的2000個矩形框也不可能會出現一個與人工標注完全匹配的候選框。
因此我們需要用IOU為2000個bounding box打標簽，以便下一步CNN訓練使用。在CNN階段，如果用selective?search挑選出來的候選框與物體的人工標注矩形框的重疊區域IoU大于0.5，那么我們就把這個候選框標注成物體類別，否則我們就把它當做背景類別。SVM階段的正負樣本標簽問題，等到了svm講解階段我再具體講解。
五、CNN特征提取階段
1、算法實現
a、網絡結構設計階段
網絡架構我們有兩個可選方案：第一選擇經典的Alexnet；第二選擇VGG16。經過測試Alexnet精度為58.5%，VGG16精度為66%。VGG這個模型的特點是選擇比較小的卷積核、選擇較小的跨步，這個網絡的精度高，不過計算量是Alexnet的7倍。后面為了簡單起見，我們就直接選用Alexnet，并進行講解；Alexnet特征提取部分包含了5個卷積層、2個全連接層，在Alexnet中p5層神經元個數為9216、?f6、f7的神經元個數都是4096，通過這個網絡訓練完畢后，最后提取特征每個輸入候選框圖片都能得到一個4096維的特征向量。
b、網絡有監督預訓練階段
參數初始化部分：物體檢測的一個難點在于，物體標簽訓練數據少，如果要直接采用隨機初始化CNN參數的方法，那么目前的訓練數據量是遠遠不夠的。這種情況下，最好的是采用某些方法，把參數初始化了，然后在進行有監督的參數微調，這邊文獻采用的是有監督的預訓練。所以paper在設計網絡結構的時候，是直接用Alexnet的網絡，然后連參數也是直接采用它的參數，作為初始的參數值，然后再fine-tuning訓練。
網絡優化求解：采用隨機梯度下降法，學習速率大小為0.001；
C、fine-tuning階段
我們接著采用selective?search?搜索出來的候選框，然后處理到指定大小圖片，繼續對上面預訓練的cnn模型進行fine-tuning訓練。假設要檢測的物體類別有N類，那么我們就需要把上面預訓練階段的CNN模型的最后一層給替換掉，替換成N+1個輸出的神經元(加1，表示還有一個背景) (20 + 1bg)，然后這一層直接采用參數隨機初始化的方法，其它網絡層的參數不變；接著就可以開始繼續SGD訓練了。開始的時候，SGD學習率選擇0.001，在每次訓練的時候，我們batch?size大小選擇128，其中32個事正樣本、96個事負樣本（正負樣本的定義前面已經提過，不再解釋）。
2、問題解答
OK，看完上面的CNN過程后，我們會有一些細節方面的疑問。首先，反正CNN都是用于提取特征，那么我直接用Alexnet做特征提取，省去fine-tuning階段可以嗎？這個是可以的，你可以不需重新訓練CNN，直接采用Alexnet模型，提取出p5、或者f6、f7的特征，作為特征向量，然后進行訓練svm，只不過這樣精度會比較低。那么問題又來了，沒有fine-tuning的時候，要選擇哪一層的特征作為cnn提取到的特征呢？我們有可以選擇p5、f6、f7，這三層的神經元個數分別是9216、4096、4096。從p5到p6這層的參數個數是：4096*9216?，從f6到f7的參數是4096*4096。那么具體是選擇p5、還是f6，又或者是f7呢？
文獻paper給我們證明了一個理論，如果你不進行fine-tuning，也就是你直接把Alexnet模型當做萬金油使用，類似于HOG、SIFT一樣做特征提取，不針對特定的任務。然后把提取的特征用于分類，結果發現p5的精度竟然跟f6、f7差不多，而且f6提取到的特征還比f7的精度略高；如果你進行fine-tuning了，那么f7、f6的提取到的特征最會訓練的svm分類器的精度就會飆漲。
據此我們明白了一個道理，如果不針對特定任務進行fine-tuning，而是把CNN當做特征提取器，卷積層所學到的特征其實就是基礎的共享特征提取層，就類似于SIFT算法一樣，可以用于提取各種圖片的特征，而f6、f7所學習到的特征是用于針對特定任務的特征。
打個比方：對于人臉性別識別來說，一個CNN模型前面的卷積層所學習到的特征就類似于學習人臉共性特征，然后全連接層所學習的特征就是針對性別分類的特征了。
還有另外一個疑問：CNN訓練的時候，本來就是對bounding?box的物體進行識別分類訓練，是一個端到端的任務，在訓練的時候最后一層softmax就是分類層.
那么為什么作者閑著沒事干要先用CNN做特征提取（提取fc7層數據），然后再把提取的特征用于訓練svm分類器？
這個是因為svm訓練和cnn訓練過程的正負樣本定義方式各有不同，導致最后采用CNN softmax輸出比采用svm精度還低。
事情是這樣的，cnn在訓練的時候，對訓練數據做了比較寬松的標注，比如一個bounding?box可能只包含物體的一部分，那么我也把它標注為正樣本，用于訓練cnn；采用這個方法的主要原因在于因為CNN容易過擬合，所以需要大量的訓練數據，所以在CNN訓練階段我們是對Bounding box的位置限制條件限制的比較松(IOU只要大于0.5都被標注為正樣本了)；
然而svm訓練的時候，因為svm適用于少樣本訓練，所以對于訓練樣本數據的IOU要求比較嚴格，我們只有當bounding?box把整個物體都包含進去了，我們才把它標注為物體類別，然后訓練svm，具體請看下文。
六、SVM訓練、測試階段
這是一個二分類問題，我么假設我們要檢測車輛。我們知道只有當bounding?box把整量車都包含在內，那才叫正樣本；如果bounding box 沒有包含到車輛，那么我們就可以把它當做負樣本。但問題是當我們的檢測窗口只有部分包好物體，那該怎么定義正負樣本呢？作者測試了IOU閾值各種方案數值0,0.1,0.2,0.3,0.4,0.5。最后我們通過訓練發現，如果選擇IOU閾值為0.3效果最好（選擇為0精度下降了4個百分點，選擇0.5精度下降了5個百分點）,即當重疊度小于0.3的時候，我們就把它標注為負樣本。一旦CNN f7層特征被提取出來，那么我們將為每個物體累訓練一個svm分類器。當我們用CNN提取2000個候選框，可以得到2000*4096這樣的特征向量矩陣，然后我們只需要把這樣的一個矩陣與svm權值矩陣4096*N點（Therefore，the pool5 need to be set as）乘(N為分類類別數目，因為我們訓練的N個svm，每個svm包好了4096個W)，就可以得到結果了。
參考文獻：
1、《Rich feature hierarchies?for?Accurate Object Detection and Segmentation》
2、《Spatial Pyramid Pooling in Deep Convolutional?Networks for Visual Recognition》
reference link:?http://blog.csdn.NET/shenxiaolu1984/article/details/51066975
Region CNN(RCNN)可以說是利用深度學習進行目標檢測的開山之作。作者Ross Girshick多次在PASCAL VOC的目標檢測競賽中折桂，2010年更帶領團隊獲得終身成就獎，如今供職于Facebook旗下的FAIR。?
這篇文章思路簡潔，在DPM方法多年平臺期后，效果提高顯著。包括本文在內的一系列目標檢測算法：RCNN,Fast RCNN,?Faster RCNN代表當下目標檢測的前沿水平，在github都給出了基于Caffe的源碼。
思想
本文解決了目標檢測中的兩個關鍵問題。
問題一：速度
經典的目標檢測算法使用滑動窗法依次判斷所有可能的區域。本文則預先提取一系列較可能是物體的候選區域，之后僅在這些候選區域上提取特征，進行判斷。
問題二：訓練集
經典的目標檢測算法在區域中提取人工設定的特征（Haar，HOG）。本文則需要訓練深度網絡進行特征提取。可供使用的有兩個數據庫：?
一個較大的識別庫（ImageNet ILSVC 2012）：標定每張圖片中物體的類別。一千萬圖像，1000類。?
一個較小的檢測庫（PASCAL VOC 2007）：標定每張圖片中，物體的類別和位置。一萬圖像，20類。?
本文使用識別庫進行預訓練，而后用檢測庫調優參數。最后在檢測庫上評測。
流程
RCNN算法分為4個步驟?
- 一張圖像生成1K~2K個候選區域?
- 對每個候選區域，使用深度網絡提取特征?
- 特征送入每一類的SVM?分類器，判別是否屬于該類?
- 使用回歸器精細修正候選框位置?
候選區域生成
使用了Selective Search1方法從一張圖像生成約2000-3000個候選區域。基本思路如下：?
- 使用一種過分割手段，將圖像分割成小區域?
- 查看現有小區域，合并可能性最高的兩個區域。重復直到整張圖像合并成一個區域位置?
- 輸出所有曾經存在過的區域，所謂候選區域
候選區域生成和后續步驟相對獨立，實際可以使用任意算法進行。
合并規則
優先合并以下四種區域：?
- 顏色（顏色直方圖）相近的?
- 紋理（梯度直方圖）相近的?
- 合并后總面積小的?
- 合并后，總面積在其BBOX中所占比例大的
第三條，保證合并操作的尺度較為均勻，避免一個大區域陸續“吃掉”其他小區域。
例：設有區域a-b-c-d-e-f-g-h。較好的合并方式是：ab-cd-ef-gh -> abcd-efgh -> abcdefgh。?
不好的合并方法是：ab-c-d-e-f-g-h ->abcd-e-f-g-h ->abcdef-gh -> abcdefgh。
第四條，保證合并后形狀規則。
例：左圖適于合并，右圖不適于合并。?
上述四條規則只涉及區域的顏色直方圖、紋理直方圖、面積和位置。合并后的區域特征可以直接由子區域特征計算而來，速度較快。
多樣化與后處理
為盡可能不遺漏候選區域，上述操作在多個顏色空間中同時進行（RGB,HSV,Lab等）。在一個顏色空間中，使用上述四條規則的不同組合進行合并。所有顏色空間與所有規則的全部結果，在去除重復后，都作為候選區域輸出。
作者提供了Selective Search的源碼，內含較多.p文件和.mex文件，難以細查具體實現。
特征提取
預處理
使用深度網絡提取特征之前，首先把候選區域歸一化成同一尺寸227×227。?
此處有一些細節可做變化：外擴的尺寸大小，形變時是否保持原比例，對框外區域直接截取還是補灰。會輕微影響性能。
預訓練
網絡結構?
基本借鑒Hinton 2012年在Image Net上的分類網絡2，略作簡化3。?
?
此網絡提取的特征為4096維，之后送入一個4096->1000的全連接(fc)層進行分類。?
學習率0.01。
訓練數據?
使用ILVCR 2012的全部數據進行訓練，輸入一張圖片，輸出1000維的類別標號。
調優訓練
網絡結構?
同樣使用上述網絡，最后一層換成4096->21的全連接網絡。?
學習率0.001，每一個batch包含32個正樣本（屬于20類）和96個背景。
訓練數據?
使用PASCAL VOC 2007的訓練集，輸入一張圖片，輸出21維的類別標號，表示20類+背景。?
考察一個候選框和當前圖像上所有標定框重疊面積最大的一個。如果重疊比例大于0.5，則認為此候選框為此標定的類別；否則認為此候選框為背景。
類別判斷
分類器?
對每一類目標，使用一個線性SVM二類分類器進行判別。輸入為深度網絡輸出的4096維特征，輸出是否屬于此類。?
由于負樣本很多，使用hard negative mining方法。?
正樣本?
本類的真值標定框。?
負樣本?
考察每一個候選框，如果和本類所有標定框的重疊都小于0.3，認定其為負樣本
位置精修
目標檢測問題的衡量標準是重疊面積：許多看似準確的檢測結果，往往因為候選框不夠準確，重疊面積很小。故需要一個位置精修步驟。?
回歸器?
對每一類目標，使用一個線性脊回歸器進行精修。正則項。?
輸入為深度網絡pool5層的4096維特征，輸出為xy方向的縮放和平移。?
訓練樣本?
判定為本類的候選框中，和真值重疊面積大于0.6的候選框。
結果
論文發表的2014年，DPM已經進入瓶頸期，即使使用復雜的特征和結構得到的提升也十分有限。本文將深度學習引入檢測領域，一舉將PASCAL VOC上的檢測率從35.1%提升到53.7%。?
本文的前兩個步驟（候選區域提取+特征提取）與待檢測類別無關，可以在不同類之間共用。這兩步在GPU上約需13秒。?
同時檢測多類時，需要倍增的只有后兩步驟（判別+精修），都是簡單的線性運算，速度很快。這兩步對于100K類別只需10秒。
以本論文為基礎，后續的fast RCNN4（參看這篇博客）和faster RCNN5（參看這篇博客）在速度上有突飛猛進的發展，基本解決了PASCAL VOC上的目標檢測問題。
總結
- 上一篇： aspnet_regsql在哪里 怎么运
- 下一篇： 数据结构基础(14) --链式队列的设