目標(biāo)檢測(cè)與MMDetection

• 目標(biāo)檢測(cè)的基本范式
• • 什么是目標(biāo)檢測(cè)
  • • 發(fā)展
    • 目標(biāo)檢測(cè)技術(shù)的演進(jìn)
  • 基礎(chǔ)知識(shí)
  • • 框
    • 交并比IoU
  • 目標(biāo)檢測(cè)的基本思路
  • • 滑窗
    • 感受野
    • 使用卷積實(shí)現(xiàn)密集預(yù)測(cè)
    • 邊界框回歸
    • 非極大值抑制
    • 密集預(yù)測(cè)的流程
    • 密集預(yù)測(cè)模型的訓(xùn)練
    • 密集檢測(cè)的思路
    • 多尺度檢測(cè)與FPN
• 單階段&無(wú)錨框檢測(cè)器選講
• • RPN
  • YOLO、SSD
  • Focal Loss與RetinaNet
  • FCOS
  • YOLO系列選講

視頻鏈接：目標(biāo)檢測(cè)與MMDetection

目標(biāo)檢測(cè)的基本范式

什么是目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是在給定的圖片中用矩形框框出所有感興趣物體同時(shí)預(yù)測(cè)物體類別的過(guò)程。

• 圖像分類和目標(biāo)檢測(cè)的異同
  
  目標(biāo)檢測(cè)在生活中有非常廣泛的應(yīng)用，例如人臉識(shí)別、智慧城市、自動(dòng)駕駛等。也可作為其他下游視覺(jué)任務(wù)的基礎(chǔ)，例如OCR、姿態(tài)識(shí)別等等。

發(fā)展

早期是傳統(tǒng)方法DPM，在進(jìn)入深度學(xué)習(xí)階段之后就有了更多算法。

• 根據(jù)算法階段來(lái)劃分。 首先出現(xiàn)的是兩階段算法，以R-CNN和Faster R-CNN為代表；此后是單階段算法，以YOLO和SSD為代表。
• 根據(jù)是否使用Transformer。 2020年左右，涌現(xiàn)了諸多基于Transformer的方法，例如DETR、ViT等等。
• 如今基于CNN和TR的方法日趨成熟，學(xué)術(shù)界開(kāi)始在探討Open Vocabulary Detection，希望目標(biāo)檢測(cè)算法能夠不局限在有標(biāo)注的數(shù)據(jù)集中。

目標(biāo)檢測(cè)技術(shù)的演進(jìn)

基礎(chǔ)知識(shí)

框

是橫平豎直的框，如果是旋轉(zhuǎn)的是旋轉(zhuǎn)目標(biāo)檢測(cè)這一小類。

交并比IoU

如果存在多個(gè)框，那么就需要考慮框之間的關(guān)系。最常用的方法就是交并比。

IoU是介于[0,1]的數(shù)值。后續(xù)也有很多新的IoU方式，例如CIoU、DIoU等等

目標(biāo)檢測(cè)的基本思路

滑窗

如上述圖片所示：滑窗法首先是通過(guò)設(shè)定一個(gè)固定大小的窗口，然后按照一定規(guī)律遍歷圖像所有位置。在遍歷的時(shí)候根據(jù)滑窗對(duì)圖像進(jìn)行一個(gè)裁剪，然后對(duì)滑窗內(nèi)的圖片進(jìn)行分類，根據(jù)分類分?jǐn)?shù)來(lái)判斷屬于前景還是背景。

但是滑窗方法的效率是非常低的。

為了減少不同滑窗中被同一卷積計(jì)算的冗余，可以用卷積對(duì)全圖進(jìn)行計(jì)算，然后通過(guò)卷積的位置一致性取出對(duì)應(yīng)位置的特征。

感受野

感受野的計(jì)算

有效感受野（感受野的大小）

使用卷積實(shí)現(xiàn)密集預(yù)測(cè)

不同感受野自然形成了一系列等距離分布的滑窗。本來(lái)在每個(gè)滑窗的部分都有線性分類的過(guò)程，可以對(duì)其進(jìn)行維度上的轉(zhuǎn)置，得到一個(gè)$1\times 1\times C_{in}\times C_{out}$的卷積，實(shí)現(xiàn)特征圖的密集預(yù)測(cè)。這樣就可以一次性計(jì)算出所有位置上包含物體的概率。

邊界框回歸

神經(jīng)網(wǎng)絡(luò)對(duì)于回歸比起分類任務(wù)還是比較困難的，所以設(shè)置一個(gè)錨框還是能降低難度。當(dāng)然錨框也不是純粹為了回歸任務(wù)，也可以檢測(cè)出不同大小的物體還有重疊物體。

非極大值抑制

預(yù)測(cè)結(jié)果中，可能多個(gè)預(yù)測(cè)結(jié)果間存在重疊部分，需要保留交并比最大的、去掉非最大的預(yù)測(cè)結(jié)果，這就是非極大值抑制（Non-Maximum Suppression，簡(jiǎn)寫作NMS）。

密集預(yù)測(cè)的流程

密集預(yù)測(cè)模型的訓(xùn)練

GT怎么映射到密集預(yù)測(cè)中呢？因?yàn)闃?biāo)注的時(shí)候只會(huì)標(biāo)出物體，那么如何用這個(gè)稀疏的標(biāo)注去產(chǎn)生一個(gè)密集的GT，這個(gè)過(guò)程就是匹配。

采樣：自然的想，存在以下兩種情況