原址：https://blog.csdn.net/u010167269/article/details/52563573?

Preface

這是今年 ECCV 2016 的一篇文章，是 UNC Chapel Hill（北卡羅來納大學(xué)教堂山分校） 的 Wei Liu 大神的新作，論文代碼：https://github.com/weiliu89/caffe/tree/ssd

有幾點更新：
1. 看到一篇 blog 對檢測做了一個總結(jié)、收集，強烈推薦： Object Detection
2. 還有，今天在微博上看到 VOC2012 的榜單又被刷新了，微博原地址為：這里，如下圖：

3. 目前 voc 2012 的榜單 如下：

做目標檢測這塊的多關(guān)注哦～

Abstract

這篇文章在既保證速度，又要保證精度的情況下，提出了 SSD 物體檢測模型，與現(xiàn)在流行的檢測模型一樣，將檢測過程整個成一個 single deep neural network。便于訓(xùn)練與優(yōu)化，同時提高檢測速度。

SSD 將輸出一系列 離散化（discretization） 的 bounding boxes，這些 bounding boxes 是在 不同層次（layers） 上的 feature maps 上生成的，并且有著不同的 aspect ratio。

在 prediction 階段：

• 要計算出每一個 default box 中的物體，其屬于每個類別的可能性，即 score，得分。如對于 PASCAL VOC 數(shù)據(jù)集，總共有 20 類，那么得出每一個 bounding box 中物體屬于這 20 個類別的每一種的可能性。

• 同時，要對這些 bounding boxes 的 shape 進行微調(diào)，以使得其符合物體的 外接矩形。

• 還有就是，為了處理相同物體的不同尺寸的情況，SSD 結(jié)合了不同分辨率的 feature maps 的 predictions。

相對于那些需要 object proposals 的檢測模型，本文的 SSD 方法完全取消了 proposals generation、pixel resampling 或者 feature resampling 這些階段。這樣使得 SSD 更容易去優(yōu)化訓(xùn)練，也更容易地將檢測模型融合進系統(tǒng)之中。

在 PASCAL VOC、MS COCO、ILSVRC 數(shù)據(jù)集上的實驗顯示，SSD 在保證精度的同時，其速度要比用 region proposals 的方法要快很多。

SSD 相比較于其他單結(jié)構(gòu)模型（YOLO），SSD 取得更高的精度，即是是在輸入圖像較小的情況下。如輸入 300×300300×300 大小的 PASCAL VOC 2007 test 圖像，在 Titan X 上，SSD 以 58 幀的速率，同時取得了 72.1%72.1% 的 mAP。

如果輸入的圖像是 500×500500×500，SSD 則取得了 75.1%75.1% 的 mAP，比目前最 state-of-art 的 Faster R-CNN 要好很多。

Introduction

現(xiàn)金流行的 state-of-art 的檢測系統(tǒng)大致都是如下步驟，先生成一些假設(shè)的 bounding boxes，然后在這些 bounding boxes 中提取特征，之后再經(jīng)過一個分類器，來判斷里面是不是物體，是什么物體。

這類 pipeline 自從 IJCV 2013, Selective Search for Object Recognition 開始，到如今在 PASCAL VOC、MS COCO、ILSVRC 數(shù)據(jù)集上取得領(lǐng)先的基于 Faster R-CNN 的 ResNet 。但這類方法對于嵌入式系統(tǒng)，所需要的計算時間太久了，不足以實時的進行檢測。當然也有很多工作是朝著實時檢測邁進，但目前為止，都是犧牲檢測精度來換取時間。

本文提出的實時檢測方法，消除了中間的 bounding boxes、pixel or feature resampling 的過程。雖然本文不是第一篇這樣做的文章（YOLO），但是本文做了一些提升性的工作，既保證了速度，也保證了檢測精度。

這里面有一句非常關(guān)鍵的話，基本概括了本文的核心思想：

Our improvements include using a small convolutional filter to predict object categories and offsets in bounding box locations, using separate predictors (filters) for different aspect ratio detections, and applying these filters to multiple feature maps from the later stages of a network in order to perform detection at multiple scales.

本文的主要貢獻總結(jié)如下：

• 提出了新的物體檢測方法：SSD，比原先最快的 YOLO: You Only Look Once 方法，還要快，還要精確。保證速度的同時，其結(jié)果的 mAP 可與使用 region proposals 技術(shù)的方法（如 Faster R-CNN）相媲美。

• SSD 方法的核心就是 predict object（物體），以及其 歸屬類別的 score（得分）；同時，在 feature map 上使用小的卷積核，去 predict 一系列 bounding boxes 的 box offsets。

• 本文中為了得到高精度的檢測結(jié)果，在不同層次的 feature maps 上去 predict object、box offsets，同時，還得到不同 aspect ratio 的 predictions。

• 本文的這些改進設(shè)計，能夠在當輸入分辨率較低的圖像時，保證檢測的精度。同時，這個整體 end-to-end 的設(shè)計，訓(xùn)練也變得簡單。在檢測速度、檢測精度之間取得較好的 trade-off。

• 本文提出的模型（model）在不同的數(shù)據(jù)集上，如 PASCAL VOC、MS COCO、ILSVRC， 都進行了測試。在檢測時間（timing）、檢測精度（accuracy）上，均與目前物體檢測領(lǐng)域 state-of-art 的檢測方法進行了比較。

The Single Shot Detector（SSD）

這部分詳細講解了 SSD 物體檢測框架，以及 SSD 的訓(xùn)練方法。

這里，先弄清楚下文所說的 default box 以及 feature map cell 是什么。看下圖：

• feature map cell 就是將 feature map 切分成 8×88×8 或者 4×44×4 之后的一個個 格子；

• 而 default box 就是每一個格子上，一系列固定大小的 box，即圖中虛線所形成的一系列 boxes。

Model

SSD 是基于一個前向傳播 CNN 網(wǎng)絡(luò)，產(chǎn)生一系列 固定大小（fixed-size） 的 bounding boxes，以及每一個 box 中包含物體實例的可能性，即 score。之后，進行一個 非極大值抑制（Non-maximum suppression） 得到最終的 predictions。

SSD 模型的最開始部分，本文稱作 base network，是用于圖像分類的標準架構(gòu)。在 base network 之后，本文添加了額外輔助的網(wǎng)絡(luò)結(jié)構(gòu)：

• Multi-scale feature maps for detection
  在基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)后，添加了額外的卷積層，這些卷積層的大小是逐層遞減的，可以在多尺度下進行 predictions。

• Convolutional predictors for detection
  每一個添加的特征層（或者在基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)中的特征層），可以使用一系列 convolutional filters，去產(chǎn)生一系列固定大小的 predictions，具體見 Fig.2。對于一個大小為 m×nm×n，具有 pp 通道的特征層，使用的 convolutional filters 就是 3×3×p3×3×p 的 kernels。產(chǎn)生的 predictions，那么就是歸屬類別的一個得分，要么就是相對于 default box coordinate 的 shape offsets。
  在每一個 m×nm×n 的特征圖位置上，使用上面的 3×33×3 的 kernel，會產(chǎn)生一個輸出值。bounding box offset 值是輸出的 default box 與此時 feature map location 之間的相對距離（YOLO 架構(gòu)則是用一個全連接層來代替這里的卷積層）。

• Default boxes and aspect ratios
  每一個 box 相對于與其對應(yīng)的 feature map cell 的位置是固定的。 在每一個 feature map cell 中，我們要 predict 得到的 box 與 default box 之間的 offsets，以及每一個 box 中包含物體的 score（每一個類別概率都要計算出）。
  因此，對于一個位置上的 kk 個boxes 中的每一個 box，我們需要計算出 cc 個類，每一個類的 score，還有這個 box 相對于 它的默認 box 的 4 個偏移值（offsets）。于是，在 feature map 中的每一個 feature map cell 上，就需要有 (c+4)×k(c+4)×k 個 filters。對于一張 m×nm×n 大小的 feature map，即會產(chǎn)生 (c+4)×k×m×n(c+4)×k×m×n 個輸出結(jié)果。

這里的 default box 很類似于 Faster R-CNN 中的 Anchor boxes，關(guān)于這里的 Anchor boxes，詳細的參見原論文。但是又不同于 Faster R-CNN 中的，本文中的 Anchor boxes 用在了不同分辨率的 feature maps 上。

Training

在訓(xùn)練時，本文的 SSD 與那些用 region proposals + pooling 方法的區(qū)別是，SSD 訓(xùn)練圖像中的 groundtruth 需要賦予到那些固定輸出的 boxes 上。在前面也已經(jīng)提到了，SSD 輸出的是事先定義好的，一系列固定大小的 bounding boxes。

如下圖中，狗狗的 groundtruth 是紅色的 bounding boxes，但進行 label 標注的時候，要將紅色的 groundtruth box 賦予 圖（c）中一系列固定輸出的 boxes 中的一個，即 圖（c）中的紅色虛線框。

事實上，文章中指出，像這樣定義的 groundtruth boxes 不止在本文中用到。在 YOLO 中，在 Faster R-CNN 中的 region proposal 階段，以及在 MultiBox 中，都用到了。

當這種將訓(xùn)練圖像中的 groundtruth 與固定輸出的 boxes 對應(yīng)之后，就可以 end-to-end 的進行 loss function 的計算以及 back-propagation 的計算更新了。

訓(xùn)練中會遇到一些問題：

• 選擇一系列 default boxes

• 選擇上文中提到的 scales 的問題

• hard negative mining

• 數(shù)據(jù)增廣的策略

下面會談本文的解決這些問題的方式，分為以下下面的幾個部分。

Matching strategy：

如何將 groundtruth boxes 與 default boxes 進行配對，以組成 label 呢？

在開始的時候，用 MultiBox 中的 best jaccard overlap 來匹配每一個 ground truth box 與 default box，這樣就能保證每一個 groundtruth box 與唯一的一個 default box 對應(yīng)起來。

但是又不同于 MultiBox ，本文之后又將 default box 與任何的 groundtruth box 配對，只要兩者之間的 jaccard overlap 大于一個閾值，這里本文的閾值為 0.5。

Training objective：

SSD 訓(xùn)練的目標函數(shù)（training objective）源自于 MultiBox 的目標函數(shù)，但是本文將其拓展，使其可以處理多個目標類別。用 xpij=1xijp=1 表示 第 ii 個 default box 與 類別 pp 的 第 jj 個 ground truth box 相匹配，否則若不匹配的話，則 xpij=0xijp=0。

根據(jù)上面的匹配策略，一定有 ∑ixpij≥1∑ixijp≥1，意味著對于 第 jj 個 ground truth box，有可能有多個 default box 與其相匹配。

總的目標損失函數(shù)（objective loss function）就由 localization loss（loc） 與 confidence loss（conf） 的加權(quán)求和：

L(x,c,l,g)=1N(Lconf(x,c)+αLloc(x,l,g))L(x,c,l,g)=1N(Lconf(x,c)+αLloc(x,l,g))

其中：

• NN 是與 ground truth box 相匹配的 default boxes 個數(shù)

• localization loss（loc） 是 Fast R-CNN 中 Smooth L1 Loss，用在 predict box（ll） 與 ground truth box（gg） 參數(shù)（即中心坐標位置，width、height）中，回歸 bounding boxes 的中心位置，以及 width、height

• confidence loss（conf） 是 Softmax Loss，輸入為每一類的置信度 cc

• 權(quán)重項 αα，設(shè)置為 1

Choosing scales and aspect ratios for default boxes：

大部分 CNN 網(wǎng)絡(luò)在越深的層，feature map 的尺寸（size）會越來越小。這樣做不僅僅是為了減少計算與內(nèi)存的需求，還有個好處就是，最后提取的 feature map 就會有某種程度上的平移與尺度不變性。

同時為了處理不同尺度的物體，一些文章，如 ICLR 2014, Overfeat: Integrated recognition, localization and detection using convolutional networks，還有 ECCV 2014, Spatial pyramid pooling in deep convolutional networks for visual recognition，他們將圖像轉(zhuǎn)換成不同的尺度，將這些圖像獨立的通過 CNN 網(wǎng)絡(luò)處理，再將這些不同尺度的圖像結(jié)果進行綜合。

但是其實，如果使用同一個網(wǎng)絡(luò)中的、不同層上的 feature maps，也可以達到相同的效果，同時在所有物體尺度中共享參數(shù)。

之前的工作，如 CVPR 2015, Fully convolutional networks for semantic segmentation，還有 CVPR 2015, Hypercolumns for object segmentation and fine-grained localization 就用了 CNN 前面的 layers，來提高圖像分割的效果，因為越底層的 layers，保留的圖像細節(jié)越多。文章 ICLR 2016, ParseNet: Looking wider to see better 也證明了以上的想法是可行的。

因此，本文同時使用 lower feature maps、upper feature maps 來 predict detections。下圖展示了本文中使用的兩種不同尺度的 feature map，8×88×8 的feature map，以及 4×44×4 的 feature map：

一般來說，一個 CNN 網(wǎng)絡(luò)中不同的 layers 有著不同尺寸的 感受野（receptive fields）。這里的感受野，指的是輸出的 feature map 上的一個節(jié)點，其對應(yīng)輸入圖像上尺寸的大小。具體的感受野的計算，參見兩篇 blog：

• http://blog.csdn.net/kuaitoukid/article/details/46829355
• http://blog.cvmarcher.com/posts/2015/05/17/cnn-trick/

所幸的是，SSD 結(jié)構(gòu)中，default boxes 不必要與每一層 layer 的 receptive fields 對應(yīng)。本文的設(shè)計中，feature map 中特定的位置，來負責圖像中特定的區(qū)域，以及物體特定的尺寸。加入我們用 mm 個 feature maps 來做 predictions，每一個 feature map 中 default box 的尺寸大小計算如下：

sk=smin+smax?sminm?1(k?1),??????????k∈[1,m]sk=smin+smax?sminm?1(k?1),??????????k∈[1,m]
其中，sminsmin 取值 0.20.2，smaxsmax 取值 0.950.95，意味著最低層的尺度是 0.20.2，最高層的尺度是 0.950.95，再用不同 aspect ratio 的 default boxes，用 arar 來表示：ar={1,2,3,12,13}ar={1,2,3,12,13}，則每一個 default boxes 的 width、height 就可以計算出來：
wak=skar??√hak=sk/ar??√wka=skarhka=sk/ar
對于 aspect ratio 為 1 時，本文還增加了一個 default box，這個 box 的 scale 是 s′k=sksk+1?????√s′k=sksk+1。所以最終，在每個 feature map location 上，有 6 個 default boxes。

每一個 default box 的中心，設(shè)置為：(i+0.5|fk|,j+0.5|fk|)(i+0.5|fk|,j+0.5|fk|)，其中，|fk||fk| 是第 kk 個 feature map 的大小，同時，i,j∈[0,|fk|)i,j∈[0,|fk|)。

在結(jié)合 feature maps 上，所有 不同尺度、不同 aspect ratios 的 default boxes，它們預(yù)測的 predictions 之后。可以想見，我們有許多個 predictions，包含了物體的不同尺寸、形狀。如下圖，狗狗的 ground truth box 與 4×44×4 feature map 中的紅色 box 吻合，所以其余的 boxes 都看作負樣本。

Hard negative mining

在生成一系列的 predictions 之后，會產(chǎn)生很多個符合 ground truth box 的 predictions boxes，但同時，不符合 ground truth boxes 也很多，而且這個 negative boxes，遠多于 positive boxes。這會造成 negative boxes、positive boxes 之間的不均衡。訓(xùn)練時難以收斂。

因此，本文采取，先將每一個物體位置上對應(yīng) predictions（default boxes）是 negative 的 boxes 進行排序，按照 default boxes 的 confidence 的大小。 選擇最高的幾個，保證最后 negatives、positives 的比例在 3:13:1。

本文通過實驗發(fā)現(xiàn)，這樣的比例可以更快的優(yōu)化，訓(xùn)練也更穩(wěn)定。

Data augmentation

本文同時對訓(xùn)練數(shù)據(jù)做了 data augmentation，數(shù)據(jù)增廣。關(guān)于數(shù)據(jù)增廣，推薦一篇文章：Must Know Tips/Tricks in Deep Neural Networks，其中的 section 1 就講了 data augmentation 技術(shù)。

每一張訓(xùn)練圖像，隨機的進行如下幾種選擇：

• 使用原始的圖像
• 采樣一個 patch，與物體之間最小的 jaccard overlap 為：0.10.1，0.30.3，0.50.5，0.70.7 與 0.90.9
• 隨機的采樣一個 patch

采樣的 patch 是原始圖像大小比例是 [0.1，1][0.1，1]，aspect ratio 在 1212 與 22 之間。

當 groundtruth box 的 中心（center）在采樣的 patch 中時，我們保留重疊部分。

在這些采樣步驟之后，每一個采樣的 patch 被 resize 到固定的大小，并且以 0.50.5 的概率隨機的 水平翻轉(zhuǎn)（horizontally flipped）

Experimental Results

Base network and hole filling algorithm

本文的 Base network 是基于 ICLR 2015, VGG16 來做的，在 ILSVRC CLS-LOC 數(shù)據(jù)集上進行了預(yù)訓(xùn)練。

與 ICLR 2015, DeepLab-LargeFOV 的工作類似，本文將 VGG 中的 FC6 layer、FC7 layer 轉(zhuǎn)成為 卷積層，并從模型的 FC6、FC7 上的參數(shù)，進行采樣得到這兩個卷積層的 parameters。

還將 Pool5 layer 的參數(shù)，從 2×2?s22×2?s2 轉(zhuǎn)變成 3×3?s13×3?s1，外加一個 pad（1），如下圖：

但是這樣變化后，會改變感受野（receptive field）的大小。因此，采用了 atrous algorithm 的技術(shù)，這里所謂的 atrous algorithm，我查閱了資料，就是 hole filling algorithm。

在 DeepLab 的主頁上：http://liangchiehchen.com/projects/DeepLab.html，有一張如下的圖：

博客 1：http://www.cnblogs.com/jianyingzhou/p/5386222.html

最早用的就是 deeplab 的文章了，Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFS 這篇文章和 fcn 不同的是，在最后產(chǎn)生 score map 時，不是進行upsampling，而是采用了 hole algorithm，就是在 pool4 和 pool 5層，步長由 2 變成 1，必然輸出的 score map 變大了，但是 receptive field 也變小了，為了不降低 receptive field，怎么做呢？利用 hole algorithm，將卷積 weights 膨脹擴大，即原來卷積核是 3x3，膨脹后，可能變成 7x7 了，這樣 receptive field 變大了，而 score map 也很大，即輸出變成 dense 的了。

這么做的好處是，輸出的 score map 變大了，即是 dense 的輸出了，而且 receptive field 不會變小，而且可以變大。這對做分割、檢測等工作非常重要。

博客 2：http://blog.csdn.net/tangwei2014/article/details/50453334

既想利用已經(jīng)訓(xùn)練好的模型進行 fine-tuning，又想改變網(wǎng)絡(luò)結(jié)構(gòu)得到更加 dense 的 score map.

這個解決辦法就是采用 Hole 算法。如下圖 (a) (b) 所示，在以往的卷積或者 pooling 中，一個 filter 中相鄰的權(quán)重作用在 feature map 上的位置都是物理上連續(xù)的。如下圖 (c) 所示，為了保證感受野不發(fā)生變化，某一層的 stride 由 2 變?yōu)?1 以后，后面的層需要采用 hole 算法，具體來講就是將連續(xù)的連接關(guān)系是根據(jù) hole size 大小變成 skip 連接的（圖 (c) 為了顯示方便直接畫在本層上了）。不要被 (c) 中的 padding 為 2 嚇著了，其實 2 個 padding 不會同時和一個 filter 相連。

pool4 的 stride 由 2 變?yōu)?1，則緊接著的 conv5_1, conv5_2 和 conv5_3 中 hole size 為 2。接著 pool5 由 2 變?yōu)?1 , 則后面的 fc6 中 hole size 為 4。

本文還將 fully convolutional reduced (atrous) VGGNet 中的所有的 dropout layers、fc8 layer 移除掉了。

本文在 fine-tuning 預(yù)訓(xùn)練的 VGG model 時，初始 learning rate 為 10?310?3，momentum 為 0.90.9，weight decay 為 0.00050.0005，batch size 為 3232，learning rate decay 的策略隨數(shù)據(jù)集的不同而變化。

PASCAL VOC 2007

在這個數(shù)據(jù)集中，與 Fast R-CNN、Faster R-CNN 進行了比較，幾種檢測網(wǎng)絡(luò)都用相同的訓(xùn)練數(shù)據(jù)集，以及預(yù)訓(xùn)練模型（VGG16）。

本文訓(xùn)練圖像是 VOC 2007 train + VOC 2007 validation + VOC 2012 train + VOC 2012 validation，共計 16551 張圖像；

測試集選取的是 VOC 2007 test，共計 4952 張圖像。

下圖展示了 SSD300 model 的結(jié)構(gòu)：

我們用 conv4_3，conv7（原先的 FC7），conv8_2，conv9_2，conv10_2，以及 pool11，這些 layer 來 predict location、 confidence。

在 VGG16 上新加的 convolutional layers，其參數(shù)初始化都用 JMLR 2010, Understanding the difficulty of training deep feedforward neural networks 提出的 xavier 方法。

因為 conv4_3 的尺寸比較大，size 為 38×3838×38 的大小，我們只在上面放置 3 個 default boxes，一個 box 的 scale 為 0.10.1，另外兩個 boxes 的 aspect ratio 分別為 1212、22。但對于其他的用來做 predictions 的 layers，本文都放了 66 個 default boxes。

文獻 ICLR 2016, ParseNet: Looking wider to see better 指出，conv4_3 相比較于其他的 layers，有著不同的 feature scale，我們使用 ParseNet 中的 L2 normalization 技術(shù)將 conv4_3 feature map 中每一個位置的 feature norm scale 到 20，并且在 back-propagation 中學(xué)習(xí)這個 scale。

在最開始的 40K 次迭代中，本文使用的 learning rate 是 10?310?3，之后將其減小到 10?410?4，再接著迭代 20K 次。

下面 Table 1 顯示了，我們的 SSD300 model 的精度已經(jīng)超過了 Fast R-CNN，當我們用 SSD 在更大的圖像尺寸上，500×500500×500 訓(xùn)練得到的 model，甚至要比 Faster R-CNN 還要高出 1.9%1.9% 的 mAP。

為了更細節(jié)的了解本文的兩個 SSD model，我們使用了 ECCV 2012, Diagnosing error in object detectors 的檢測分析工具。下圖 Figure 3 顯示了 SSD 可以高質(zhì)量的檢測不同種類的物體。

下圖 Figure 4 展示了 SSD 模型對 bounding box 的 size 非常的敏感。也就是說，SSD 對小物體目標較為敏感，在檢測小物體目標上表現(xiàn)較差。其實這也算情理之中，因為對于小目標而言，經(jīng)過多層卷積之后，就沒剩多少信息了。雖然提高輸入圖像的 size 可以提高對小目標的檢測效果，但是對于小目標檢測問題，還是有很多提升空間的。

同時，積極的看，SSD 對大目標檢測效果非常好。同時，因為本文使用了不同 aspect ratios 的 default boxes，SSD 對于不同 aspect ratios 的物體檢測效果也很好。

Model analysis

為了更好的理解 SSD，本文還使用控制變量法來驗證 SSD 中的每一部分對最終結(jié)果性能的影響。測試如下表 Table 2 所示：

從上表可以看出一下幾點：

• 數(shù)據(jù)增廣（Data augmentation）對于結(jié)果的提升非常明顯
  Fast R-CNN 與 Faster R-CNN 使用原始圖像，以及 0.5 的概率對原始圖像進行水平翻轉(zhuǎn)（horizontal flip），進行訓(xùn)練。如上面寫的，本文還使用了額外的 sampling 策略，YOLO 中還使用了 亮度扭曲（photometric distortions），但是本文中沒有使用。
  做了數(shù)據(jù)增廣，將 mAP 從 65.4%65.4% 提升到了 72.1%72.1%，提升了 6.7%6.7%。
  我們還不清楚，本文的 sampling 策略會對 Fast R-CNN、Faster R-CNN 有多少好處。但是估計不會很多，因為 Fast R-CNN、Faster R-CNN 使用了 feature pooling，這比人為的對數(shù)據(jù)進行增廣擴充，還要更 robust。

• 使用更多的 feature maps 對結(jié)果提升更大
  類似于 FCN，使用含圖像信息更多的低 layer 來提升圖像分割效果。我們也使用了 lower layer feature maps 來進行 predict bounding boxes。
  我們比較了，當 SSD 不使用 conv4_3 來 predict boxes 的結(jié)果。當不使用 conv4_3，mAP 下降到了 68.1%68.1%。
  可以看見，低層的 feature map 蘊含更多的信息，對于圖像分割、物體檢測性能提升幫助很大的。

• 使用更多的 default boxes，結(jié)果也越好
  如 Table 2 所示，SSD 中我們默認使用 6 個 default boxes（除了 conv4_3 因為大小問題使用了 3 個 default boxes）。如果將 aspect ratios 為 1313、33 的 boxes 移除，performance 下降了 0.9%0.9%。如果再進一步的，將 1212、22 的 default boxes 移除，那么 performance 下降了近 2%2%。

• Atrous 使得 SSD 又好又快
  如前面所描述，我們根據(jù) ICLR 2015, DeepLab-LargeFOV，使用結(jié)合 atrous algorithm 的 VGG16 版本。
  如果我們使用原始的 VGG16 版本，即保留 pool5 的參數(shù)為：2×2?s22×2?s2，且不從 FC6，FC7 上采集 parameters，同時添加 conv5_3 來做 prediction，結(jié)果反而會下降 0.7%0.7%。同時最關(guān)鍵的，速度慢了 50%50%。

PASCAL VOC 2012

本文又在 VOC 2012 test 上進行的實驗，比較結(jié)果如下：

MS COCO

為了進一步的驗證本文的 SSD 模型，我們將 SSD300、SSD500 在 MS COCO 數(shù)據(jù)集上進行訓(xùn)練檢測。

因為 COCO 數(shù)據(jù)集中的檢測目標更小，我們在所有的 layers 上，使用更小的 default boxes。

這里，還跟 ION 檢測方法 進行了比較。

總的結(jié)果如下：

Inference time

本文的方法一開始會生成大量的 bounding boxes，所以有必要用 Non-maximum suppression（NMS）來去除大量重復(fù)的 boxes。

通過設(shè)置 confidence 的閾值為 0.010.01，我們可以過濾掉大多數(shù)的 boxes。

之后，我們再用 Thrust CUDA library 進行排序，用 GPU 版本的實現(xiàn)來計算剩下的 boxes 兩兩之間的 overlap。然后，進行 NMS，每一張圖像保留 top 200 detections。這一步 SSD300 在 VOC 20 類的每張圖像上，需要耗時 2.2?msec2.2?msec。

下面是在 PASCAL VOC 2007 test 上的速度統(tǒng)計：

Related work and result images

這篇文章居然把相關(guān)工作總結(jié)放在最后面，我還是第一次見到。

具體的看原文吧。

最后放幾張結(jié)果圖：

總結(jié)

以上是生活随笔為你收集整理的论文阅读：SSD: Single Shot MultiBox Detector的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。