讀論文系列：Object Detection ECCV2016 SSD

轉載請註明做者：夢裏茶

Single Shot MultiBox Detector

Introduction

一句話歸納：SSD就是關於類別的多尺度RPN網絡

基本思路：

• 基礎網絡後接多層feature map
• 多層feature map分別對應不一樣尺度的固定anchor
• 迴歸全部anchor對應的class和bounding box

Model

• 輸入：300x300
• 通過VGG-16（只到conv4_3這一層）
• 通過幾層卷積，獲得多層尺寸逐漸減少的feature map
• 每層feature map分別作3x3卷積，每一個feature map cell(又稱slide window)對應k個類別和4個bounding box offset，同時對應原圖中6（或4）個anchor(又稱default box)
  • 38x38, 最後3x3, 1x1三個feature map的每一個feature map cell只對應4個anchor，分別爲寬高比: 1:1兩種，1:2, 2:1兩種，所以總共有 38 * 38 * 4 + 19 * 19 * 6 + 10 * 10 * 6 + 5 * 5 * 6 + 3 * 3 * 4 + 1 * 1 * 4 = 8732 個anchor
  • 其餘feature map的feature map cell對應6個anchor，分別爲寬高比: 1:1兩種，1:2, 2:1兩種，1:3， 3:1兩種
  • 每層的feature map cell對應的anchor計算方法以下
  • 位置：假設當前feature map cell是位於第i行，第j列，則anchor的中心爲 ((i+0.5)/|f_k|,(j+0.5)/|f_k|), f_k是第k層feature map的size（好比38）
  • 縮放因子:
    
    其中s_min爲0.2，s_max爲0.9，m爲添加的feature map的層數，縮放因子就是爲不一樣feature map選擇不一樣的大小的anchor，要求小的feature map對應的anchor儘可能大，由於越小的feature map，其feature map cell的感覺野就越大

  • anchor寬高：
    

    其中，a_r∈{1,2,3,1/2,1/3}，能夠理解爲在縮放因子選擇好anchor尺寸後，用a_r來控制anchor形狀，從而獲得多尺度的各類anchor，當a_r=1時，增長一種 s_k=sqrt(s_k-1s_k+1)，因而每一個feature map cell一般對應6種anchor。

• 網絡的訓練目標就是，迴歸各個anchor對應的類別和位置

Training

樣本

• 正樣本
  選擇與bounding box jaccard overlap（兩張圖的交集/並集）大於0.5的anchor做爲正樣本

• 樣本比例
  Hard negative mining：因爲負樣本不少，須要去掉一部分負樣本，先整圖通過網絡，根據每一個anchor的最高類置信度進行排序，選擇置信度靠前的樣本，這樣篩選出來的負樣本也會更難識別，而且最終正負樣本比例大概是1:3

Loss

仍是一如既往的location loss + classification loss，併爲location loss添加了係數α（然而實際上α=1）進行平衡，並在batch維度進行平均

• x是x_ij^p的集合x_ij^p={1,0}，用於判斷第i個anchor是不是第j個bounding box上的p類樣本
• c是c_i^p的集合，c_i^p是第i個anchor預測爲第p類的機率
• l是預測的bounding box集合
• g是ground true bounding box集合

其中定位loss與faster rcnn相同

這個式子裏的k不是很明確，其實想表達不算背景0類的意思，且前景類只爲match的類算location loss

分類loss就是很經常使用的softmax交叉熵了

核心的內容到這裏就講完了，其實跟YOLO和faster rcnn也很像，是一個用anchor box充當固定的proposal的rpn，而且用多尺度的anchor來適應多種尺度和形狀的目標對象。

Detail

在訓練中還用到了data augmentation（數據加強/擴充），每張圖片可能是由下列三種方法之一隨機採樣而來

• 使用整圖
• crop圖片上的一部分，crop出來的min面積爲0.1,0.3,0.5,0.7,0.9
• 徹底隨機地crop

而後這些圖片會被resize到固定的大小，隨機水平翻轉，加入一些圖像上的噪聲，詳情能夠參考另外一篇論文：

Some improvements on deep convolutional neural network based image classification

從切除實驗中，能夠看到data augmentaion是很重要的（從65.6到71.6）

這個表中還提到了atrous，實際上是指空洞卷積，是圖像分割（deeplab）領域首先提出的一個卷積層改進，主要是能讓測試速度更快。具體能夠參考 ICLR2015 Deeplab

從這個表中也能夠看出多種形狀的anchor能夠提高準確率

Result

輸入尺寸爲300x300，batch size爲8的SSD300能夠作到實時(59FPS)且準確(74.3% mAP)的測試

Summary

SSD算是一個改進性的東西，站在Faster RCNN的肩膀上達到了實時且準確的檢測