重磅！小目標檢測的數據增廣祕籍

前戲

最近目標檢測方向，出了不少paper，CVer也當即跟進報道（點擊可訪問）：

TridentNet 處理目標檢測中尺度變化新思路

One-stage目標檢測最強算法 ExtremeNet

亞馬遜提出：目標檢測訓練祕籍（代碼已開源）

本文介紹一篇很棒的小目標檢測數據增廣論文。該論文是由Tensorflight 提出。以前Amazon提出目標檢測訓練的Tricks論文，詳見 亞馬遜提出：目標檢測訓練祕籍（代碼已開源）

簡介
《Augmentation for small object detection》

arXiv: https://arxiv.org/abs/1902.07296

github: None

做者團隊：Tensorflight等

注：2019年02月19日剛出爐的paper

Abstract：近年來，目標檢測取得了使人矚目的進展。儘管有這些改進，但在檢測小物體和大物體之間的性能仍然存在顯著差距。咱們在具備挑戰性的數據集MS COCO上分析當前最早進的模型Mask-RCNN。咱們代表，小 ground-truth 物體與預測錨點之間的重疊遠低於預期的IoU閾值。咱們猜測這是因爲兩個因素形成的：（1）只有少數圖像包含小目標，（2）即便在包含它們的每一個圖像中，小目標也看起來不夠。所以，咱們建議對這些帶有小目標的圖像進行過採樣，並經過屢次 copy-pasting 小目標來對每一個圖像進行加強。它容許咱們將大型目標上的檢測器質量與小物體上的檢測器質量進行權衡。咱們評估了不一樣的 pasting 加強策略，最終，與MS COCO上的當前最早進的方法相比，咱們在實例分割上實現了9.7％的相對提高，在小目標的目標檢測上提高了7.1 ％。

正文

背景

先看一下表1瞭解一下爲何要針對小目標進行優化。表1 是MS COCO實例分割挑戰賽的排名狀況，可見曠視科技排名No.1，排名第二的是...這不是重點，重點是紅色標註的AP Small數據。AP Small明顯低於AP Medium和AP Large。所以本文要研究的是如何提升AP Small。

圖片表1. In the top submissions for MS COCO instance segmentation challenge

主要貢獻

1. 該論文的baseline：Mask R-CNN+FPN+ResNet-50

圖1. Anchors positively assigned (IoU > 0.5) to ground truth objects during training in the Mask-RCNN network

2. 論文主要對COCO 數據集進行了分析：

在MS COCO中，訓練集中出現的全部目標中有41.43％是小的，而只有34.4％和24.2％分別是中型和大型目標。另外一方面，只有約一半的訓練圖像包含任何小物體，而70.07％和82.28％的訓練圖像分別包含中型和大型物體。 請參閱表2中的對象計數和圖像。這確認了小對象檢測問題背後的第一個問題：使用小對象的示例較少。

表2. The MS COCO dataset objects statistics with respect to matched anchors in Mask-RCNN based on RPN

具體創新點

1. Oversampling

在第一組實驗中，咱們研究了包含小目標的過採樣圖像的影響。咱們在實驗中改變了過採樣率。咱們建立了多個圖像副本，而不是實際的隨機過採樣，以提升效率。

2. Augmentation

在第二組實驗中，咱們研究了使用加強對小目標檢測和分割的影響。 咱們複製並粘貼每一個圖像中的全部小目標一次。 咱們還用對含有小目標的圖像進行過採樣，以研究過採樣和加強策略之間的相互做用。

咱們測試了三種設置。 在第一個設置中，咱們用帶有 copy-pasted 的小目標的圖像替換每一個圖像。在第二個設置中，咱們複製這些加強圖像以模擬過採樣。在最終設置中，咱們保留原始圖像和加強圖像，這至關於用小目標對圖像進行過分採樣兩倍，同時用更小的目標擴充複製的副本。

3. Copy-Pasting Strategies

有不一樣的方法來複制粘貼小目標。咱們考慮三種策略。 首先，咱們在圖像中選擇一個小目標，並在隨機位置複製粘貼屢次。 其次，咱們選擇了許多小目標，並在任意位置複製粘貼這些目標一次。 最後，咱們在隨機位置屢次複製粘貼每一個圖像中的全部小目標。 在全部狀況下，咱們使用上面第三個加強設置; 也就是說，咱們保留原始圖像和加強副本。

4. Pasting Algorithms

粘貼小目標的副本時，有兩件事須要考慮。 首先，咱們必須肯定粘貼的目標是否會與任何其餘目標重疊。雖然咱們選擇不引入任何重疊，但咱們經過實驗驗證它是不是一個好的策略。其次，是否執行添加過程以平滑粘貼對象的邊緣是一種設計選擇。咱們試驗具備不一樣濾波器尺寸的邊界的高斯模糊是否能夠幫助進一步處理。

實驗結果

上述4點方法對小目標檢測都有必定改進，具體結果以下圖所示：

論文在實例分割上實現了9.7％的相對提高，在小目標的目標檢測上提高了7.1 ％。

想要了解最新最快最好的論文速遞、開源項目和乾貨資料，歡迎加入CVer學術交流羣。涉及圖像分類、目標檢測、圖像分割、人臉檢測&識別、目標跟蹤、GANs、學術競賽交流、Re-ID、風格遷移、醫學影像分析、姿態估計、OCR、SLAM、場景文字檢測&識別和超分辨率等方向。