[CVPR2017] Deep Self-Taught Learning for Weakly Supervised Object Localization 論文筆記

 http://openaccess.thecvf.com/content_cvpr_2017/papers/Jie_Deep_Self-Taught_Learning_CVPR_2017_paper.pdf

Deep Self-Taught Learning for Weakly Supervised Object Localization. Zequn Jie, Yunchao Wei, Xiaojie Jin, Jiashi Feng, Wei Liu

 

亮點

• 監督學習中用難例挖掘，弱監督中靠可靠樣本的挖掘，本文篩選可靠樣本的方法比較具備通用性
• 在線樣本收集，經過relative improvement指標，不斷提高弱監督馴練樣本的質量
• 本文是少數未採用預計算好的proposal，而採起自適應proposal的文章，能夠根據網絡訓練狀況來改變proposal

主要思想

問題：大多數現有的弱監督定位（WSL）方法經過對圖像級別的監督學習識別到的特徵區塊來進行探測器的學習。然而，這些特徵不包含空間位置的相關信息，同時對探測器的學習來講，其所提供的樣本數據質量都比較差。

 

解決方案：檢測器學習獲取可靠的樣本對象特徵並以此爲基礎從新訓練本身。相應的，隨着探測器自己檢測能力的提升和提供的位置信息質量的提升，因而便能進一步的提升較好質量的數據。

• 文中提出了一個種子樣本採集（Seed Sample Acquisition）方法，經過圖像到對象的傳輸和密集的子圖採集獲取可靠的正樣原本進行探測器的初始化。
• 提供了一種在線支持樣本收集（Online Supportive Sample Harvesting）計劃來動態地選擇最爲可信的正樣本，並提供成熟的訓練方法對探測器進行訓練。

 

方法

Seed Sample Acquisition

• Image-to-Object Transfer：Hypothesis-CNN-Pooling (HCP) [26]（見下方第一張圖）提出了一個 CNN 網絡 HCP 不須要真值訓練數據（只有單標籤訓練數據）的狀況下能夠完成對多標籤圖像分類問題。首先提取圖像中的候選區域，而後對每一個候選區域進行分類，最後使用 cross-hypothesis max-pooling 將圖像中全部的候選區域分類結果進行融合，獲得整個圖像的多類別標籤。（from https://blog.csdn.net/zhangjunhit/article/details/72818610）
• Reliable Seed Proposal Generation：選出上一步正類別對應的top N proposals，使用dense subgraph discovery (DSD) 的方法選出最空間上響應最集中的位置，見下方第二張圖。
• 之因此可行的緣由：經過觀察發現[26]發現
• 結果多僅覆蓋了物體的關鍵部位，或者是一些重要的上下文
• 全部proposals基本上覆蓋了這個物體的絕大部分
• Dense subgraph discovery (DSD) problem
• 全部proposal爲節點，若是他們之間的IOU大於某一閾值用一個邊邊將它們連起來，組成無向圖G。從某一節點開始採用貪心算法，找到當前邊邊最多的節點保存，刪除他周圍的全部鄰居節點，而後重複，知道沒有其餘節點或者保存的節點數大於k。
• 好處：與 clustering或non-maximal suppression (NMS)比較，這種方法
• 保留的proposal數目是自適應的
• 與估計的分類分數無關

 

 

[26] Yunchao Wei, Wei Xia, Min Lin, Junshi Huang, Bingbing Ni, Jian Dong, Yao Zhao, and Shuicheng Yan. Hcp: A flexible cnn framework for multi-label image classification. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(9):1901–1907, 2016.

 

 

Online Supportive Sample Harvesting (OSSH)

使用Fast RCNN框架進行訓練，首先使用seed samples預訓練網絡，此後使用OSSH漸進式的收集正樣本，並用收集到的正樣本繼續訓練。與Fast R-CNN相同，與選擇出的正樣本IoU大於0.5的proposals爲正，其餘爲負。

• Relative improvement (RI)：對於一個proposal，RI指的是在下一個epoch該proposal未參與訓練前的測試得分，和當前epoch該proposal參與訓練後的測試得分之差。對於一張圖像，咱們將全部proposals的RI降序排序，只選RI最大的propsal做爲訓練的監督信號。具體定義，以下所述：

 

 

RI的靈感來源，如上圖。

Negative rejection (NR)：由於正例的質量不高， 使用OSSH訓練幾個epoch後，將全部正例按Fast R-CNN的得分排序，並在後續訓練中去除掉排名後10%的訓練樣本和它們對應的圖片。

 

偷個懶，結果還不錯，具體見原文連接～～