FPN：feature pyramid networks for object detection

對用卷積神經網絡進行目標檢測方法的一種改進，經過提取多尺度的特徵信息進行融合，進而提升目標檢測的精度，特別是在小物體檢測上的精度。FPN是ResNet或DenseNet等通用特徵提取網絡的附加組件，能夠和經典網絡組合提高原網絡效果。程序員

1、問題背景

網絡的深度（對應到感覺野）與總stride一般是一對矛盾的東西，經常使用的網絡結構對應的總stride通常會比較大（如32），而圖像中的小物體甚至會小於stride的大小，形成的結果就是小物體的檢測性能急劇降低。web

傳統解決這個問題的思路包括：面試

（1）多尺度訓練和測試，又稱圖像金字塔，以下圖(a)所示。目前幾乎全部在ImageNet和COCO檢測任務上取得好成績的方法都使用了圖像金字塔方法。然而這樣的方法因爲很高的時間及計算量消耗，難以在實際中應用。算法

（2）特徵分層，即每層分別預測對應的scale分辨率的檢測結果。以下圖(c)所示。SSD檢測框架採用了相似的思想。這樣的方法問題在於直接強行讓不一樣層學習一樣的語義信息。而對於卷積神經網絡而言，不一樣深度對應着不一樣層次的語義特徵，淺層網絡分辨率高，學的更可能是細節特徵，深層網絡分辨率低，學的更可能是語義特徵。flask

於是，目前多尺度的物體檢測主要面臨的挑戰爲：微信

1. 如何學習具備強語義信息的多尺度特徵表示？網絡

2. 如何設計通用的特徵表示來解決物體檢測中的多個子問題？如object proposal, box localization, instance segmentation.app

3. 如何高效計算多尺度的特徵表示？

2、特徵金字塔網絡（Feature Pyramid Networks）

做者提出了FPN算法。作法很簡單，以下圖所示。把低分辨率、高語義信息的高層特徵和高分辨率、低語義信息的低層特徵進行自上而下的側邊鏈接，使得全部尺度下的特徵都有豐富的語義信息。

做者的算法結構能夠分爲三個部分：自下而上的卷積神經網絡（上圖左），自上而下過程（上圖右）和特徵與特徵之間的側邊鏈接。

自下而上的部分其實就是卷積神經網絡的前向過程。在前向過程當中，特徵圖的大小在通過某些層後會改變，而在通過其餘一些層的時候不會改變，做者將不改變特徵圖大小的層歸爲一個階段，所以每次抽取的特徵都是每一個階段的最後一個層的輸出，這樣就能構成特徵金字塔。具體來講，對於ResNets，做者使用了每一個階段的最後一個殘差結構的特徵激活輸出。將這些殘差模塊輸出表示爲{C2, C3, C4, C5}，對應於conv2，conv3，conv4和conv5的輸出。

自上而下的過程採用上採樣進行。上採樣幾乎都是採用內插值方法，即在原有圖像像素的基礎上在像素點之間採用合適的插值算法插入新的元素，從而擴大原圖像的大小。經過對特徵圖進行上採樣，使得上採樣後的特徵圖具備和下一層的特徵圖相同的大小。

根本上來講，側邊之間的橫向鏈接是將上採樣的結果和自下而上生成的特徵圖進行融合。咱們將卷積神經網絡中生成的對應層的特徵圖進行1×1的卷積操做，將之與通過上採樣的特徵圖融合，獲得一個新的特徵圖，這個特徵圖融合了不一樣層的特徵，具備更豐富的信息。 這裏1×1的卷積操做目的是改變channels，要求和後一層的channels相同。在融合以後還會再採用3*3的卷積覈對每一個融合結果進行卷積，目的是消除上採樣的混疊效應，如此就獲得了一個新的特徵圖。這樣一層一層地迭代下去，就能夠獲得多個新的特徵圖。假設生成的特徵圖結果是P2，P3，P4，P5，它們和原來自底向上的卷積結果C2，C3，C4，C5一一對應。金字塔結構中全部層級共享分類層（迴歸層）。

3、fast rcnn中的特徵金字塔

4、其餘問題

Q1：不一樣深度的feature map爲何能夠通過upsample後直接相加？

答：做者解釋說這個緣由在於咱們作了end-to-end的training，由於不一樣層的參數不是固定的，不一樣層同時給監督作end-to-end training，因此相加訓練出來的東西可以更有效地融合淺層和深層的信息。

Q2：爲何FPN相比去掉深層特徵upsample(bottom-up pyramid)對於小物體檢測提高明顯？（RPN步驟AR從30.5到44.9，Fast RCNN步驟AP從24.9到33.9）

答：做者在poster裏給出了這個問題的答案

對於小物體，一方面咱們須要高分辨率的feature map更多關注小區域信息，另外一方面，如圖中的挎包同樣，須要更全局的信息更準確判斷挎包的存在及位置。

Q3：若是不考慮時間狀況下，image pyramid是否可能會比feature pyramid的性能更高？

答：做者以爲通過精細調整訓練是可能的，可是image pyramid（金字塔）主要的問題在於時間和空間佔用太大，而feature pyramid能夠在幾乎不增長額外計算量狀況下解決多尺度檢測問題。

5、代碼層面看FPN

三、 FPN自上而下的網絡結構代碼怎麼實現？

注意 P6是用在 RPN 目標區域提取網絡裏面的，而不是用在 FPN 網絡；

另外這裏 P2-P5最後又作了一次3*3的卷積，做用是消除上採樣帶來的混疊效應。

四、如何肯定某個 ROI 使用哪一層特徵圖進行 ROIpooling ?

看代碼：

224是ImageNet的標準輸入，k0是基準值，設置爲5，表明P5層的輸出（原圖大小就用P5層），w和h是ROI區域的長和寬，image_area是輸入圖片的長乘以寬，即輸入圖片的面積，假設ROI是112 * 112的大小，那麼k = k0-1 = 5-1 = 4，意味着該ROI應該使用P4的特徵層。k值會作取整處理，防止結果不是整數。