Decoders Matter for Semantic Segmentation

Decoders Matter for Semantic Segmentation:Data-Dependent Decoding Enables Flexible Feature Aggregation

---

2019/03/12 Author:Yu Zhang

此篇論文被CVPR2019收錄，由標題可知：在語義分割中decoder過程一樣重要，那麼在decoder當中最重要的是什麼呢？沒錯就是上採樣upsample。本文作的事情，最主要的就是提出了一種叫作DUpsampling的上採樣操做，做者認爲目前分割網絡廣泛採用的雙線性插值並非最優的上採樣方法，因而探尋一種可讓粗糙的卷積網絡輸出更準確地向上採樣的方法。在提出此上採樣方法的同時也提出整個分割網絡，在VOC數據集上達到了SOTA效果。DUpsampling過程以下圖：

輸出的特徵圖每一個點，與CxN的矩陣W進行矩陣相乘，獲得1xN這個向量，再將這1xN的向量reshape爲2x2xN/4，就至關於把圖上採樣爲原來的兩倍。那麼關鍵就在於這個矩陣W，是怎麼獲得的呢？

做者認爲分割的label圖像並非獨立同分布的，其存在結構信息，因此label Y能夠幾乎沒有損失地進行壓縮，或者說降維。因而做者就想通常的網絡都是將特徵圖上採樣到label大小再作loss，咱們可不能夠將labelY進行壓縮，而後用本來特徵圖直接與其計算loss呢。

首先做者將Y以rxr爲size等分紅這些塊，對於這些rxr大小的塊，把他們拉成一個向量v，在這個向量上作一個壓縮，再reshape成本來形狀，造成壓縮後的label圖 Y·。對於壓縮的方法，做者使用線性預測的方式，將向量乘以一個矩陣P，如上圖中第一個公式，那麼壓縮變爲的x若是想再恢復的話就須要乘以P的逆映射矩陣W。這個P及W咱們能夠經過在訓練集中最小化v與重構出的v·來獲得，如第二個公式。Loss由特徵圖上採樣與label算loss變爲了用DUpsampling爲上採樣方法的特徵圖與label算loss， 如最下面的公式。