12篇文章帶你逛遍主流分割網絡

 

文章發佈於公號【數智物語】 （ID：decision_engine），關注公號不錯過每一篇乾貨。

 

 

 

做者 | 孫叔橋

來源 | 有三AI

 

本文的12篇文章總結了當前主流的分割網絡及其結構，涵蓋從編解碼結構到解碼器設計；從感覺野到多尺度融合；從CNN到RNN與CRF；從2D分割到3D分割；從語義分割到實例分割和全景分割網絡，感興趣的朋友能夠仔細研讀每一篇文章。

 

01FCN

 

Fully Convolutional Network（FCN）是神經網絡用於圖像分割任務的鼻祖，後續提出的大部分基於編解碼結構的圖像分割網絡都是從FCN上發展、改進而來的。

 

FCN用卷積層替換了分類網絡結構中的全鏈接層，從而獲得稠密的分割結果，實現端到端訓練。

 

同時，網絡還將不一樣尺度下的特徵信息進行融合，實現更細節的圖像分割。

 

• 【圖像分割模型】從FCN提及

 

02SegNet

 

SegNet在FCN的基礎上增長了解碼器，造成目前分割任務中最流行的編解碼結構，並給出了不一樣解碼器對效果的影響和緣由。

 

此外，因爲應用了基於位置信息的加碼過程，相比較FCN而言，SegNet中的對應結構的體量要小得多。

 

• 【圖像分割模型】編解碼結構SegNet

 

03空洞卷積

 

編解碼結構中，爲了平衡空間尺寸與計算量，同時增大網絡結構的感覺野，一般會對輸入圖像進行必定的下采樣。爲了恢復分割結果的空間分辨率，解碼器每每須要應用上採樣或反捲積。

 

可是，基於插值的上採樣效果一般不理想，而反捲積操做則增長了計算量。基於此，DeepLab中就提出了「空洞卷積」的概念，在不增長參數個數的基礎上，實現感覺野與分辨率的控制。

 

• 【分割模型解讀】感覺野與分辨率的控制術—空洞卷積

 

04ENet

 

圖像分割的任務最終仍是要落腳於實際應用，而此前的網絡結構最快也只能達到1fps，遠不及實時所須要的10fps。

 

ENet基於空洞卷積，實現了NVIDIA TX1上分辨率480x320下的21.1fps。

 

此外，文中還介紹了設計實時網絡結構所須要考慮的6個重要內容。

 

• 【圖像分割模型】快速道路場景分割—ENet

 

05CRFasRNN

 

在許多計算機視覺任務中，後處理操做可以有效提高算法的質量。而在衆多後處理方法中，條件隨機場（CRF）的效果名列前茅。

 

然而，CRF的理論性強，應用起來不方便。所以，CRFasRNN中提出以RNN的形式實現CRF的解決方案，從而讓基於CRF的後處理變得簡單。

 

• 【圖像分割模型】以RNN形式作CRF後處理—CRFasRNN

 

06PSPNet

 

不一樣感覺野下所帶來的上下文信息對圖像分割而言十分重要，每每感覺野選擇的恰當性會直接影響最終的分割效果，這種影響對極端尺寸（極大和極小）目標表現地尤其明顯。

 

爲了在同一級別下融合多尺度下的上下文信息，PSPNet提出了池化金字塔結構，從而實現了能夠理解目標所處環境的圖像分割。

 

• 【圖像分割模型】多感覺野的金字塔結構—PSPNet

 

07ParseNet

 

儘管從網絡結構看，有些網絡的理論感覺野可以達到很是大，但實際上，理論感覺野並不能等同於實際感覺野，其覆蓋和利用的信息也不夠完整。

 

基於這個發現，ParseNet提出了基於池化的全局特徵利用，從而實現全局特徵與局部特徵融合下的圖像分割。

 

文中也介紹瞭如何有效融合兩種特徵，並利用好融合特徵。

 

• 【圖像分割模型】全局特徵與局部特徵的交響曲—ParseNet

 

08RefineNet

 

儘管前面的特徵融合方法可以恢復在計算過程當中被降低的空間分辨率，可是這種恢復每每沒有利用完整的原始空間信息，從而致使最終結果中的信息丟失。

 

基於此，RefineNet設計了空間分辨率的恢復結構，實現了基於殘差卷積模塊（RCU）、多分辨率融合模塊（MRF）和串聯殘差池化模塊（CRP）下的高精度圖像分割。

 

• 【圖像分割模型】多分辨率特徵融合—RefineNet

 

09ReSeg

 

儘管CNN的效果不錯，可是其須要依賴人工指定的核函數實現計算，從而限制了上下文的處理能力。所以，ReSeg提出基於雙向循環神經網絡（BRNN）實現分割，來克服這種不足。

 

在ReNet的基礎上，ReSeg經過依次掃描互相垂直的兩個方向，實現不一樣時序下的特徵提取。

 

• 【圖像分割模型】用BRNN作分割—ReSeg

 

10LSTM-CF

 

除了單純基於2D的RGB圖像的分割外，圖像分割任務的完成還能夠利用深度信息進行輔助，從而實現紋理信息下沒法判斷的分割。

 

LSTM-CF基於ReNet和空洞卷積，實現結合了深度信息的圖像分割。爲精度提高和深度信息利用提供了一種思路。

 

• 【圖像分割模型】BRNN下的RGB-D分割—LSTM-CF

 

11DeepMask

 

除了語義分割，圖像分割中還有另外兩種類別的任務：實例分割和全景分割。

 

咱們經過DeepMask，給出了實例分割下的網絡的設計思路。DeepMask能夠同時實現前背景分割、前景語義分割和前景實例分割。

 

• 【圖像分割模型】實例分割模型—DeepMask

 

12全景分割

 

語義分割與實例分割任務雖然類似，可是因爲度量不一樣，兩者沒法直接結合。爲了實現整圖內things類別和stuff類別的同時分割，全景分割任務提出了新的度量。

 

全景分割任務下，圖像內的每一個像素點都有其對應的語義標籤和實例標籤（things類別），從而可以最大程度上地理解整幅圖像。

 

• 【圖像分割模型】全景分割是什麼？

 

 

 

星標我，天天多一點智慧