ESPNet

ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segme

---

2019/03/11 Author:Yu Zhang

此篇論文爲ECCV2018中的一篇論文，做者介紹了一個既快又效果說得過去的網絡架構，用於語義分割當中。此網絡能夠達到每秒112幀，比目前有效的輕型網絡如MobileNet，ShuffleNet， ENet等等都要快，還好，在只下降8%精度的條件下，比PSPNet小180倍，速度快22倍。

那麼做者是怎麼作到的呢？

上圖爲ESP的架構，看起來很是複雜，但其實操做很簡單，首先使用逐點卷積將通道數進行縮減，縮減後送入空洞卷積金字塔，經過不一樣rate的空洞卷積得到更大感覺野並進行融合，參數很是少，由於通道減小以後，每個空洞卷積的參數都是不多的。具體通道及rate以及拼合策略如圖所示。拼合策略與普通空洞卷積特徵融合的方法不一樣，這裏爲了不gridding artifacts現象，採用了逐級相加的策略。

設計的分割網絡以下圖：設計了一個輕量級的編碼解碼網絡架構

在cityscapes測試集上能達到60.3的準確率，已經不錯了。 同時做者作了特別多的實驗，感興趣的能夠到原文中去看。

---

在18年11月份，ESPNet做者又發佈了ESPNetv2，繼續縮小網絡，並在分類，分割，語言模型三個任務中取得不錯的效果。咱們看一下他的結構：

與ESPNet不一樣的地方是：

• 一開始的普通1x1conv 降維變爲了1x1 group conv，這會減小參數
• 中間的空洞卷積變爲深度可分離空洞卷積DDConv
• A方案會在相加後再接一層1x1conv而後再concat， B方案直接concat不事後面再跟一個1x1 groupconv

實驗結果我只帖分割結果，以下圖：

能夠看到比ESPNet參數少了4倍，性能只下降了6%