CNN:Deep Layer Aggregation[精讀]

摘要

視覺識別須要豐富表達，從高到低的層，從小到大的尺度，從細到粗的分辨率。儘管在卷積網絡有深度特徵，可是孤立的層仍是不夠：複合和聚合這些表達能夠改進"what"和"where"的推斷。架構工做正在探索網絡骨幹的方方面面，設計更深的網絡或者更寬的架構，可是若是若是更好地聚合網絡的層和塊值得進一步關注。雖然已經結合跳躍鏈接來組合層，可是這些鏈接自己比較"淺"，並且僅須要簡單的一步操做來融合。咱們用更深聚合來擴增標準架構，以更好地融合層的信息。咱們的深層聚合結構迭代和分層地聚合特徵層次，使得網絡更深的精度和更少的參數。實驗代表深層聚合結構可以提升識別和分辨率。

1.介紹

如何鏈接層和模塊須要進一步探索。更深的網絡層提取更多的語義和更加全局的特徵。可是並不能代表最後一層就是任務的最終表示。實際上，跳躍鏈接已被證實對分類和迴歸以及結構化任務是有效的。深度和寬度的聚合，是架構關鍵的維度。

咱們研究如何聚合層以更好地融合語義和空間信息一進行識別和定位。擴展當前方法的「淺層」跳躍鏈接，咱們聚合架構更多深度和共享。咱們介紹兩種深度聚合(DLA)結構：迭代深度聚合(IDA)和分層深度聚合(HDA)。這些結構經過架構框架表達，不決取於網絡主幹的選擇，可以兼容現有已經將來的網絡結構。IDA主要進行分辨率和尺度的融合，而HDA主要融合各類模組和通道的特徵。IDA根據基礎網絡結構，逐級提煉分辨率和聚合尺度(相似參差網絡)。HDA整合其自身的樹狀鏈接結構，並將各個層級聚合爲不一樣等級的表徵(空間尺度的融合，相似與FPN)。本文的策略能夠經過混合使用IDA和HDA來共同提高效果。

本文經過實驗將現有的ResNet和ResetNeXt網絡結構採用DLA架構，來進行大尺度圖像分類，細粒度識別，語義分割和邊界檢測任務。本文的結果顯示DLA的使用能夠在現有的ResNet、ResNetXt、DenseNet 網絡結構的基礎上再提高模型的性能、減小參數數量以及顯存開銷。DLA達到了目前分類任務中緊湊模型的最佳精度。不須要經過更多的結構變動，一樣的網絡能在多個細粒度識別任務就能達到最佳精度。經過標準技術對標準化輸出進行重塑，DLA在cityscapes的語義分割任務中實現了最高類間精度，並在PASCAL Boundaries數據集上的邊界檢測任務中達到最佳精度。DLA是一種通用而有效的深度視覺網絡拓展技術。

Deep layer Aggregation

本文將聚合定義爲整個網絡的不一樣層之間的組合。在這篇文章中，咱們把注意力放在能夠更有效的聚合深度、分辨率和尺度的網絡。若是一組聚合是複合的、非線性的，而且最先的聚合層通過多個聚合層，咱們就稱它爲深度聚合。

因爲網絡能夠包含許多層和鏈接，模組化設計能夠經過分組與複用來克服網絡過於複雜的問題。層組合爲塊，塊根據其特徵分辨率組合成層級。本文主要探討如何聚合塊與層級。

3.1 迭代深度聚合(IDA)

IDA是迭代堆疊的主幹網絡結構。本文中將網絡中堆疊起來的的塊按照分辨率分紅層級，更深的層級有更多語義信息可是空間信息更爲粗糙。從淺層到深層的跳躍鏈接可以融和尺度和分辨率。可是這樣的跳躍鏈接，好比FCN、U-Net、FPN，都是先行而且都至少聚合了最淺層的網絡。

（b）經過跳躍鏈接來組合網絡的各個部分。但這樣作每一步只是融合前面的淺層信息。(c) 迭代式的聚合，使淺層的網絡能夠在後續的網絡中得到更多的處理；(d) 經過樹狀結構塊的聚合，能夠將特徵結構在網絡的不一樣深度上傳播。

所以，本文提出採用IDA的更爲激進的聚合方法。在最淺、最小尺度開始聚合，並不斷迭代與更深、更大尺度信息融合。這樣的方式能夠淺層網絡的信息能夠經過後續的不一樣層級的聚合而得到精煉。圖2 (c) 展現了IDA的基本結構

3.2 層級深度聚合(HDA)

HDA在樹結構融合塊和層級，來保留並組合特徵通道。經過HDA，淺層和深層的網絡層能夠組合到一塊兒，這樣能夠學習跨越各個層級特徵的豐富組合信息。IDA雖然能有效的組合層級，可是IDA依舊是呈序列的，它尚不足以融合網絡的各個塊的信息。HDA的深度分支結構如圖2 (d)所示。

創建了基礎的HDA結構後，能夠在此基礎上改進其深度與效率。經過改變中層網絡的聚合形式和整個樹結構，咱們將一個聚合節點的輸出返回到主幹網絡，做爲下一個樹結構的輸入，如圖2 (e)所示。這樣能夠將以前全部塊的信息聚合到後續的處理中，更好地保留了特徵，而不是單獨地處理前面的塊。爲了提升效率，本文經過將父塊與左邊的子塊融合，將擁有相同深度（也就是有相同特徵圖尺寸）的聚合節點融合在一塊兒，如圖2 (f)所示。

HDA建模爲:

Q(1):是什麼聚合，與融合有什麼不一樣？

My ans: 融合分紅語義融合和空間融合，語義(物體信息)融合可以推斷「是什麼」，空間融合可以推斷「在哪裏」。而聚合就是語義融合和空間融合的組合。

Q(1):塊和層級有什麼不一樣？

My ans: 塊由多個網絡層組成，層級由多個塊組成，同一個層級輸入輸出分辨率保持一致，不一樣的層級分辨率是不一樣的。

Q(2):IDA和HDA分別有什麼優勢？

My ans: IDA是一種迭代式聚合，從圖3(c)能夠看到前面淺層信息不斷地與後面的深層信息聚合，這樣子，前面的淺層信息可以不斷地提煉，可以豐富的語義信息。但IDA呈序列性，難以組合不一樣塊的信息。HDA是一種樹狀結構塊的分層聚合，以更好地學習跨越不一樣深度的網絡特徵層次的豐富(空間)信息。因此IDA和HDA的結構既能學習到語義信息也能學習到空間信息。

3.3 聚合元素

聚合節點：主要功能是組合和壓縮節點的輸入。這些節點經過訓練來選擇和投影重要的信息，以維持與輸入維度一致相同尺度的輸出。在本文的結構中，全部的IDA節點都是二分節點（只有兩個輸入），而HDA節點根據樹結構的深度不一樣而有一系列的參數輸入。

儘管一個聚合節點能夠採用任意的塊或層結構，爲了簡便起見，本文采用單一的卷積接一個BN層接一個非線性激活層的結構。這避免了聚合結構過於複雜。在圖像分類網絡中，全部的（聚合）節點採用1x1的卷積。在語義分割中，本文添加了額外一層IDA來對特徵圖進行差值，在這種狀況下則採用3x3的卷積。

因爲殘差鏈接對於集成很是深的網絡結構很是重要，本文在聚合節點中一樣採用了殘差鏈接。可是它們對於聚合的必要性尚不明確。經過HDA，任意塊到網絡根部的最短路徑最大爲架構的深度，所以聚合路徑不太可能發生梯度消失以及梯度爆炸問題(?爲何)。在本文的實驗中，在最深的網絡結構達到4層及以上時，殘差鏈接能夠促進HDA，可是不利於更小的網絡。咱們的基礎聚合，也就是公式一、2中的 由下式定義

塊和層級：DLA是一個通用架構由於它能夠與不一樣的骨幹網絡相兼容。咱們的架構對於塊和層級的內在結構並無要求。

實驗中咱們採用三個不一樣類型的殘差塊。基礎塊將堆疊的卷積層和恆等跳躍鏈接組合在一塊兒。瓶頸塊經過使用1x1卷積對堆疊的卷積層進行降維來進行正則化。分割塊經過將通道分組爲多個單獨的路徑來對特徵進行多樣化。在這項工做中，咱們將瓶頸塊和分割塊的輸出和中間通道數量的比例減小了一半，分割塊的基數爲32。有關這些區塊的確切細節，請參閱被引的論文。

1. 應用

---

4.1 分類網絡

咱們的分類網絡在ResNet和ResNet的基礎上使用IDA和HDA。咱們在層級間採用IDA鏈接，在層級內採用HDA。他們是層級網絡，經過空間分辨率進行分塊，每一個分塊用殘差網絡進行鏈接，每一個層級結束分辨率減半，一共6個層級，第一個層級維持輸入分辨率可是最後大的層級是32x的降採樣。最後的特徵映射經過全局平均池化來而後線性插值，變得很粗糙，最終的分類結果採用softmax的形式。

咱們在層級間用IDA鏈接，在層級內用HDA鏈接。這種聚合類型很容易經過通向聚合節點進行組合。在這種狀況下，咱們只須要經過組合公式1和公式2來改變每一個階層的根節點。咱們的層級經過size 2和stride2的maxpooling進行降採樣。

在最先的層級有他們本身的結構。好像DRN，咱們在層級1-2用stirded卷積來替換maxpooling。層級 1由一個7x7的卷積而後跟着一個基礎塊組成。層級 2僅僅是一個基礎塊。對於其餘層級，咱們使用骨幹網絡的塊和層級組合的IDA和HDA。

DLA如圖3所示。

DLA學習更好地從網絡中提取語義信息和空間信息的所有範圍。迭代鏈接將鄰近的stages鏈接在一塊兒，逐步地深刻並空間上提煉表達。跨越層範圍樹結構stages之間的層次鏈接能夠更好地傳播特徵和梯度。

4.2 密集預測網絡

語義分割，邊緣檢測，和其餘image-to-image 任務能夠利用聚合來融合局部和全局信息。分類DLA到全卷積DLA的轉換簡單而且跟其餘架構沒有什麼區別。咱們充分利用插值和進一步的IDA擴增來達到任務輸出分辨率的須要。

經過投影和上採樣，IDA的插值同時增長了深度和分辨率，如圖4所示。在網絡優化時候，全部投影和上採樣參數聯合訓練。上採樣步驟的參數用雙線性插值來初始化。咱們首先對層級3-6的輸出投影到32個通道而後對該層級進行插值，以達到層級2同樣的分辨率。最後咱們這些層級進行迭代聚合來學習一個低和高水平特徵的深度融合。跟FCN跳躍鏈接，層級特徵和FPN的top-down鏈接同樣的目的。咱們聚合的方法不同，是從淺到深進一步提煉特徵。注意的是咱們在這種狀況下，兩次使用IDA：第一次是在骨幹網絡鏈接層級。而後是恢復分辨率。

我的總結

文章解決什麼問題

解決網絡層和層級聚合問題。

用本身的話總結文章思路：

文章提出了DLA拓展技術來融合語義和空間信息，以提升網絡的精度。DLA分紅IDA和HDA結構。其中IDA是一種迭代式的聚合結構，淺層信息能夠與後面的層不斷地地聚合，以更好地提煉特徵。而HDA是一種樹狀塊的聚合結構，學習到跨越層次的特徵信息。

關鍵因素：

• 樹狀式聚合學習跨越層次的特徵，可以學習到豐富空間信息

爲我所用：

用DLA技術來拓展網絡