【論文閱讀】Feedback Network for Image Super-Resolution

論文題目：用於圖像超分辨率的反饋網絡

摘要：

圖像超分辨率（SR）的最新進展中展示出了深度學習的力量，目的是實現更好的重建性能。然而，現有的基於深度學習的圖像超分辨率方法還沒有充分利用人類視覺系統中常見的反饋機制。在本文中，咱們提出了一個圖像超分辨率的反饋網絡（SRFBN）來從新定義具備高級信息的低級表示。具體而言，咱們在具備約束的循環神經網絡（RNN）中使用隱藏狀態來實現這種反饋方式。反饋塊旨在處理反饋鏈接，並生成強大的高級表示。所提出的SRFBN網絡具備強大的早期重建能力，能夠逐步建立最終的高分辨率圖像。此外，咱們引入了課程學習策略，使網絡很是適合於更復雜的任務，其中低分辨率圖像被多種類型的降級所破壞。 大量的實驗結果證實了與現有技術方法相比，所提出的SRFBN存在優越性。代碼地址。

1. 介紹:：

圖像超分辨率（SR）是一種低級的計算機視覺任務，旨在從低分辨率（LR）圖像重建出高分辨率（HR）圖像。因爲多個HR圖像可能致使相同的LR圖像，所以它自己就是不統一的。爲了解決這個問題，已經提出了多種圖像SR方法，包括基於插值的方法，基於重建的方法和基於學習的方法。

Dong et al.等人首次提出使用淺層卷積神經網絡（CNN）來實現圖像SR，基於深度學習的方法因爲其優越的重建性能而近年來引發了普遍的關注。基於深度學習方法的好處主要來自它的兩個關鍵因素，即深度和skip connections.（殘差或密集）。第一個提供了強大功能來表示和創建更復雜的LR-HR映射，同時用更大的感覺野保留更多的上下文信息。第二個因素能夠有效地緩解因簡單堆疊更多層以加深網絡而致使的梯度消失/爆炸問題。

隨着網絡深度的增長，參數的數量也會增長。大容量的網絡將佔用大量存儲資源並遭受過擬合問題。爲了減小網絡的參數，一般採用循環結構。最近的研究代表，許多具備重複結構的網絡（例如DRCN 和DRRN ）能夠表示爲單狀態循環神經網絡（RNN）。與大多數傳統的基於深度學習的方法類似，這些具備遞歸結構的網絡可以以一種前饋的方式共享信息。然而，前饋方式使得前一層不可能從下一層訪問有用的信息，即便使用了skip connections。

在認知理論中，鏈接大腦皮層視覺區域的反饋鏈接能夠將反應信號從高階區域傳遞到低階區域，受到這一現象的啓發，最近的研究將反饋機制應用於網絡架構。這些體系結構中的反饋機制以自頂向下的方式工做，將高層信息帶回前一層，並細化低層編碼信息。

本文提出了一種新的圖像SR網絡，即超分辨率反饋網絡(SRFBN)，經過反饋鏈接利用高分辨率反饋網絡對低分辨率信息進行細化。提出的SRFBN本質上是一個帶有反饋塊(FB)的RNN，它是專門爲圖像SR任務設計的。FB由多組上下采樣層構成，這些層具備密集的skip connections，以生成強大的高級表示。受[40]的啓發，咱們使用FB的輸出，即展開RNN中的隱藏狀態，實現反饋方式(圖1(a))。每次迭代的隱藏狀態都會流向下一個迭代以調整輸入。爲了保證隱藏狀態包含HR圖像的信息，咱們在訓練過程當中將損失與每次迭代聯繫起來。咱們反饋方案的原理是粗糙SR圖像的信息能夠方便LR圖像重建出更好的SR圖像(見圖1(b))。此外，咱們設計了一個課程策略，其中LR圖像是由一個複雜的退化模型生成的。對於每一幅LR圖像，其連續迭代的目標HR圖像根據重構的難易程度由易到難進行排序。這種課程學習策略有助於咱們提出的SRFBN處理複雜的退化模型。實驗結果代表了該方法的優越性。

綜上所述，咱們的主要貢獻以下:

提出了一種圖像超分辨率反饋網絡(SRFBN)，它採用反饋機制。高級信息經過反饋鏈接以自頂向下的反饋流提供。同時，這種具備反饋鏈接的遞歸結構具備較強的早期重建能力，且只須要不多的參數。

提出了反饋塊(FB)，它不只能有效地處理反饋信息流，還能經過上下采樣層和密集的skip connections豐富高層表示。

提出了一種基於課程的SRFBN訓練策略，將具備增量重建困難的HR圖像做爲目標輸入網絡進行連續迭代。這種策略使網絡可以一步一步地學習複雜的退化模型，而一樣的策略是不可能知足於那些只有一步預測的方法。

2. 相關工做

2.1 基於深度學習的圖像超分辨率

深度學習在包括image SR. Dong等多變量計算機視覺任務中表現出了優越的性能。[7]首先在image SR中引入了三層CNN來學習複雜的LR-HR映射。Kim等人將CNN的深度增長到20層，以便在LR圖像中使用更多的上下文信息。在[18]中，當網絡變深時，採用跳躍鏈接來克服優化的困難。最近的研究採用了不一樣類型的跳躍鏈接來實現對圖像SR. SRResNet[21]和EDSR[23] ap- plied剩餘跳躍鏈接[13]的顯著改進。SRDenseNet[36]應用了來自[14]的密集跳過鏈接。Zhang等人在他們的RDN中組合了局部/全局剩餘鏈接和密集跳過鏈接。因爲這些網絡體系結構中的跳過鏈接以自底向上的方式使用或組合層次特性，低層特性只能接收來自前一層的信息，因爲接受域較小，缺少足夠的互文信息。這些底層特徵在隨後的層中被重用，從而進一步限制了網絡的重構能力。爲了解決這個問題，咱們提出了一種超分辨率反饋網絡(SRFBN)，在這種網絡中，高層次的信息經過自頂向下的反饋鏈接流動，從而使用更多的反文本信息糾正低層次的特性。

與此同時，在跳鏈接的幫助下，神經網絡能夠進行更深刻的學習，從而得到更多的參數。這種大容量網絡佔用了大量的存儲資源，存在着過分擬合的問題。爲了有效下降網絡參數，得到更好的泛化能力，採用了循環結構[19,31,32]。特別是在SRFBN中，循環結構對於實現反饋過程起着重要做用(圖1(b))。

2.2 反饋機制

反饋機制容許網絡攜帶輸出的概念來糾正之前的狀態。近年來，反饋機制已被許多網絡架構用於各類視覺任務。

對於圖像SR，也有一些研究對反饋機制進行了介紹。Haris等[11]基於反投影設計了上投影單元和下投影單元，實現了迭代偏差反饋。Han等人應用了一種延遲反饋機制，在雙狀態RNN中在兩個遞歸狀態之間傳輸信息。然而,信息的流動是從LR形象到最終的SR形象，與咱們不一樣的是它們仍然是前饋網絡架構。

其中最相關的工做是[40]，它將含有高層信息的隱藏狀態轉化爲輸入圖像的信息，在卷積遞歸神經網絡中實現反饋。然而，它的目標是解決高層次的視覺任務，例如分類。爲了適應圖像SR中的反饋機制，咱們精心設計了一個反饋塊(FB)做爲SRFBN中的基本模塊，而不是像[40]中那樣使用ConvLSTM。咱們的FB ef中的信息經過密集的跳過鏈接在層次層之間流動。實驗結果代表，與ConvLSTM1相比，咱們的FB具備更好的重構性能，所以更適合於圖像SR任務。

2.3 課程學習

課程學習[2]做爲一種改善訓練過程的有效策略，逐漸增長了學習目標的難度。早期課程學習工做主要集中在單一任務上。Pentina等人[27]以順序的方式將課程學習擴展到多個任務。Gao等人利用課程學習來解決圖像恢復中的固定問題。因爲他們的網絡僅限於一次預選，因此他們經過提供不一樣的訓練數據來實施課程，這些數據是根據訓練過程當中任務的複雜性來肯定的。在image SR的背景下，Wang et al.[38]爲金字塔結構設計了一門課程，該課程逐漸將之前訓練過的網絡中的金字塔融合到一個新的層次，從而將LR圖像提高到更大的尺寸。

雖然之前的工做集中在一個單一的退化過程，咱們執行課程的狀況下，LR圖像被多種類型的退化損壞。該課程包含簡單的決策，能夠解決一個查詢，逐步恢復損壞的LR圖像。

3. 圖像超分辨率上的反饋網絡

反饋系統包含兩個要求:(1)迭代性和(2)從新路由系統的輸出，以糾正每一個循環中的輸入。這種反覆的因果過程有助於實現咱們的圖像SR反饋方案的原則:高層信息能夠指導LR圖像恢復更好的SR圖像(見圖1(b))。提出網絡中,有三個不可缺乏的部分執行咱們的反饋方案:(1)將失去在每一個——eration(迫使網絡重建一個圖像在每一個迭代,從而容許隱藏狀態沒有攜帶高層信息),(2)使用週期性結構(實現迭代過程)和(3)提供一個LR輸入每一個迭代(確保底層——造成的可用性,須要細化)。這三部分的任何缺失都會致使網絡沒法驅動反饋流。

3.1 網絡架構

如圖2所示，咱們提出的SRFBN能夠展開到T迭代中，其中每一個迭代T的節拍-順序是從1到T。爲了使SRFBN中的隱藏狀態具備輸出的概念，咱們將每次迭代的損失聯繫起來。損失函數的描述見第3.3節。在每一個迭代t中放置的子網絡包含三個部分:LR特徵提取塊(LRFB)、反饋塊(FB)和重構塊(RB)。每一個塊的權重是跨時間共享的。在每一個迭代t處的全局額外跳過鏈接提供一個向上採樣的圖像來繞過子網絡。所以，每次迭代t的子網絡的目的是在輸入低分辨率圖像ILR的同時恢復剩餘圖像IRt es。咱們將Conv(s,n)和Deconv(s,n)分別表示爲卷積層和反捲積層，其中s爲濾波器的大小，n爲濾波器的個數。

LR特徵提取塊由Conv(3,4m)和Conv(3,m)組成，m表示濾波器的基本個數。咱們爲LR特徵提取塊提供LR輸入ILR，從中獲取包含LR圖像信息的淺層特徵F:

其中表示的是LR特徵提取塊的操做。 被用來做爲反饋塊的輸入。另外，被視爲初始隱藏層的狀態