基於深度卷積神經網絡和跳躍鏈接的圖像去噪和超分辨

Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections

做者：Xiao-Jiao Mao、Chunhua Shen等

本文提出了一個深度的全卷積編碼-解碼框架來解決去噪和超分辨之類的圖像修復問題。網絡由多層的卷積和反捲積組成，學習一個從受損圖像到原始圖像的端到端的映射。卷積層負責特徵提取，捕獲圖像內容的抽象信息，同時消除噪聲/損失。相對應，反捲積層用來恢復圖像細節。

網絡結構

在底層圖像修復領域，因爲池化操做會丟失有用的圖像細節信息，所以，本網絡沒有用到池化層，是一個全卷積的網絡結構。

卷積層的特徵圖和與之相應成鏡像關係的反捲積層特徵圖進行跳躍鏈接，對應像素直接相加後通過非線性激活層而後傳入下一層。

受 VGG 模型的啓發，卷積核大小都設置爲爲 3*3。另外，因爲網絡結構本質上是一個像素級的預測，所以輸入能夠是任意大小的圖片，輸出和輸入保持一致。

反捲積解碼器

在全卷積的狀況下，噪聲一步步地被消除。通過每個卷積層後，噪聲等級減少，圖像內容的細節也可能會隨之丟失。在本篇論文提出的結構中，卷積層保留了主要的圖像內容，而反捲積層則用來補償細節信息，能夠達到良好去噪效果的同時較好地保留圖像內容。

另外一方面，卷積層逐漸減少特徵圖的大小，反捲積層再逐漸增大特徵圖的大小，最終確保輸入輸出大小一致，也能夠保證在移動端計算能力有限狀況下的測試效率。

跳躍鏈接

正如殘差網絡的設計初衷，跳躍鏈接能夠解決網絡層數較深的狀況下梯度消失的問題，同時有助於梯度的反向傳播，加快訓練過程。

經過傳遞卷積層的特徵圖到反捲積層，有助於解碼器擁有更多圖像細節信息，從而恢復出更好的乾淨圖像。

針對輸入噪聲圖像 X 和輸出乾淨圖像 Y，本網絡致力於學習一個殘差即 F(X) = Y - X。

討論

實驗 (a) 對比有無跳躍鏈接狀況下 PSNR 隨迭代次數的變化，能夠看到有跳躍鏈接的狀況下 PSNR 有顯著提升。

實驗 (b) 對比不一樣網絡結構下 Loss 值隨迭代次數的變化，能夠看到在同等層數的網絡下，有跳躍鏈接時 Loss 值相對要小不少。

實驗 (c) 對比通常的殘差網絡(由一系列的殘差塊組成)和本文提出的網絡狀況下 PSNR 隨迭代次數的變化，能夠看到本文中提出的這種跳躍鏈接方式能夠得到更好的 PSNR。

網絡的大容量使得本文提出的結構可以處理不一樣噪聲等級的圖像去噪問題和不一樣尺寸參數的超分辨問題。

實驗

由於本網絡的卷積核僅僅是爲了消除噪聲，所以對圖像內容的方向不敏感。因此，在測試的時候，咱們能夠旋轉或者鏡像翻轉卷積核進行屢次前向傳播，而後對屢次的輸出取平均從而獲得一個更平滑的結果。

圖像去噪的實驗結果對比

圖像超分辨的實驗結果對比

能夠看到，RED-20, 10 層卷積 10 層反捲積的狀況下已經取得了比傳統方法好的效果，並且加深網絡以後還能夠取得更好的效果。

噪聲等級越大，本文中提出的網絡比其餘網絡的提升幅度就越大，也就是優點越明顯。

微信關注「seniusen」，獲取更多精彩!