【論文閱讀】Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel......

題目：採用高效的亞像素卷積神經網絡實現實時單圖像和視頻的超分辨率          CVPR 2016  收錄

摘要：

近年來，基於深度神經網絡的多模型在單幅圖像超分辨率重建精度和計算性能方面都取得了很大的成功。在這些方法中，低分辨率(LR)輸入圖像在重建前使用一個濾波器(一般是雙三次插值)被放大到高分辨率(HR)空間。這意味着超分辨率(SR)操做是在HR空間中執行的。咱們證實這是次優的，並增長了計算複雜度。本文提出了第一個卷積神經網絡(CNN)可以實時SR的1080p視頻單次K2 GPU。爲了實現這一目標，咱們提出了一種新穎的CNN結構，其中特徵圖提取在LR空間。此外，咱們還引入了一種高效的亞像素卷積層，該層學習了一組上標濾波器，將最終的LR特徵圖提高到HR輸出中。經過這樣作，咱們有效地取代了手工製做的雙三次插值濾波器，SR通道具備更復雜的放大過濾器，專門針對每一個特徵圖進行訓練，咱們使用來自公共可用數據集的圖像和視頻來評估所提議的方法，並代表它的性能明顯更好(圖像+0.15dB，圖像+0.39dB)而且比以前基於深度學習方法的速度快了一個數量級。

代碼地址：https://github.com/drakelevy/ESPCN-TensorFlow

代碼地址：https://github.com/leftthomas/ESPCN

代碼地址：https://github.com/wangxuewen99/Super-Resolution/tree/master/ESPCN

優勢：卷積操做直接在LR圖像上進行，達到效率提高；高效的亞像素卷積層，將LR特徵圖提高到HR尺寸，而後再輸出；

缺點：雖然速度提高了，可是HR不一樣的尺寸須要進行不一樣的訓練，仍是要從新訓練才能獲得對應的HR尺寸；