學習深度CNN去噪先驗用於圖像恢復(Learning Deep CNN Denoiser Prior for Image Restoration)-Kai Zhanghtml
代碼:https://github.com/cszn/IRCNNgit
機翻:github
基於模型的優化方法和區別的學習方法已經解決各類逆問題的兩種主要策略在低級視覺領域。一般狀況下,這兩種方法有各自的優勢和缺點,例如,基於模型的優化方法處理不一樣的逆問題很靈活,但一般須要花費大量時間和複雜的先驗信息來得到良好表現;算法
同時,基於區別學習方法測試速度快,但其應用範圍大大受到專業的任務限制。最近的工做代表,藉助變量分裂技術,去噪優先能夠做爲基於模型的優化方法的一個模塊部分來解決其餘反問題。 (例如,去模糊)。當經過判別學習算法(discriminative learning)得到去噪器時,這種集成帶來了至關大的優點。然而,對快速鑑別去噪先驗方法的研究還很少見。爲此,本文旨在訓練一組快速有效的cnn(卷積神經網絡)去噪器,並將其集成到基於模型的優化方法中,以解決其餘反問題。實驗結果代表,所學習的去噪器不只具備很好的高斯去噪效果,並且也能夠用做先驗信息來實現各類低級視覺應用提供良好的性能。網絡
一、前言框架
圖像恢復(IR)一直是一個長期存在的問題以其高度的實用價值在不一樣的低級視覺應用。通常來講,圖像恢復的目的是從退化觀察恢復潛在的清晰圖像。函數
H是退化矩陣,v是加性高斯白噪聲的標準差σ。經過指定不一樣的退化矩陣,能夠相應地獲得不一樣IR任務。三個經典的IR任務:圖像去噪中H是一個單位矩陣,圖像去模糊中H是模糊算子,圖像超分辨率中H是一個複合算子包括模糊和下采樣。性能
因爲IR是一個不適定反問題,要採用先驗信息也稱正則化來約束的解空間。學習
從貝葉斯的角度來看,解ˆx能夠經過解決一個最大後驗(MAP)的問題。觀測值的對數似然,x的先驗與y無關。測試
由一個保真項和正則項組成,包含了權衡參數。保真度項保證瞭解符合退化過程,而正則化項則增強了輸出的指望性質。
通常來講,解決Eqn2的方法能夠分爲兩大類,基於模型的優化方法和識別學習方法。基於模型的優化方法旨在直接求解方程組2,優化算法一般涉及耗時的迭代推理。
咱們能夠看到,去噪器先驗能夠經過各類方式插入迭代框架中。這些方法的基本思想是將保真項和正則化項解耦。
因爲這個緣由,它們的迭代格式一般涉及一個與保真度項相關的子問題和一個去噪子問題。
在下一小節中,因爲HQS方法簡單,咱們將使用HQS方法做爲示例。 應該指出的是,雖然HQS能夠被看做是處理不一樣圖像恢復任務的通常方法,但在特定應用中,咱們也能夠先將去噪器合併到其餘方便和適當的方法中。
HQS——Half Quadratic Splitting半二次方分裂 - ostartech - 博客園 https://www.cnblogs.com/wxl845235800/p/10734866.html
其中,該解最小化了由保真度項、正則化項Φ(X)和權衡參數λ組成的能量函數。
引入輔助變量Z,變換爲約束優化問題:
HQS方法試圖來最小化如下損失函數:其中,μ是一個懲罰參數,它以非降序迭代地變化。
上式能夠經過如下迭代格式求解:
正如人們所看到的,保真度項和正則化項被解耦成兩個獨立的子問題。具體來講,保真度項與二次正則最小二乘問題相關聯(式6a)對於不一樣的退化矩陣有不一樣的快速解。
給出了一個直接的解:
正則化項包含在式(6b)中,可重寫爲:
根據貝葉斯機率,式(8)對應於噪聲級爲的高斯去噪器對圖像的去噪。
所以,任何高斯去噪器均可以做爲模塊部分來求解式(2)。
值得注意的是,根據Eqns(8)和(9)的說法。圖像先驗Φ(·)能夠隱式被替換爲去噪器先驗。
這樣一個有前途的屬性實際上提供了幾個優勢。
首先,它容許使用任何灰度或顏色的去噪器來解決各類反問題。第二,在求解Eqn2時,顯式圖像先驗Φ(·)是未知的。第三,利用不一樣圖像先驗的幾個互補去噪器能夠聯合使用來共同解決一個特定的問題。
請注意,只要有一個去噪子問題,此屬性也可用於其餘優化方法(例如迭代收縮/閾值算法ISTA和FISTA) 。
三、提出的CNN去噪器
通常來講,低分辨率(LR)圖像能夠經過模糊和隨後的高分辨率的下采樣操做來建模。然而,現有的超分辨率模型主要着眼於圖像先驗建模,並對特定退化過程進行訓練。這使得在訓練中採用的模糊核偏離真實的核時,所學習的模型嚴重惡化。
使用反向投影迭代法(back-projection iteration)解式6(a):
值得注意的是,諸如NCSR和WNNM等方法的迭代正則化步驟實際上對應於求解公式6(a)。在此基礎上,在HQS框架下對這些方法進行了優化。
爲了得到快速收斂,在應用去噪步驟以前重複公式(11)五次。
發現別人有閱讀筆記,直接貼連接了。
【別人的博客】
論文筆記 IRCNN-詳解:Learning Deep CNN Denoiser Prior for Image Restoration - 南方有喬木的博客 - CSDN博客 http://www.javashuo.com/article/p-onzbcfnn-mr.html
看講論文-PPT:Learning Deep CNN Denoiser Prior for Image Restoration - Jee_King的博客 - CSDN博客 https://blog.csdn.net/jee_king/article/details/79131094
基於深度學習(DL)的圖像復原(IR)論文總結(SRCNN、VSDR、Iter-CNN、IRCNN 半正定分割) - 南方有喬木的博客 - CSDN博客 https://blog.csdn.net/qq_27022241/article/details/78583910
基於CNN的圖像加強之去模糊 - 大數據挖掘SparkExpert的博客 - CSDN博客 https://blog.csdn.net/sparkexpert/article/details/79824729
Learning Deep CNN Denoiser Prior for Image Restoration - File Exchange - MATLAB Central https://ww2.mathworks.cn/matlabcentral/fileexchange/62439-learning-deep-cnn-denoiser-prior-for-image-restoration?s_tid=LandingPageTabfx
【後續】DnCNN-前饋降噪卷積神經網絡(DnCNNs)盲去噪
《Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising》學習筆記 - guanzheng9996的博客 - CSDN博客 https://blog.csdn.net/guanzheng9996/article/details/79716409
Learning Deep CNN Denoiser Prior for Image Restoration閱讀筆記 - smartweed - 博客園 https://www.cnblogs.com/smartweed/p/10444039.html