Deep Graph-Convolutional Image Denoising

GCONV模塊

其中$H^{l}$表明第l層的特徵,通過GCONV模塊,獲得下一層$H^{l+1}$的特徵.

局部份量: 普通的3*3卷積核做爲局部的接收域. (local receptive field)

創建Graph for Denoising:

以每一個像素爲特徵向量爲中心, 展開一個搜索窗(search window),例如43*43, 而後對每一個像素,

計算其特徵向量與搜索空間內像素特徵空間之間的歐式距離,這裏之間使用歐式距離是否太過簡單了?,

以前咱們作過的特徵空間的距離有使用 餘弦類似度, 並在像素與距離最小的K個像素之間繪製圖的邊緣,

構成一個K正規(regular graph)圖.

regular graph:在圖論中，有一類圖是比較特殊圖，Regular Graph，且稱爲正規圖吧，這類圖有一個很好的性質，就是圖中的每個Vertex，也就是每個點所接的邊是同樣的。

例如，立方體就是有四個點，每一個點有三條邊（也稱之爲度）的Regular Graph，簡稱4k3

 

 

非局部份量：構成的K正規圖中的所鏈接的非局部像素的特徵向量則是經過邊緣條件卷積(ECC)進行聚合(aggregate)的, 聚合函數以下:

$H_{i}^{l+1,NL} = \sum_{j \in S_{i}^{l}}\gamma^{l,j\rightarrow i} \frac{{F_{w^{l}}^{l}}(d^{l,j\rightarrow i})H_{j}^{l}}{|S_{i}^{l}|}$

　　　　$=  \sum_{j \in S_{i}^{l}}\gamma^{l,j\rightarrow i} \frac{\Theta^{l,j\rightarrow i}H_{j}^{l}}{|S_{i}^{l}|}$

 

 最後將非局部彙集估計獲得的特徵向量與局部卷積獲得的特徵向量相結合,獲得以下輸出特徵:

$H_{i}^{l+1}=\frac{H_{i}^{l+1,NL}+H_{i}^{l+1, L }}{2}+ b^{l}$

結構綜述

 

1. 具備一個全局的輸入輸出的結構, 就是殘差學習, 旨在提供訓練的收斂性

2. 使用GCN 實現動態的計算特徵空間,主要包含:(i)建立一個非局部的感知野爲每一個像素神經元(pixel-neuron).(ii)

像素根據空間距離(spatially distant) 和 特徵空間的類似性(smilar in feature space ) 進行特徵的 融合(merged),

3. 重要的模塊: 對輸入進行預處理. 即, 先使用經典的2D 卷積,做用:

(i) 這樣產生的embedding 的感知野大於單個像素, 這樣的操做使得圖的結構更加的穩定, 不然將受到輸入噪聲的影響.

(ii) 而且是並行的結構,產生了多個尺度的embedding

(iii) 通過最後的圖卷積層, 這些特徵被concatenated.

4.剩下的部分就是一個 HPF block 和 一個 LPF 模塊, 類比一個高通和低通 圖濾波器(highpass and lowpass graph filter), 這些模塊都有初始的3*3的 卷積層, 而後是三個圖卷積層，它們共享從卷積層的輸出構造的同一圖.

5. LPF 具備殘差結構 實現BP

6. 最後一層是圖卷積層, 映射特徵空間到 圖像空間.