IMAGE DENOISING WITH GRAPH-CONVOLUTIONAL NEURAL NETWORKS

卷積神經網絡的方法是數據驅動的方法(data-driven), 可以捕獲高度的複雜圖像先驗(complex image prior), 可是卷積神經網絡因爲其結構的獨特性(i.e., 局域鏈接,權值共享),並不可以捕獲非局部的類似性, 因此爲圖像降噪特別設計了圖卷積神經網絡, 圖卷積神經網絡容許動態的在特徵空間構建

鄰居, 去探測類似的空間距離,實現潛在的相連在隱藏層.

非局部的自類似的方法 such as  BM3D WNNM 都是超級成功的. 抽取特徵的局部屬性是CNN的侷限性.

圖卷積神經網絡被設計應用於不規則結構的數據,

做者提出的方法,不只依賴於空間相鄰像素，並且依賴於空間距離像素的特徵.

做者設計的是思路是爲每一個像素選擇最有意義的spatially-distant pixels,  在特徵空間中選取, 這容許咱們的感知野可以動態的適應於圖像的特徵.

CNN 具備局域鏈接,權重共享的特色.

---

提出的方法

 

第一部分:

　　由一系列的並行分支組成(parallel branches),  進行多尺度的特徵提取,並緊接着圖卷積操做和concatenate操做, 同時使用了全局的殘差操做,

實現了漸近的噪聲移除, 每一個殘差塊的輸入和輸出加強了梯度的BP.

第二部分:

　　爲結構的核心部分,如圖所示.該層對經典的卷積層進行擴展，將空間相鄰像素的隱層特徵向量(由3*3的經典卷積實現)與特徵空間中類似(最近鄰)的空間距離像素(由構建的鄰居節點圖實現)的隱層特徵向量進行聚合。

　　局部和非局部的經過平均的方式進行集成:

$H_{i}^{l+1}=\frac{H_{i}^{l+1,NL}+H_{i}^{l+1, L }}{2}+ b^{l}$

　　使用ECC進行非局部特徵的aggregate.使用這個定義，圖卷積運算在一個鄰域上執行加權的聚合，其中用於聚合的權重依賴於圖形的邊緣標籤(edge label)。

　　 將邊緣標籤(edge label)定義爲兩個節點特徵之間的差別。

　　局部集成權重被定義爲全鏈接網絡$F^{l}: \mathbb{R^{d^{l}}} \rightarrow \mathbb{R^{d^{l} x d^{l}}} $, 這個全鏈接網絡實現將邊緣label做爲輸入.輸出對應的權重矩陣

 

每一個節點i 構建的圖,咱們可以定義卷積操做:

 

 

 其中$H_{i}^{l}$和$\textit{N}_{i}^{l}$分別對應着特徵向量和在第l層的第i個節點的鄰居節點. $w^{l}$是參數化網絡$F^{l}$的權值, $W^{l} \in \mathbb{R^{d^{l} x d^{l}}}$ 是節點自身的線性變換, $\sigma$是非線性函數.

在預約義大小的搜索窗口內，根據當前像素的特徵向量與當前像素的歐氏距離，選擇非局部像素做爲k近鄰特徵向量。 兩個三層的殘差塊交換着相同的非局部圖,  

---

 

主要的操做就是是函數$F$,  F的輸入是二者的差(非局部的鄰居節點和當前的像素節點), 輸出彙集前用於轉換非局部特徵向量的權值矩陣。 

公式1 被稱做卷積是由於 這個函數提供了有意義的權值共享, 在一個穩定的假設下:對於類似的輸入差，輸出權矩陣應該是類似的。其次，與經典卷積不一樣的是，這個函數支持數據相關的聚合，由於權值直接依賴於特徵向量之間的關係。

一些實驗設置:

　　1.432張圖片, 進行patch成 32*32 的大小;

　　2. 對於非局部圖的選取, 使用歐式距離度量節點以前的隱藏特徵向量,取前8個最近鄰的鄰居;不包括空間類似

　　3. The number of hidden features is 66 for all layers, except for the ones in the branches of the preprocessing block, for which is 22.