圖卷積神經網絡 GCN 沈華偉（1 譜方法）

視頻鏈接：2020 CCF 沈華偉 GNN

   

   

1.概述

卷積神經網絡的成功的緣由：可以學習到數據中局部信息，經過局部化卷積核，其實是一種參數共享的方式。

而後經過逐層堆疊的方式，把局部的卷積核變成多尺度的層次模式。從而實現特徵學習的一個效果。

1.1 局部卷積核：

平移不變性，能夠獲得與位置無關的一些pattern

   

   

2.卷積的遷移

   

2.1難點

怎麼將歐氏空間的卷積轉移到非歐氏空間（non-Euclidean domain）中，好比說graph，其結構是非規則的難以定義卷積。

   

圖像與網絡：

咱們能夠想象爲一個規則的網絡，像素表明一個節點，其卷積核能夠簡單的定義。可是真實世界中的網絡，要遠比上述網絡複雜。

   

真實網絡節點的度分佈差別很是大，有相似核心節點（微博大V），也有相似邊緣節點，不像圖像抽象出的網絡只有上下左右存在度。

每一個節點的鄰居數不一樣，因此很難定義知足平移不變性的卷積核。這是圖上定義卷積的很大的一個難點。

   

2.2 網絡卷積的運用

CNN遷移到圖上定義圖上，整體來講仍是這兩點：

如何定義圖上的卷積；定義圖上的pooling（下采樣這樣的操做），可是pooling和具體的任務相關，若是和節點相關，也就不須要下采樣。

2.2.1 卷積：

兩個函數點積以後，作積分，生成第三個函數

   

信號處理中，g即一個方波；f即爲是個信號，橫軸爲時間。

   

離散狀況下，如圖像中，卷積核即爲一個patch，在圖像的像素上滑動，抽取局部的信號。

舉例：擲骰子，兩次骰子，和爲8的機率是多少？（2+6；3+5；4+4；5+3；6+2五種狀況的機率之和）

   

2.2.2 圖上卷積：

定義有兩種方法，

一種是空間方法，可是網絡中每一個節點的鄰域大小多少不一致，很難有進展；

另外一種是譜方法，將原來的圖 從節點域裏變化到譜域裏（利用卷積定理和傅里葉變換實現），在譜域裏再定義卷積核。面臨的挑戰：其卷積再也不局部化，會帶來網絡特徵較大範圍的改變。

   

2.2.3 譜方法：

輸入圖G，W爲其帶權重的鄰接矩陣。每一個節點還有一個d維的特徵，則n個節點造成特徵矩陣X:Shape(n, d)，每個維度都理解成定義在這n個節點的一個信號，相似於圖像中RGB三維特徵。

這裏能夠看出，圖的處理，本質上也與信號處理過程相似。

圖拉普拉斯（Graph Laplacian）：

參考信號處理的方式，咱們有圖拉普拉斯（Graph Laplacian）方式進行處理：實際上對信號求導數操做，得到信號在圖上的平滑程度，稱之爲拉普拉斯算子

   

   

（1）拉普拉斯矩陣：

拉普拉斯矩陣式帶權度矩陣與帶權鄰接矩陣之差。度矩陣是一個對角陣，每一行的元素維鄰接矩陣該行之和。

可是咱們經常使用其normalized版本，數學性質更好。I是單位矩陣。

經過拉普拉斯矩陣便可實現將信號轉移到譜域中去。

（2）圖傅里葉變換

參考鏈接：一、2、3

上面咱們說到，圖上的信號通常表達爲一個向量。假設有n個節點。在這一節，咱們將圖上的信號記爲：

每個節點上有一個信號值。相似於圖像上的像素值。

傅里葉反變換的本質，是把任意一個函數表示成了若干個正交基函數的線性組合。

圖上的信號若是要進行傅里葉變換，咱們也須要找到一組正交基，來表達x。

任意的圖上的信號能夠表示爲：

因此，圖上的傅里葉變換，其實是求一個表示的參數（權重），最終咱們取這個表示的參數（權重），來替代這組信號，就是在譜域裏面的表達。

（3）在譜域上定義卷積：

圖上的傅里葉變換隻是一個手段，定義卷積利用的是卷積定理

卷積定理是傅立葉變換知足的一個重要性質。卷積定理指出，兩個函數的卷積的傅立葉變換是兩個函數分別傅立葉變換後的乘積。（百度百科）

所以可得：

兩個信號，一個x一個y，

• 分別作傅里葉變換後，取其權重，獲得兩信號在譜域上的表示，進行點積操做；
• 而後進行傅里葉逆變換，就能夠獲得在節點域的卷積操做。

因此，咱們將U^Ty做爲卷積核，與信號x進行點積操做，再進行逆變換。

   

總結：

• 把信號x變換到譜域中（這一步須要傅里葉變換），
• 在譜域中，定義一個卷積核（設初始值，反向傳播進行調整），與信號x在譜域中的表達作點積。
• 最後進行逆變換，把譜域中的卷積轉換到空間域或者說節點域中

   

   

這是CNN做者的原始方法，譜方法可是存在缺陷（挑戰）

• 依賴 拉普拉斯矩陣的特徵分解，時間複雜度高，O(n³)，且特徵向量是稠密的計算代價過高，
• n*n的拉普拉斯矩陣求特徵向量複雜度是O(n²)
• 在節點域上不是局部化的，

   

   

3.缺陷改進

3.1ChebyNet：參數化卷積核；

這裏使用了拉普拉斯矩陣的特徵值，改造卷積核。

原來的卷積核是反向傳播算法獲得的，這裏將它改造，寫成一個由固定對角陣造成的多項式，這個對角陣，就是拉普拉斯矩陣的特徵值造成的對角陣。通過簡化變換，能夠發現卷積操做只剩拉普拉斯矩陣和輸入信號。β爲參數，實際上一般K很小 0-9 六度分割。

三個好處：

不須要特徵分解了，時間複雜度下降到O(K|E|)，卷積操做變爲局部化的操做。

   

3.2 繼續改進：Graph Wavelet Neural Network

ICLR2019,圖小波神經網絡:paper

chebNet的主要工做：

把原來自由的卷積核，用多項式函數作參數化，實現了圖卷積核取值空間的約束，進而再也不依賴逆傅里葉變換，也實現了局部化。

做者更改傅里葉基爲小波基

   

   

可是這樣操做，時間複雜度較高O(n*p*q)