對圖神經網絡的過平滑問題的一點粗淺見解(真·很膚淺的看法)

針對圖信號的低通濾波特性:

不好意思放錯了,是這個:
在這裏插入圖片描述
(請忽略我寒酸的草稿紙和順時針90°的格式…貌似CSDN的編輯器沒有能旋轉的功能呢)
不影響不影響,截圖然後旋轉就行啦(澀圖都給你們了,別在意這些細節~)

發現這個圖信號在和其特徵矩陣做相似性度量的內積。而在圖譜領域裏,節點的圖信號與特徵向量做內積其結果就是圖的傅里葉變換,也由此有圖的拉普拉斯矩陣: L x = V λ V T = < x v > v = x ^ v Lx = V\lambda V^T=<x·v>v=\hat xv
後一項就是對圖的傅里葉變換做逆變換,所以輸出的圖信號可以寫成若干以傅里葉變換基向量(沒錯,ko no 特徵向量 da)和對應的若干圖信號的加權多項式: x = k = 1 N x ^ k v k x = \sum_{k=1}^N \hat x_k v_k

發現問題了吧!疊加過多的GNN_layer會導致多項式最後趨向於圖中的某一個節點的特徵(一般是選擇的第一個節點的特徵,所以上面的特徵值矩陣 d i a g = [ 1 , 0 , 0 , . . . , 0 ] diag=[1,0,0,...,0]
所以不能疊加很多GNN?

(目力一票大佬們正在趕來錘我的路上,我躺好了)