論文淺嘗|GRAPH-BERT: Only Attentionis Needed for Learning Graph Representations

論文簡介 論文提出：當前圖神經網絡（GNN）的主要方法過度依賴圖中的連接關係，這樣造成了三大問題：（1）模型假死；（2）過度平滑；（3）難以並行計算 模型假死：隨着神經網絡層數的不斷加深，模型對於輸入的數據開始不進行相應。這個問題的具體原因沒在論文裏看到，個人理解是由於層之間的非線性變換使得數據分佈變換置導數較小的區域，從而使得梯度消失。 過度平滑：由於圖神經網絡大多依靠聚合操作（mean，max

>>阅读原文<<