KDD 2018 | 最佳論文：首個面向Facebook、arXiv網絡圖類的對抗攻擊研究

8 月 19 日至 23 日，數據挖掘頂會 KDD 2018 在英國倫敦舉行，昨日大會公佈了最佳論文等獎項。最佳論文來自慕尼黑工業大學的研究者，他們提出了針對圖深度學習模型的對抗攻擊方法，是首個在屬性圖上的對抗攻擊研究。研究者還提出了一種利用增量計算的高效算法 Nettack。此外，實驗證實該攻擊方法是能夠遷移的。

圖數據是不少高影響力應用的核心，好比社交和評級網絡分析（Facebook、Amazon）、基因相互做用網絡（BioGRID），以及互連文檔集合（PubMed、Arxiv）。基於圖數據的一個最常應用任務是節點分類：給出一個大的（屬性）圖和一些節點的類別標籤，來預測其他節點的類別標籤。例如，你可能想對生物相互做用圖（biological interaction graph）中的蛋白質進行分類、預測電子商務網絡中用戶的類型 [13]，或者把引文網絡中的科研論文按主題分類 [20]。

儘管過去已經出現不少解決節點分類問題的經典方法 [8, 22]，可是近年來人們對基於圖的深度學習方法產生了極大興趣 [5, 7, 26]。具體來講，圖卷積網絡 [20, 29] 方法在不少圖學習任務（包括節點分類）上達到了優秀性能。

這些方法的能力超出了其非線性、層級本質，依賴於利用圖關係信息來執行分類任務：它們不只僅獨立地考慮實例（節點及其特徵），還利用實例之間的關係（邊緣）。換言之，實例不是被分別處理的，這些方法處理的是某種形式的非獨立同分布（i.i.d.）數據，在處理過程當中利用所謂的網絡效應（如同質性（homophily）[22]）來支持分類。

可是，這些方法存在一個大問題：人們都知道用於分類學習任務的深度學習架構很容易被欺騙／攻擊 [15, 31]。即便是添加輕微擾動因素的實例（即對抗擾動／樣本）也可能致使結果不直觀、不可信，也給想要利用這些缺陷的攻擊者開了方便之門。目前基於圖的深度學習方法的對抗擾動問題並未獲得解決。這很是重要，尤爲是對於使用基於圖的學習的領域（如 web），對抗很是常見，虛假數據很容易侵入：好比垃圾郵件製造者向社交網絡添加錯誤的信息；犯罪分子頻繁操控在線評論和產品網站 [19]。

該論文試圖解決這一問題，做者研究了此類操控是否可能。用於屬性圖的深度學習模型真的很容易被欺騙嗎？其結果可信程度如何？

答案難以預料：一方面，關係效應（relational effect）可能改善魯棒性，由於預測並未基於單獨的實例，而是聯合地基於不一樣的實例。另外一方面，信息傳播可能帶來級聯效應（cascading effect），即操縱一個實例會影響到其餘實例。與現有的對抗攻擊研究相比，本論文在不少方面都大不相同。

圖 1：對圖結構和節點特徵的極小擾動致使目標誤分類。

該論文提出一個對屬性圖進行對抗擾動的原則，旨在欺騙當前最優的圖深度學習模型。具體來講，該研究主要針對基於圖卷積網絡（如 GCN [20] 和 Column Network（CLN）[29]）的半監督分類模型，但提出的方法也有可能適用於無監督模型 DeepWalk [28]。研究者默認假設攻擊者具有所有數據的知識，但只能操縱其中的一部分。該假設確保最糟糕狀況下的可靠脆弱性分析。可是，即便僅瞭解部分數據，實驗證實本研究中的攻擊仍然有效。該論文的貢獻以下：

• 模型：該研究針對節點分類提出一個基於屬性圖的對抗攻擊模型，引入了新的攻擊類型，可明確區分攻擊者和目標節點。這些攻擊能夠操縱圖結構和節點特徵，同時經過保持重要的數據特徵（如度分佈、特徵共現）來確保改變不被發現。
• 算法：該研究開發了一種高效算法 Nettack，基於線性化思路計算這些攻擊。該方法實現了增量計算，並利用圖的稀疏性進行快速執行。
• 實驗：實驗證實該研究提出的模型僅對圖進行稍微改動，便可惡化目標節點的分類結果。研究者進一步證實這些結果可遷移至其餘模型、不一樣數據集，甚至在僅能夠觀察到部分數據時仍然有效。總體而言，這強調了應對圖數據攻擊的必要性。

論文：Adversarial Attacks on Neural Networks for Graph Data

論文連接：https://arxiv.org/pdf/1805.07984.pdf

摘要：應用到圖的深度學習模型已經在節點分類任務上實現了強大的性能。儘管此類模型數量激增，但目前仍未有研究涉及它們在對抗攻擊下的魯棒性。而在它們可能被應用的領域（例如網頁），對抗攻擊是很常見的。圖深度學習模型會輕易地被欺騙嗎？在這篇論文中，咱們介紹了首個在屬性圖上的對抗攻擊研究，具體而言，咱們聚焦於圖卷積模型。除了測試時的攻擊之外，咱們還解決了更具挑戰性的投毒/誘發型（poisoning/causative）攻擊，其中咱們聚焦於機器學習模型的訓練階段。

咱們生成了針對節點特徵和圖結構的對抗擾動，所以考慮了實例之間的依賴關係。此外，咱們經過保留重要的數據特徵來確保擾動不易被察覺。爲了應對潛在的離散領域，咱們提出了一種利用增量計算的高效算法 Nettack。咱們的實驗研究代表即便僅添加了不多的擾動，節點分類的準確率也會顯著降低。另外，咱們的攻擊方法是可遷移的：學習到的攻擊能夠泛化到其它當前最佳的節點分類模型和無監督方法上，而且相似地，即便僅給定了關於圖的有限知識，該方法也能成功實現攻擊。

圖 2：隨着擾動數量的增加，平均代理損失（surrogate loss）的變化曲線。由咱們模型的不一樣變體在 Cora 數據集上獲得，數值越大越好。

圖 3 展現了在有或沒有咱們的約束下，獲得的圖的檢驗統計量 Λ。如圖可知，咱們強加的約束會對攻擊產生影響；假如沒有強加約束，損壞的圖的冪律分佈將變得和原始圖更加不類似。相似地，表 2 展現了特徵擾動的結果。

圖 3（左）：檢驗統計量 Λ 的變化（度分佈）。圖 4（右）梯度 vs. 實際損失。

表 2：Cora 上每一個類別中的特徵擾動 top-10。

圖 6a 評估了兩個攻擊類型的 Nettack 性能：逃逸攻擊（evasion attack），基於原始圖的模型參數（這裏用的是 GCN [20]）保持不變；投毒攻擊（poisoning attack），模型在攻擊以後進行從新訓練（平均 10 次運行）。

圖 6b 和 6c 顯示，Nettack 產生的性能惡化效果可遷移至不一樣（半監督）圖卷積方法：GCN [20] and CLN [29]。最明顯的是，即便是無監督模型 DeepWalk [28] 也受到咱們的擾動的極大影響（圖 6d）。

圖 6：使用不一樣攻擊算法在 Cora 數據上的結果。Clean 表示原始數據。分值越低表示結果越好。

圖 7 分析了攻擊僅具有有限知識時的結果：給出目標節點 v_0，咱們僅爲模型提供相比 Cora 圖其尺寸更大的圖的子圖。

圖 7：具有有限數據知識的攻擊。

表 3 總結了該方法在不一樣數據集和分類模型上的結果。這裏，咱們報告了被正確分類的部分目標節點。咱們對代理模型（surrogate model）的對抗擾動可在咱們評估的這些數據集上遷移至這三種模型。絕不奇怪，influencer 攻擊比直接攻擊致使的性能降低更加明顯。

表 3：結果一覽。數值越小表示結果越好。