Every Document Owns Its Structure: Inductive Text Classification via Graph Neur

做者

Yufeng Zhang1∗, Xueli Yu 1∗, Zeyu Cui, Shu Wu, Zhongzhen Wen and Liang Wang

概述

圖神經網絡（GNN）最近被應用於文本分類。然而現有的模型既不能捕捉到每一個文檔中的上下文關係，也不能很好地完成新詞的概括學習。在這項工做中，做者爲每一個文檔構建單獨的圖，經過TextING對文本進行概括學習。做者在四個基準數據集上作了大量實驗，實驗代表此方法優於最早進的文本分類方法。

動機

文本分類爲其餘NLP任務提供了基本的方法，如情感分析、意圖檢測等。傳統的文本分類方法有樸素貝葉斯、k近鄰和支持向量機。然而，它們主要依賴於人工製做的特徵，以犧牲勞動力和效率爲代價。

針對這一問題，提出了多種深度學習方法，其中遞歸神經網絡（RNN）和卷積神經網絡（CNN）是最基本的方法。然而，它們都集中在詞的局部性上，於是缺少長距離、非連續的單詞交互。

近年來，基於圖的方法被用來解決這一問題，它不把文本看做一個序列，而是將文本看做一組共現詞。然而，這些基於圖的方法有兩個主要的缺點。首先，忽略了每一個文檔中的上下文意識單詞關係。第二，因爲全局結構，測試文件在訓練中是必須出現的。所以，它們具備內在的轉化性，很難進行概括學習（inductive learning）。

模型

做者在本文中提出了一種基於圖神經網絡的文本分類方法TextING（Inductive Text Classification via Graph Neural Networks）。與以往的基於全局結構的圖方法相比，做者訓練了一個GNN，它只使用訓練文檔來描述詳細的詞-詞關係，並在測試中推廣到新的文檔。在這個模型下，每個文檔都是一個獨立的拓撲圖，在文檔級別的單詞關係能夠被學習到。同時這個模型也能夠適用於訓練過程當中未出現的新單詞。

模型包括三個關鍵部分：圖形構造、基於圖形的單詞交互和讀出功能。架構以下圖所示。

（1）Graph Construction 做者使用一個長度爲3的sliding windows去學習單詞之間的共現關係，對於每個文檔都構造出了一個拓撲圖。

（2）Graph-based Word Interaction 做者使用GGNN門控圖神經網絡來學習文檔的詞項embedding。

（3）readout function 經過兩個多層感知機MLP獲得一個文檔上每個節點的特徵表示，而後經過這個這些節點計算出整張圖的特徵表示，也就是這個文檔的特徵表示。

做者還提出了一個模型的變體TextING-M。做者將局部圖和全局圖結合在一塊兒，將他們單獨訓練，而後以1：1的比例來作最終預測。這個模型並不能進行概括學習，因此做者的重點是從微觀和宏觀兩個角度來考察兩者是否能夠互補

實驗

做者按照9：1的比例劃分訓練集和驗證集。學習率是0.01，dropout是0.5，初始的單詞特徵表示用的是維度爲300的GloVe。爲了公平比較，其餘基線模型共享相同的嵌入，實驗的結果見下表。

數值是分類的準確率accuracy，做者作了十次實驗，正負是這些實驗的上下波動狀況。能夠看出每個任務中，TextING都是結果最好的。其中在MR任務中，TextING的效果是比TextGCN好最多的，是由於在MR中，這些評論都是短文本，致使了textGCN中的低密度圖，它限制了文檔節點之間的標籤消息的傳遞，可是TextING的單個圖不依賴於這種標籤消息傳遞機制。