Hierarchical Attention Based Semi-supervised Network Representation Learning

Hierarchical Attention Based Semi-supervised Network Representation Learning

1. 任務

給定：節點信息網絡

目標：爲每一個節點生成一個低維向量

 

基於半監督的分層關注網絡嵌入方法

2. 創新點：

以半監督的方式結合外部信息

1. 提出SHANE 模型，集成節點結構，文本和標籤信息，並以半監督的方式學習網絡嵌入

2. 使用分層注意網絡學習節點的文本特徵， 兩層雙向GRU 提取單詞和句子的潛在特徵

 

3. 背景

1. 現有方法一般基於單詞獲取節點的文本特徵矩陣，忽略分層結構（單詞、句子）

2. 不一樣單詞和句子包含不一樣數量信息，如何評估節點內容的差別性

3. 標籤，也是重要的監督信息

4. 網絡中存在大量未標記節點，如何合理利用

 

4. 模型

整合節點的結構，文本和標籤信息

 

基於文本的表示學習

使用分層注意機制

 

4.1. 問題定義

G = (V, E, T, L）

（ V： 節點集

E： 邊集合

T： 節點的文本信息

L： 標籤節點信息 ）

 

節點u 的文本信息Du = （Su1, Su2,...,Suq)

句子信息 Sui = （Wui..)

 

給定信息網絡，目標：爲每一個節點u 整合其結構和文本信息 學習一個低維向量 u，

4.2. 基於文本的表示

分層學習可獲取不一樣粒度的文本信息

• 詞嵌入：捕獲詞彙特徵
• 句子嵌入： 捕獲文本特徵

4.2.1. word 編碼器

• 使用雙向 GRU 編碼單詞序列
• 使用注意力機制識別重要單詞
• 相似：使用雙向GRU 編碼句子

 

假設節點 u 包含 q 個句子， 每一個句子包含 m 個單詞，經過查詢獲取句子 Sui 的詞語序列

 

 

使用雙向 GRU 編碼單詞序列

 

 

（ 經過鏈接以上兩個方向的 h 可包含兩個方向的信息，使用注意機制識別詞語的重要性，以下）

 

（ Sui 是節點 u 第 i 個句子的嵌入， Cw 是全局的詞語向量，a 是用於句子表示，融合單詞嵌入的權重）

 

4.2.2. 句子編碼器

相似單詞編碼器，相似的雙向GRU ，獲得分層編碼的文本嵌入 ut

爲了不新的表示與原始文本的誤差，獲取分層關注網絡的嵌入後，添加該節點詞嵌入的平均值向量 Uta，獲得節點 u 的文本表示 ut

 

4.3. 基於結構的表示

含有邊的兩個節點結構類似

CANE 中將每一個部分的對數似然表示爲

 

 

（ u 與 v 相鏈接， Wu，v爲權重，Us 是基於結構的嵌入）

u 生成 v 的條件機率爲

 

 

節點 u 的基於結構的嵌入區別於所鏈接的節點，結構的最終嵌入爲與不一樣節點鏈接所得的平均值

 

（ E 爲 u 的邊）

 

4.4. 半監督的分層網絡嵌入

未標記的節點：只考慮結構和文本特徵

 

爲了匹配標籤丟失的節點，咱們經過全鏈接層將節點的嵌入映射到標籤空間，可預測節點的標籤分佈

 

 

（ Ll 表示有標籤的節點子集，有標籤的節點的目標函數爲：）

 

（ lamda 是標籤損失權重）

 

SHANE 的全局目標函數：

 

  

5. 實驗