HEER-Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks

來源：KDD 2018

原文： HEER

code： https://github.com/GentleZhu/HEER

注： 如有錯誤，歡迎指正

 

這篇KDD’18的文章，沒有按照常規的方法將全部的node嵌入到同一的空間，由於文章提出 node 由於鏈接的 edge 類型（type）不一樣，存在不兼容（incompatibility）的特性，因此最好可以根據不一樣的edge type來定義不一樣度量空間（metric space），保持同一個度量空間下，node的兼容性。

 

1. Abstract

在本文中，做者認爲異構信息網絡（HIN）中隱含着豐富信息的同時也引入了潛在的不兼容性，爲了保留HIN中豐富但可能不兼容的信息，提出對HIN的綜合轉錄問題。還須要提供一種易於使用的方法來有效利用 HIN 中的信息。本文提出HEER方法： 經過對 HIN 的邊緣表示，與正確學習的異構度量相結合。

2. Introduction

網絡嵌入學習節點的低維表示能夠在原始網絡中編碼其語義信息，且容易和機器學習等方法相結合，可用於分類、鏈路預測。近來，研究人員證實了HIN 嵌入在做者識別等方面的有效性。

圖 1 Network Embedding

 

HIN 異構性不只包含豐富的信息，還有潛在的不兼容的語義。傳統的同構網絡嵌入不論其類型，均等的處理全部節點和邊，不會捕捉 HIN 的異質性。

如圖1，stan，musical，Ang Lee是不一樣類型的節點，由於musical和Ang Lee的embedding距離很遠，會致使stan沒法同時和兩個embedding同時很近，所以須要學習兩個不一樣的度量空間，從而stan分別在兩個度量空間中與對應的node距離很近。

 

圖 2 異質網絡嵌入學習中的不兼容現象

 

爲解決該問題，本文在計算類似度 s 時提出度量向量 μ

該度量向量μ是對不一樣類型的關係來進行embedding，g_{uv}是表示u,v之間的邊的embedding。經過定義該類似度函數，可以得到基於不一樣邊類型r的類似度

 

3. 嵌入 HINs 的邊緣表示（HEER）

3.1. 方法思想

經過邊緣表示和耦合度量的可用性，獲得反應邊的存在和類型的損失函數，經過最小化損失，同時更新節點嵌入、邊緣嵌入和異構度量，保持輸入HIN中的異質性。對不一樣的不兼容程度建模，其中兩個邊緣類型越類似，對應的指標越類似。

• 綜合轉錄 HIN 中的嵌入信息
• 解決 HINs 中的語義不兼容
• 利用邊緣表示和異質矩陣
• 使用神經網絡學習節點和邊的嵌入表示

3.2. 框架結構

圖 3 HEER模型框架結構

 

HIN Embedding 定義

• 輸入一個異質網絡

           

• 經過F網絡學習出node embedding

           

• 以後經過g函數來學習出邊的embedding
• 一對節點間可能有多種類型的邊，g(u,v) 包含此類關係

            

• 經過type之間的類似度，也就是定義的類似度函數和原始鏈接關係共同做爲ground truth
• 最後訓練出網絡參數，從而可以學到網絡的嵌入模型

 

類型接近度

對於每對節點（u，v）的邊緣嵌入 guv

μr 爲特定類型嵌入表示，兼容的邊類型共享類似的 μ

 

目標函數

（ KL 測量元權重和從嵌入表示獲得的類似度間的差別）

將（1）代入（2）考慮全部的邊類型，獲得

 

4. Experiment

 

 

 

（邊緣剔除率爲0.4時）

5. 總結

• HEER模型，可以創建異構網絡中不一樣type之間的不兼容性，這是一種新的嘗試，將不兼容的性質提出並經過不一樣度量空間來表示。
• HEER模型可以同時學習網絡中節點的node embedding和邊的edge embedding。

侷限性

• 沒有考慮更復雜的網絡結構信息，而是僅僅經過相鄰節點的關係來肯定embedding，更復雜的關係能夠經過meta-path來找到，這也可能成爲該論文將來的研究方向。

參考：

KDD'18|異質信息網絡嵌入學習