互信息及其在圖表示學習的應用

0 前言 近些年的頂會，出現了一部分利用互信息取得很好效果的工作，它們橫跨NLP、CV以及graph等領域。筆者最近也在浸淫（meng bi）這一方向，在這裏和大家簡要分享一些看法，如有雷同，不勝榮幸。 1 互信息簡介 互信息的概念大家都不陌生，它基於香農熵，衡量了兩個隨機變量間的依賴程度。而不同於普通的相似性度量方法，互信息可以捕捉到變量間非線性的統計相關性，因而可以認爲其能度量真實的依賴性。給

>>阅读原文<<