分層注意網絡HAN介紹

背景 HAN是微軟提出的一個網絡，試圖從句子的單詞，文檔的句子分層次構建網絡。 1 模型 1.1 GRU序列編碼 GRU兩個門，重置門 r t r_t rt​和更新門 z t z_t zt​，一起控制信息的流動。 1.2 層次注意力機制 1.2.1 詞編碼與解碼 編碼過程 詞的注意力機制： 1.2.2句子的編碼與注意力機制 句子編碼也是GRU，並且應用注意力機制。 2. 實踐 參看鏈接2。 3.

>>阅读原文<<