selfattention記錄

一、Hierarchical Attention用於文本分類 分層構建加上了兩個Attention層，用於分別對句子和文檔中的單詞、句子的重要性進行建模。其主要思想是，首先考慮文檔的分層結構：單詞構成句子，句子構成文檔，所以建模時也分這兩部分進行。其次，不同的單詞和句子具有不同的信息量，不能單純的統一對待所以引入Attention機制。而且引入Attention機制除了提高模型的精確度之外還可以進

>>阅读原文<<