[ICLR2017]A Structured Self-attentive Sentence Embedding

爲了更好地表示句子的內在含義，本文提出了一種 self-attention mechanism , 可以從 r（超參數）個方面刻畫句子的特性。不同於其他的使用attention的任務，本文只有一個input，對該句子進行 self-attention 模型由兩部分組成（1）bilstm , H 的矩陣大小是n*2u (2) self-attention mechanism attention的矩陣

>>阅读原文<<