【NLP】Attention原理和源碼解析

內容： 1. 核心思想 2. 原理解析（圖解+公式） 3. 模型分類 4. 優缺點 5. TF源碼解析 1. 核心思想 Attention的思想理解起來比較容易，就是在decoding階段對input中的信息賦予不同權重。在nlp中就是針對sequence的每個time step input，在cv中就是針對每個pixel。 2. 原理解析 針對Seq2seq翻譯來說，rnn-based mode

>>阅读原文<<