selfattention

  1.self-attention 在之前處理序列問題的時候，用的是rnn，現在我們把rnn層換成self-attention層。 圖1 任何用rnn的都可以被替換成self-attention層標題 那麼具體是怎麼做的呢？我們首先以上圖爲例講解。 a1,a2,a3,a4是一個sequence(序列)，我們首先爲每一個input a1,a2,a3,a4 乘以一個矩陣，通過embedding變成

>>阅读原文<<