【深度學習】Attention

seq2seq中的attention機制  咱們在encoder的過程當中保留每一個RNN單元的隱藏狀態（hidden state）獲得（h1……hN） 而後對於decoder的每個timestep，由於有此時decoder的輸入和上一步的隱藏狀態輸出，因此咱們能夠獲得當前步的隱藏狀態。假設第t步的（根據上一步隱藏狀態輸出與當前輸入獲得的）隱藏狀態爲St， 在每一個第t步利用St和hi進行dot點

>>阅读原文<<