seq2seq attention

1.seq2seq：分爲encoder和decoder 　　a.在decoder中，第一時刻輸入的是上encoder最後一時刻的狀態，如果用了雙向的rnn，那麼一般使用逆序的最後一個時刻的輸出（網上說實驗結果比較好）　 　　b.每一時刻都有一個輸出，即：[batch_size,  decoder_output_size]，經過一個MLP後，都跟詞彙表中的每一個詞都對應了一個概率，即: [batch

>>阅读原文<<