Attention基本原理

1.爲什麼需要Attention? 最基本的seq2seq模型包含一個encoder和一個decoder，通常的做法是將一個輸入的句子編碼成一個固定大小的state，然後作爲decoder的初始狀態（當然也可以作爲每一時刻的輸入），但這樣的一個狀態對於decoder中的所有時刻都是一樣的。 attention即爲注意力，需要attention的原因是非常直觀的。比如，我們期末考試的時候，我們需要老

>>阅读原文<<