機器學習5. RNN/LSTM/GRU 反向傳播公式推導；encoder-decoder框架/attention機制彙總

研究生期間主要科研的內容，把基本公式推一推。 encoder-decoder機制 核心：處理不定長數據時，先使用一個encoder模型（可以是任何模型，這裏以RNN爲例），將輸入數據壓縮成一個固定長度的隱表示 c c c。然後使用另一個decoder模型依次展開隱表示 c c c得到我們需要的內容。 應用舉例： 文本翻譯 問答系統 但是這樣是有問題的，就是當輸入很長的時候，把他們都壓縮到 c c

>>阅读原文<<